프로젝트 소개
삼성 청년 SW 아카데미 9기에서 진행한 특화(빅데이터 추천) 프로젝트로, 4차 산업혁명 분야 신기술 도메인 구현에 초점을 둔 프로젝트입니다.
최근 숏폼 컨텐츠 급증에 따른 자연스러운 글 읽기의 감소로 MZ 세대의 실질적 문맹률이 증가하여 사회적으로 이슈가 되고 있습니다. 문해력 감소를 위해 빅데이터 추천 시스템을 도입한 어린이 기사 추천 및 어휘 학습 지원 서비스입니다.
🏆 삼성 청년 SW 아카데미 특화 프로젝트 우수상
🏆 삼성 청년 SW 아카데미 특화 프로젝트 UCC 경진대회 3위 [Youtube 바로가기]
프로젝트 기간
2023.08.14 ~ 2023.10.06 (54일)
팀 구성
Back-End 1명 / Front-End 3명 / Big-Data 2명
사용 기술
Untitled
인프라 아키텍처
ERD
프로젝트 진행 내용
1. 행동 기반 뉴스 기사 추천을 위해 스케줄러 도입
문제 상황
- 사용자 행동을 분석하기 위해 특정 이벤트에 관련한 로그를 MongoDB에 저장을 했습니다. 하지만 이용자가 많아지면 로그가 많이 쌓일 뿐만 아니라 조회수를 계산하는 과정에서 많은 데이터를 확인해야 했기 때문에 계산하는 시간이 오래 걸릴것이라 판단했습니다.
해결 과정
- 배치 서버에 스케줄러를 도입하여 매 정시에 쌓인 로그를 계산하여 MySQL에 백업을 해두고, 추천을 위한 계산시 백업된 데이터와 정시 이후에 쌓인 데이터만 계산하여 추천 속도를 개선했습니다.
2. Fork를 사용하여 Git 저장소 분리
- 프로젝트를 진행하면서 실수로 인한 메인 저장소에 영향이 가는 것을 방지하고자 했습니다.
해결 과정
- 메인 저장소를
upstream remote repository로 지정하고, 모든 팀원들은 해당 저장소를 Fork하여 개인 저장소에 origin remote repository를 생성했습니다.
- 각자 개인 저장소에 생성한
origin remote repository를 clone하여 local repository를 생성하고 작업 후 origin remote repository에 push를 진행했습니다.