CJ ENM 엔터테인먼트 데이터엔지니어 자기소개서

1. 본인의 데이터 엔지니어링 경험과 관련 프로젝트 사례를 구체적으로 기술해 주세요.

데이터 엔지니어로서 다양한 프로젝트에 참여하며 실무 역량을 키운 경험이 있습니다. 가장 기억에 남는 프로젝트는 영상 추천 시스템 개발에 관한 것입니다. 이 프로젝트는 대량의 영상 데이터와 사용자 행동 데이터를 처리하여 개인 맞춤형 추천 알고리즘을 구축하는 것이 목표였습니다. 처음에는 데이터 수집 단계에서 다양한 출처의 데이터를 통합하는 작업이 필요했으며, 이를 위해 여러 데이터 파이프라인을 구축하였습니다. 로그 데이터와 사용자 프로필 데이터를 실시간으로 수집하고 저장하는데 Apache Kafka를 활용하였으며, 저장된 데이터를 분산처리 환경인 Hadoop과 Spark를 통해 분석하였습니다. 데이터 전처리 과정에서는 결측치 처리, 이상치 제거, 정규화 작업 등을 수행하였고, 이를 토대로 추천 알고리즘의 학습에 적합한 데이터를 만들었습니다. 이후 추천 시스템을 개발하는 과정에서는 Spark MLlib를 이용하여 협업 필터링과 콘텐츠 기반 추천 알고리즘을 실험하였으며, 최적의 모델을 선정하는 데 중점을 두었습니다. 추천 결과의 품질 향상을 위해서 사용자 …