11번가 빅데이터 엔지니어 자기소개서

1. 본인의 데이터 엔지니어 경험과 그 과정에서 해결했던 문제를 구체적으로 서술해주세요.

대학교 졸업 후 데이터 엔지니어 분야에 집중하여 여러 프로젝트에 참여하며 실력을 쌓아왔습니다. 처음 시작할 때는 데이터 수집과 저장, 정제 작업이 주 업무였으며, 이후 실시간 데이터 처리와 분석까지 폭넓게 경험하였습니다. 특히 대용량 데이터를 효율적으로 처리하는 데에 관심을 두고 다양한 기술을 도입하며 성과를 내기 위해 노력하였습니다. 가장 기억에 남는 프로젝트는 온라인 쇼핑 플랫폼의 고객 행동 데이터를 분석하기 위한 데이터 파이프라인 구축이었습니다. 당시 고객 클릭로그와 구매 데이터를 수집하는 시스템에 문제들이 있었는데, 데이터 손실이 빈번하게 발생하고 처리 속도도 느려져 비즈니스에 큰 영향을 끼치고 있었습니다. 이 문제를 해결하기 위해 기존의 ETL 프로세스를 재점검하고, Kafka와 Spark Streaming을 도입하여 실시간 데이터를 수집하고 바로 분석 가능한 구조로 개선하였습니다. 이를 통해 데이터 손실률이 현저히 낮아지고, 처리 시간도 기존보다 50% 이상 단축될 수 있었습니다. 또한 데이터 품질 확보와 일관성을 위해 데이터 표준…