LG생활건강 Data Engineer 자기소개서

1. 본인이 데이터 엔지니어로서 수행했던 프로젝트 경험과 그 과정에서 얻은 교훈을 구체적으로 서술하세요.

데이터 엔지니어로 활동하면서 실무 프로젝트를 통해 다양한 경험을 쌓아왔습니다. 그 중에서도 가장 기억에 남는 프로젝트는 고객 데이터를 통합하여 마케팅 전략 수립에 활용하는 데이터 웨어하우스 구축 작업입니다. 이 프로젝트는 여러 플랫폼에 분산되어 있던 고객 데이터를 하통합된 시스템으로 만들어 고객 분석과 타겟팅 정확도를 높이기 위해 진행하였습니다. 처음에는 여러 시스템에 흩어져 있던 고객 정보와 거래 데이터를 수집하는 것이 큰 도전이었습니다. 각 시스템마다 데이터 구조와 저장 방식이 달라 일관성을 유지하는 것이 쉽지 않았습니다. 이에 먼저 데이터 사전과 표준화를 진행하여 모든 데이터가 동일한 포맷으로 정제되도록 하였으며, ETL(추출-변환-적재) 프로세스를 설계하였습니다. 데이터 수집 과정에서는 오픈소스 도구인 Apache NiFi를 활용하여 실시간 데이터 흐름을 구축하였고, 데이터 품질 검증을 위해 스크립트와 자동화된 검증 프로세스를 도입하였습니다. 또한, 클라우드 환경을 활용하여 데이터 저장과 처리의 확장성을 …