에코마케팅 데이터 엔지니어(DE) 자기소개서

1. 본인의 데이터 엔지니어링 경험과 구체적인 프로젝트 사례를 설명해 주세요.

데이터 엔지니어로서 데이터 수집, 저장, 가공, 분석 전반에 걸쳐 다양한 프로젝트 경험을 쌓아왔습니다. 가장 인상 깊었던 프로젝트는 고객 행동 데이터를 분석하여 마케팅 전략을 수립하는 작업이었습니다. 이 프로젝트에서 다양한 소스의 데이터를 수집하고 통합하는 역할을 맡았습니다. 웹 로그, 앱 사용 기록, 구매 이력 등 여러 채널의 데이터를 실시간으로 수집하기 위해 Kafka를 활용하였으며, Kafka 스트림에서 발생하는 데이터를 Spark 구조체 전달 프로세스를 통해 전처리하였습니다. 이후, 정제된 데이터를 HDFS에 저장하고, 효율적인 쿼리와 분석을 위해 오라클 데이터베이스와 연동하는 작업도 수행했습니다. 이 과정에서 다양한 데이터 엔지니어링 기술을 활용하였는데, 특히 ETL 파이프라인 설계 능력이 중요한 역할을 했습니다. 데이터 정합성을 높이기 위해 데이터 검증 단계도 도입하여 이상값이나 결측치를 최소화할 수 있도록 하였으며, 이를 위해 파이썬과 SQL 기반의 검증 스크립트를 개발하였습니다. 데이터의 양이 방대하였기 때문에, Apache Hive를 활용하여 대용…