케이스퀘어드 Analytics Data Engineer 자기소개서

1. 본인의 데이터 엔지니어링 관련 경험과 구체적인 프로젝트 사례를 설명해 주세요.

데이터 엔지니어로서 다양한 프로젝트를 수행하며 실력을 쌓아 왔습니다. 특히 대용량 데이터 처리 및 효율적 데이터 파이프라인 구축에 집중하여 여러 기업의 데이터 활용 역량을 높이는 역할을 담당하였습니다. 가장 기억에 남는 경험은 온라인 광고 플랫폼의 데이터 수집 및 분석 시스템을 설계하고 구축한 프로젝트입니다. 이 프로젝트에서는 여러 광고 채널에서 발생하는 로그 데이터를 실시간으로 수집하는 시스템을 구축하였으며, Kafka를 활용하여 분산 메시징 시스템을 설계하였습니다. 수집된 데이터를 빠르게 저장하기 위해 HDFS와 Hadoop 기반의 데이터 웨어하우스를 도입하였고, Spark를 이용하여 대규모 배치 작업과 실시간 데이터 처리 업무를 수행하였습니다. 이렇게 구성된 시스템은 하루 수백억 건의 이벤트 데이터를 안정적으로 저장하고, 광고 효율 분석을 위해 필요한 데이터를 신속하게 추출할 수 있도록 도와주었습니다. 또한, 데이터 정제와 적재 과정을 자동화하기 위해 Apache Airflow를 활용하여 DAG(Directed Acyclic Graph)를 설계하고, 모니터링 시스템…