에스아이에이 정보운영실-Data Engineer 자기소개서

1. 본인의 데이터 엔지니어링 관련 경험이나 프로젝트 사례를 구체적으로 기술해 주세요.

데이터 엔지니어로서 다양한 프로젝트를 수행하며 실력을 쌓아왔습니다. 고객 이탈 분석 시스템 구축 프로젝트를 진행하였는데, 이 프로젝트에서는 대규모 고객 데이터를 수집하고 정제하는 과정이 중요했습니다. 고객 행동 데이터를 여러 채널에서 수집한 후, 파이썬과 스크립트를 통해 데이터 정제 작업을 진행하였으며, 불완전하거나 중복된 데이터를 제거하여 분석에 적합한 형태로 가공하였습니다. 이후, Apache Spark를 활용하여 데이터를 빠르게 처리하였고, Hive를 이용해 데이터 웨어하우스에 적재하는 작업을 수행하였습니다. 이 과정에서 데이터 파이프라인을 자동화하기 위해 Apache Airflow를 도입하여 매일 새로 유입되는 데이터를 실시간으로 처리할 수 있도록 하였으며, ETL 프로세스를 효율적으로 관리하였습니다. 또한, 이탈 고객 예측 모델 개발을 위해 등장하는 데이터를 기반으로 특성 엔지니어링을 수행했고, 다양한 알고리즘을 적용하여 모델의 정확도를 높이기 위한 실험도 병행하였습니다. 이 프로젝트를 통해 데이터 인프라 설계, 데이터 파이프라인 자…