더블다운인터액티브 개발 데이터엔지니어 ETL 자기소개서

1. 데이터 엔지니어로서 본인의 ETL 개발 경험과 역할에 대해 구체적으로 기술해 주세요.

데이터 엔지니어로서 ETL 개발 경험이 풍부합니다. 데이터 수집부터 저장, 가공까지의 전 과정을 책임지고 수행하며, 정확하고 효율적인 데이터 파이프라인 구축을 위해 노력합니다. 처음 프로젝트에서는 고객 행동 데이터를 수집하는 작업을 담당하였으며, 다양한 원천 데이터베이스와 로그 시스템에서 데이터를 추출하는 작업을 수행하였습니다. 데이터 추출 단계에서는 SQL과 Python 기반의 스크립트를 활용하여 데이터의 정합성과 일관성을 유지하면서 필요한 데이터만 선별하였고, 이를 효율적으로 처리할 수 있도록 병렬처리 기법을 도입하였습니다. 추출된 데이터는 중간 저장소인 데이터 웨어하우스로 이동되는데, 이 과정에서는 데이터의 무결성을 유지하면서 정제 과정을 거치게 됩니다. 데이터 정제 작업에서는 결측치 처리, 이상치 제거, 데이터 포맷 통일 작업을 수행하며, 필요한 경우 파생변수 생성도 함께 진행하였습니다. 가장 핵심적인 역할은 데이터 로드 단계입니다. 수집된 데이터를 데이터 웨어하우스로 적재하는 과정에서 데이터의 특성에 맞는 적재 방식을…