이랜드이노플 Data Engineer(데이터인텔리전스) 자기소개서

1. 본인이 데이터 엔지니어로서 수행했던 프로젝트 경험과 그 과정에서 본인이 맡았던 역할을 구체적으로 기술해 주세요.

데이터 엔지니어로서 다양한 프로젝트에 참여하며 데이터 인프라 구축과 최적화에 힘써 왔습니다. 그중 한 개는 고객 행동 데이터 분석 시스템을 설계하고 구축하는 프로젝트입니다. 이 프로젝트에서는 고객 행동 데이터를 수집, 저장, 처리하는 전반적인 데이터 파이프라인을 담당하였으며, 회사의 마케팅 전략 수립에 기여하는 중요한 역할을 수행하였습니다. 고객 활동 데이터는 다양한 채널에서 실시간 또는 배치 방식으로 수집되었으며, 이를 안정적으로 처리하기 위해 Kafka를 활용한 실시간 메시지 큐 시스템을 구축하였습니다. 수집된 데이터는 적절한 형식으로 저장돼야 분석에 용이하다고 판단하였으며, 이를 위해 데이터 웨어하우스를 설계하였습니다. Snowflake와 같은 클라우드 기반 데이터 웨어하우스를 활용하여 스키마 설계, 자료 구조 최적화, 데이터 로딩 작업을 담당하였으며, 데이터의 정합성을 위해 데이터 검증 로직도 함께 개발하였습니다. 또한, 데이터를 빠르게 처리하고 분석할 수 있도록 ETL 과정도 설계하였는데, 주로 …