SK플래닛 Data Pipeline Engineer 자기소개서

1. 본인의 데이터 파이프라인 개발 경험과 구체적인 프로젝트 사례를 기술하세요.

데이터 파이프라인 개발에 많은 경험이 있으며 다양한 프로젝트를 통해 실무 역량을 쌓아왔습니다. 특히 대용량 데이터를 효율적으로 처리하고 분석하는 시스템을 설계하고 구축하는 것에 강점을 가지고 있습니다. 첫 번째로 참여했던 프로젝트는 온라인 커머스 기업의 주문 처리 및 로그 분석 시스템이었습니다. 이 프로젝트에서는 매일 방대한 양의 주문 데이터와 클릭 로그를 수집하여 실시간 분석 및 리포팅이 가능하도록 하는 것이 목표였습니다. 이와 관련하여 먼저 데이터 수집 파이프라인을 설계하였는데, 다양한 데이터 소스로부터 데이터를 안정적으로 추출하는 작업이 중요하다고 판단하였습니다. 이를 위해 Kafka를 도입하여 실시간 데이터 스트리밍을 구현하였으며, 각 데이터 소스에서 발생하는 이벤트를 빠르게 수집하였습니다. 이후 수집된 데이터를 데이터 레이크에 저장하기 위해 HDFS와 S3를 이용하였으며, 저장된 데이터는 Spark를 활용하여 정제하고 변환하는 과정을 거쳤습니다. 이때 ETL(Extract-Transform-Load) 작업에 Spark를 적극적으로 활용하였으며, 파티셔…