버킷플레이스(오늘의집) Data Engineer 자기소개서

1. 본인의 데이터 엔지니어링 경험과 관련 프로젝트에 대해 구체적으로 기술해 주세요.

데이터 엔지니어로서 다양한 프로젝트를 수행하며 실무 역량을 키워왔습니다. 주로 데이터 파이프라인 설계와 데이터 인프라 구축, 데이터 적재 및 처리 자동화 작업을 담당해 왔으며, 실시간 데이터 처리와 대용량 데이터 분석에 강한 자신감을 가지고 있습니다. 한 프로젝트에서는 온라인 고객 행동 데이터를 수집, 저장, 분석하는 시스템을 구축하였는데, 고객의 클릭 로그와 구매 이력을 수집하기 위해 Kafka를 이용한 스트리밍 데이터 파이프라인을 설계하였습니다. 이 과정에서 메시지 큐의 안정성과 확장성을 고려하여 토픽 설계와 파티셔닝 전략을 수립하였고, Kafka Connect를 활용하여 다양한 소스로부터 데이터를 수집하였습니다. 이후 수집된 데이터를 스파크 스트림으로 실시간으로 처리하여 고객별 행동 분석과 추천 모델에 활용하였으며, 처리 결과는 클라우드 데이터 레이크에 적재하여 분석가들이 쉽게 접근할 수 있도록 하였습니다. 이 때 Spark와 Hadoop 기반의 분산 컴퓨팅 환경을 구축하고, 효율적이고 신뢰성 높은 데이터 처리 파이프라인을 만들어냈습니다. …