원테크스탑 Data Engineer 자기소개서

1. 본인이 데이터 엔지니어로서 수행했던 프로젝트 경험과 그 과정에서 본인이 기여한 바를 구체적으로 서술해주세요.

수행한 데이터 엔지니어링 프로젝트 중 가장 의미 있었던 경험은 온라인 쇼핑몰 고객 행동 분석을 위한 데이터 인프라 구축입니다. 고객 행동 데이터를 정기적으로 수집하고 분석하는 시스템이 필요하다고 판단되어, 기존 데이터 파이프라인을 개선하고 확장하는 작업에 참여하게 되었습니다. 여러 채널에서 발생하는 로그 데이터를 효율적으로 수집하기 위해 Apache Kafka를 도입하였으며, 실시간 데이터를 빠짐없이 수집하고 저장하는 구조를 설계하였습니다. Kafka로 수집된 데이터는 스트림 프로세싱을 위해 Apache Flink를 활용하여, 고객 세션 정보를 실시간으로 집계하고 이상 행동을 감지할 수 있도록 하였습니다. 또한, 데이터 저장소로는 클라우드 기반의 Amazon S3와 데이터 웨어하우스인 Amazon Redshift를 연동하여, 큰 규모의 데이터를 안정적으로 저장하고 빠르게 조회할 수 있도록 하였습니다. 이 과정에서 데이터 파이프라인의 각 단계에 대해 깊이 이해하게 되었으며, 시스템 설계와 함께 성능 향상, 장애 대처 방안까지 고려하는 능…