GS네오텍 Data엔지니어 자기소개서

1. 본인이 데이터 엔지니어로서 수행한 프로젝트 또는 작업 경험을 구체적으로 기술하고, 그 과정에서 본인이 맡았던 역할과 기여한 바를 설명하세요.

데이터 엔지니어로서 다양한 프로젝트에 참여하여 실질적인 데이터 구축과 최적화를 수행한 경험이 있습니다. 가장 먼저 기억에 남는 작업은 대형 온라인 쇼핑몰의 고객 행동 분석을 위한 데이터 파이프라인 설계와 구축입니다. 이 프로젝트에서는 데이터 수집 단계부터 분석까지 전 과정을 맡아서 진행하였으며, 데이터의 방대한 양과 실시간 처리 요구에 대응하기 위해 Apache Kafka와 Spark Streaming을 활용하였습니다. 수집된 데이터를 위한 적절한 저장소로는 Hadoop HDFS와 AWS S3를 선택하여 데이터의 안정성과 확장성을 확보하였고, 데이터 정제 및 품질 검증 과정을 거쳐 분석용 데이터 웨어하우스로 적재하였습니다. 주로 데이터 수집과 전처리 작업을 담당하였으며, 특히 다양한 시스템에서 흩어져 있던 로그 데이터를 일관성 있게 통합하는 역할을 수행하였습니다. 이를 위해 커스터마이징한 Kafka 토픽 설계와 Spark 애플리케이션을 개발하여 데이터 흐름을 효율적으로 관리하였으며, 실시간 모니터링 시…