엔씨소프트 Programming Data Engineering 자기소개서

1. 본인이 데이터 엔지니어로서 수행했던 프로젝트 경험과 그 과정에서 본인이 맡았던 역할을 구체적으로 서술하시오.

데이터 엔지니어로서 다양한 프로젝트를 수행하며 데이터 수집, 저장, 처리, 분석을 위한 인프라 구축과 최적화에 힘써왔습니다. 특히, 게임 서비스 품질 향상을 목표로 한 프로젝트에 집중하여 사용자 경험을 개선하는 데 기여한 경험이 있습니다. 그중 한 개는 대규모 사용자 행동 데이터를 실시간으로 처리하는 시스템을 구축하는 사례입니다. 이 프로젝트에서는 고객 행동 데이터를 수집하는 데이터 파이프라인을 설계하는 역할을 맡았습니다. 로그 수집을 위해 Kafka를 도입하였으며, 서비스 서버에서 발생하는 로그 데이터를 실시간으로 Kafka 토픽에 송신하는 작업을 주도하였습니다. 이를 위해 로그 포맷을 표준화하고, 적절한 파티셔닝 전략을 수립하여 데이터의 분산 처리를 효율적으로 할 수 있도록 구성하였습니다. 동시에, Kafka에 적재된 데이터를 빠르게 처리하기 위해 Spark Streaming을 활용한 실시간 데이터 분석 파이프라인을 설계하였으며, 이 과정에서 배치와 스트림 처리의 차이점을 고려하여 성능 최적화를 진행하였습니다. 또…