야놀자 Senior Data Engineer Infra 자기소개서

1. 본인의 데이터 엔지니어링 역량과 인프라 구축 경험에 대해 구체적으로 서술하시오.

데이터 엔지니어로서 다양한 프로젝트를 수행하며 쌓아온 경험과 역량이 있습니다. 데이터 수집과 저장, 가공, 분석이 원활히 이루어지도록 인프라를 설계하고 구축하는 일에 열정을 가지고 있습니다. 이 과정에서 ETL 파이프라인 구축, 데이터 웨어하우스 설계, 데이터 파이프라인 자동화, 모니터링 시스템 구축 등 다양한 기술을 활용하여 안정적이고 확장 가능한 환경을 만드는 것이 중요하다고 생각합니다. 실제 프로젝트에서는 고객 행동 데이터를 수집하는 과정에서 여러 데이터 소스에서 데이터를 효율적으로 추출하여 정제하는 작업을 진행하였으며, 이를 위해 Spark와 Kafka를 활용하여 실시간 데이터 스트리밍과 배치 데이터를 한데 통합하는 구조를 설계하였습니다. 또한, 서버 인프라를 오케스트레이션하고 모니터링하기 위해 Kubernetes와 Prometheus, Grafana를 적극 도입하여 시스템의 가용성 확보와 문제 발생 시 신속한 원인 분석이 가능하도록 하였으며, 이를 통해 인프라 안정성과 운영 효율성을 높일 수 있었습니다. 데이터 저장소 선정과 설계에도 신경을 많이 …