야놀자 Data Engineer Infra 자기소개서

1. 본인의 데이터 엔지니어링 경험 중 가장 의미 있었던 프로젝트를 설명하고, 그 과정에서 어떤 역할을 수행했는지 구체적으로 서술하세요.

가장 의미 있게 경험한 데이터 엔지니어링 프로젝트는 야놀자의 숙소 예약 데이터 통합 및 분석 플랫폼 구축입니다. 이 프로젝트는 고객 경험 향상과 운영 효율성 증대를 목표로 진행되었으며, 다양한 내부 시스템과 외부 데이터를 하데이터 인프라에서 안정적으로 수집하고 처리하는 것이 핵심 과제였습니다. 프로젝트 초기에 기존 시스템들은 각각 독립적으로 운영되고 있어 데이터 표준화와 통합이 어렵다는 문제를 파악하였습니다. 이에 따라 데이터 수집 및 저장, 처리, 분석 환경을 재설계하는 과정을 이끌었습니다. 프로젝트의 데이터 파이프라인 설계와 구현을 책임졌습니다. 여러 출처에서 발생하는 데이터를 실시간으로 수집하기 위해 스트리밍 데이터 처리 기술인 Kafka를 도입하였으며, 이를 기반으로 좌표, 예약 정보, 사용자 행동 기록 등 다양한 데이터를 실시간으로 통합하였습니다. 데이터를 정제하고 표준화하기 위해 Spark를 활용하였으며, 수집된 데이터를 빠르게 처리해 저장할 수 있는 Data Lake 구조도 설…