[면접 합격자료] 야놀자 [트러스테이] Data Engineer 합격 문항 기출 최종합격

1. 데이터 파이프라인 설계 경험에 대해 설명해 주세요. 어떤 도구와 기술을 사용했으며, 어떤 문제를 해결했나요

데이터 파이프라인 설계 경험으로는 대규모 실시간 데이터 수집과 분석 시스템 구축이 포함됩니다. Apache Kafka를 활용하여 초당 50만 건 이상의 이벤트 데이터를 안정적으로 수집했고, Apache Spark Structured Streaming을 이용해 실시간 데이터 처리와 가공 작업을 수행했습니다. 이 과정에서 데이터 정합성과 중복 제거를 위해 Spark의 윈도우 함수와 상태 저장 기능을 적극 활용했으며, 데이터 지연 시간을 2초 이내로 유지하는 목표를 달성했습니다. 또한, Airflow를 이용해 ETL 작업 자동화 및 모니터링 시스템을 구축하여 설계 후 전체 프로세스의 신뢰성을 향상시켜 일별 데이터 갱신 성공률 9 9%를 기록했습니다. 문제 해결 측면에서는 수집된 데이터의 품질 저하와 지연 문제들이 있었으나, 데이터 검증 로직과 병렬 처리 최적화를 통해 문제를 해결하였으며, 최종적으로 데이터 엔드 투 엔드 처리 시간을 40% 단축하는 성과를 거두었습니다. 이러한 설계 경험은 데이터 활용률 향상과 실시간 데이터 분석 기반을 마련하는 데 큰 도움을 주었습…