[면접 합격자료] 야놀자 Data Engineer Infra 합격 문항 기출 최종합격

1. 데이터 엔지니어링 분야에서 가장 중요한 데이터 파이프라인 구성 요소는 무엇이라고 생각하나요

데이터 엔지니어링 분야에서 가장 중요한 데이터 파이프라인 구성 요소는 데이터의 신뢰성, 확장성, 그리고 성능입니다. 데이터의 신뢰성을 위해 정합성 검증 및 오류 처리 시스템이 필수적입니다. 예를 들어, 수백만 건의 거래 데이터를 실시간으로 처리하면서 오류율을 0. 01% 이하로 유지하는 사례가 있습니다. 확장성을 위해서는 분산 처리 시스템과 오케스트레이션 도구를 도입하여 데이터 볼륨이 급증할 때도 안정적으로 운영 가능합니다. 실제로 Apache Kafka와 Spark를 결합한 데이터 파이프라인은 초당 수천 건의 데이터를 실시간 처리하며, 시스템 다운타임 없이 9 9% 가용성을 보장하는 데 성공했습니다. 성능 측면에서는 ETL/ELT 과정에서 병렬 처리와 인덱싱 전략을 적용하여 데이터 처리 속도를 높이고, 지연 시간을 1초 미만으로 유지하는 것이 중요합니다. 이와 같은 구성 요소들이 조화를 이루어야만 데이터 전체 유효성과 시스템 안정성을 확보하며, 분석과 의사결정의 신뢰도를 향상시킬 수 있습니다.

2. 빅데이터 처리에 사용하는 대표적인 도구…