[면접 합격자료] 야놀자 Senior Data Engineer Infra 합격 문항 기출 최종합격

1. 데이터 파이프라인을 설계할 때 어떤 점을 고려해야 하나요

데이터 파이프라인을 설계할 때는 안정성, 확장성, 유연성을 최우선으로 고려합니다. 처음에는 데이터 소스와 수집 빈도, 데이터 양을 파악하여 실시간 또는 배치 처리 방식을 결정하는 것이 중요합니다. 예를 들어, 매일 10억 건 이상의 트랜잭션 데이터를 처리하는 경우, Kafka와 Spark Streaming을 활용해 스트리밍 처리 구조를 설계하였으며, 이로 인해 실시간 데이터 처리 지연이 2초 이내로 유지되었습니다. 데이터 품질 확보를 위해 ETL 과정에서 중복 제거와 검증 로직을 포함시키며, 실패 시 재시도 메커니즘과 장애 복구 방안을 명확히 합니다. 또한, 데이터 저장소 선택 시에는 데이터 조회 및 분석 성능을 고려하여 HDFS와 클라우드 기반 데이터 웨어하우스를 병행 활용하였으며, 이로 인해 사용자 쿼리 응답시간이 평균 1초 미만으로 향상되었습니다. 데이터 파이프라인의 확장성을 위해 모듈화와 유연한 배포를 설계하였고, 대량 데이터와 증가하는 처리 요구에 대비해 수평 확장성을 확보하였습니다. 마지막으로, 모니터링과 로깅 시스템을 갖추어 장애 발생 시 빠른 원인 분석과 복구가 가능…