[면접 합격자료] 야놀자 Data Engineer 합격 문항 기출 최종합격

1. 데이터 파이프라인을 설계할 때 고려해야 할 주요 요소는 무엇인가요

데이터 파이프라인을 설계할 때 가장 중요한 요소는 신뢰성, 확장성, 성능, 유지보수 용이성, 비용 효율성입니다. 먼저 신뢰성은 데이터 손실이나 오류를 방지하기 위해 로깅, 모니터링 시스템 구축이 필수이며, 실시간 데이터 처리에서는 장애 발생 시 빠른 복구가 가능해야 합니다. 확장성은 사용자 증가와 데이터 양 증가에 따라 시스템이 자연스럽게 확장 가능해야 하며, 예를 들어 트래픽이 50% 증가할 때 처리 속도가 5초 이내로 유지되도록 설계하는 것이 중요합니다. 성능은 데이터 처리 시간 단축이 핵심이며, 배치 및 스트림 처리 방식을 적절히 조합하고, Spark 또는 Flink 같은 분산 처리 엔진을 활용하여 처리 속도를 20% 향상시킨 사례도 있습니다. 유지보수 용이성을 위해서는 표준화된 코드와 모듈화, 문서화가 필수적이며, 개발 단계뿐 아니라 운영 단계에서도 신속한 이슈 대응이 가능해야 합니다. 비용 효율성을 위해서는 인프라 규모 조절, 비용 최적화된 클라우드 서비스 사용, 불필요한 자원 회수 전략이 필요하며, 예를 들어 여러 작업에 Amazon EMR을 사용해 연간 30% 비용…