[면접 합격자료] 티머니 Data Engineer 합격 문항 기출 최종합격

1. 데이터 엔지니어로서 ETL 파이프라인을 설계할 때 고려해야 할 주요 요소는 무엇인가요

ETL 파이프라인 설계 시 고려해야 할 주요 요소는 데이터 품질, 확장성, 신뢰성, 성능, 유지보수 용이성, 보안입니다. 데이터 품질은 누락값, 이상치, 중복을 최소화하기 위해 검증 단계와 데이터 정제 과정을 포함해야 합니다. 확장성은 데이터량이 하루 10억 건을 넘어서도 시스템이 안정적으로 처리할 수 있도록 분산처리 및 병렬처리 구조를 고려해야 하며, 이를 위해 Apache Spark와 Kafka 같은 분산 시스템을 활용하는 사례가 늘고 있습니다. 신뢰성 확보를 위해 장애 복구, 데이터 감사 로그, 모니터링 시스템이 필수적이며, 예를 들어 ETL 작업 실패 시 자동 재시도(return-to-queue)와 알림을 통해 신속하게 대응하는 방안을 마련해야 합니다. 성능 향상을 위해서는 적절한 인덱싱, 배치 크기 조절, 데이터 전송 압축을 적용하고, 처리 시간은 평균 30분 이내로 단축하는 것이 목표입니다. 유지보수 측면에서는 파이프라인 변경이 용이하고, 코드 표준화와 버전관리가 필수입니다. 마지막으로 데이터 보안을 위해 암호화, 액세스 제어, 감사 로그를 적용하여 개인정보 보…