[면접 합격자료] 현대카드 Data Engineer 합격 문항 기출 최종합격

1. 데이터 파이프라인을 설계할 때 고려해야 할 핵심 요소는 무엇인가요

데이터 파이프라인 설계 시 고려해야 할 핵심 요소는 데이터 품질, 확장성, 안정성, 성능, 실시간 처리 여부, 비용 효율성, 보안, 유지보수 용이성입니다. 데이터 품질 관리를 위해 ETL 과정에서 데이터 검증 및 정제 작업을 철저히 수행해야 하며, 불완전하거나 오류 데이터의 비율이 2% 이상인 경우 재처리 또는 보완 방안을 마련해야 합니다. 확장성 측면에서는 데이터를 시시각각 늘어추세에 맞춰 수평 확장 또는 서버리스 아키텍처를 도입하며, 이를 통해 1억 건 이상의 일별 데이터 처리도 30분 내에 완료할 수 있도록 설계합니다. 안정성을 위해 배치 실패 시 자동 재시도, 장애 발생 시 빠른 복구 시스템을 구축하며, 9 9% 이상의 서비스 가용성을 유지하는 것이 필요합니다. 성능 최적화를 위해 쿼리 성능을 50% 이상 향상시키고, 데이터 파이프라인 전체 평균 처리 시간은 10분 이내로 유지하는 것이 목표입니다. 실시간 처리가 요구되면 Kafka, Flink 같은 스트리밍 도구를 활용하며, 비용 효율성 확보를 위해 오픈소스 플랫폼과 클라우드 서비스의 적절한 조합을 사용합니다. 보안 강화…