[면접 합격자료] 신한카드 Data Engineering 합격 문항 기출 최종합격

1. 데이터 엔지니어링에서 사용하는 대표적인 데이터 파이프라인 설계 방법에는 어떤 것들이 있나요

데이터 엔지니어링에서 사용하는 대표적인 데이터 파이프라인 설계 방법으로는 배치 처리, 스트리밍 처리, 하이브리드 방안이 있습니다. 배치 처리는 일정 주기마다 대량 데이터를 일괄적으로 처리하는 방식으로, 예를 들어 일별 또는 주별 매출 집계 등에 활용됩니다. 실제로 배치 처리 시스템인 Hadoop MapReduce 또는 Spark는 데이터 로딩 시간과 처리 시간 최적화를 이뤄내며, 대용량 데이터를 10TB 이상 처리하는 데 적합합니다. 스트리밍 처리는 실시간 또는 거의 실시간으로 데이터를 처리하는 방법으로 Kafka, Flink, Spark Streaming 등이 사용됩니다. 예를 들어 실시간 금융 거래 모니터링 시스템에서는 밀리초 단위로 이상 거래 탐지를 가능하게 하며, 시스템 지연 시간은 평균 200ms 이내로 최적화됩니다. 하이브리드 방식은 배치와 스트리밍을 결합하여 일관성과 실시간성을 모두 확보하는 방법으로, 고객 행동 분석에서 고객의 즉시 피드백과 함께 일일 요약 데이터를 동시에 수집하는 데 활용됩니다. 이러한 방식을 통합하면 데이터 적재 시간 단축과 신…