[면접 합격자료] 트릿지 Junior Data Engineer 합격 문항 기출 최종합격

1. 데이터 파이프라인이란 무엇이며, 어떤 구성 요소로 이루어져 있나요

데이터 파이프라인은 원시 데이터를 수집, 처리, 저장하여 분석 가능한 형태로 만들어주는 일련의 과정입니다. 주요 구성 요소는 데이터 소스, 데이터 수집 및 추출 도구, 데이터 처리 및 변환 단계, 저장소, 데이터 웨어하우스 또는 데이터레이크, 분석 및 보고 도구입니다. 데이터 소스는 로그파일, 데이터베이스, API 등 다양하며, 데이터 추출 도구로는 Apache NiFi, Kafka 등을 사용합니다. 데이터 처리를 위해 Spring Batch, Apache Spark와 같은 ETL 도구를 활용하며, 처리된 데이터는 Amazon S3, Google BigQuery 등 저장소에 저장됩니다. 이후 분석 툴인 Tableau, Power BI, 또는 머신러닝 플랫폼과 연동되어 인사이트 도출이 가능합니다. 예를 들어, 한 글로벌 이커머스 회사는 데이터 파이프라인을 구축하여 실시간 구매 데이터를 2초 이내에 처리하고 10억 건 이상의 건수를 분석하여, 프로모션 전략의 효율성을 20% 향상시킨 사례가 있습니다. 데이터 파이프라인 설계 시 데이터 정합성 유지, 확장성 확보, 비용 절감이 핵심 목표이며, 이로 인해 비즈니스 의사결정을 신속하게 할 수 …