[면접 합격자료] 엔씨소프트 Programming Data Engineering 합격 문항 기출 최종합격

1. 데이터 엔지니어링 프로젝트에서 주로 사용하는 데이터 파이프라인 구축 방법에 대해 설명해주세요.

데이터 엔지니어링 프로젝트에서 데이터 파이프라인 구축 방법은 크게 데이터 수집, 저장, 처리, 분석 단계로 나눌 수 있습니다. 먼저 데이터 수집 단계에서는 Kafka와 Flume 같은 실시간 데이터 스트리밍 도구를 활용하여 여러 출처(웹 로그, IoT 센서, 트랜잭션 데이터 등)에서 데이터를 수집합니다. 이를 위해 각 데이터를 표준화하여 일관성 있는 형태로 병합하는 작업이 필요하며, 약 9 9% 이상의 안정성을 위해 샤딩과 리플리케이션 기법을 적용합니다. 저장 단계에서는 Hadoop HDFS 또는 클라우드 기반 Amazon S3 등 분산 저장소를 사용하여 페타바이트 규모 데이터를 효율적으로 저장합니다. 이후 데이터 처리 단계에서는 Spark, Flink와 같은 분산 처리 엔진을 활용하여 대기시간을 줄이고 병렬처리를 통해 데이터 처리 속도를 높이는데, 예를 들어 실시간 이벤트 분석 시 1000만 건의 데이터를 초당 처리 속도로 2초 내 결과를 도출한 사례가 있습니다. 마지막으로 데이터 분석 및 활용 단계에서는 Airflow 등을 사용해 워크플로우를 자동화하며, 정기적인 …