[면접 합격자료] 유디에스 Data Platform 데이터 수집 개발 합격 문항 기출 최종합격

1. 유디에스 Data Platform의 데이터 수집 프로세스에 대해 설명해보세요.

유디에스 Data Platform의 데이터 수집 프로세스는 다양한 데이터 소스에서 실시간 또는 배치 방식으로 데이터를 수집하는 방식을 채택하고 있습니다. 데이터 소스는 내부 시스템, 외부 API, 서버 로그, IoT 기기 등 다양하며, 각각의 특성에 맞게 커스터마이징된 수집 방법을 사용합니다. 실시간 데이터 수집의 경우, Kafka, Kafka Connect, 또는 Flink와 같은 이벤트 스트리밍 플랫폼을 활용하여 초당 수십만 건의 데이터도 손실 없이 전송합니다. 배치 수집의 경우, Apache NiFi 또는 Airflow를 통해 정해진 주기마다 데이터를 수집하여 시스템의 부하를 최소화하며 효율성을 높입니다. 수집된 데이터는 먼저 데이터 레이크에 저장되며, 이때 데이터 품질 검증, 중복 제거, 포맷 표준화 작업이 함께 이루어집니다. 예를 들어, 하루 평균 100TB 이상의 데이터가 수집되며, 데이터 무결성과 정합성을 유지하기 위해 다양한 검증 절차가 병행됩니다. 수집된 데이터는 이후 클렌징, 변환 과정을 거쳐 데이터 웨어하우스로 적재되고, 이를 통해 분석 및 시각화 작업이 진행됩니다. 이 프로세스는 데…