[면접 합격자료] 한국투자증권 [플랫폼본부] 데이터 엔지니어(데이터 파이프라인, 자동화 개발) 합격 문항 기출 최종합격

1. 데이터 파이프라인 설계와 구축 경험에 대해 설명해 주세요. 어떤 도구와 기술을 사용했으며, 직면했던 어려움과 해결 방법은 무엇이었나요

한국투자증권 플랫폼본부에서 데이터 파이프라인 설계와 구축 경험이 있습니다. 주로 Apache Spark와 Airflow를 활용하여 실시간 및 배치 데이터를 처리하는 파이프라인을 개발하였으며, 데이터 처리 시간은 평균 30% 단축시키고 안정성을 높이기 위해 Kafka와 Hadoop 클러스터를 연계하여 구축하였습니다. 초기 설계 단계에서는 데이터 소스 간 스키마 불일치 문제와 데이터 병렬 처리의 병목현상이 발생하여, 이를 해결하기 위해 데이터 표준화와 동적 배치 전략을 도입하였고, 코드를 최적화하여 처리 속도를 2배 향상시켰습니다. 또한, 자동화 모니터링 시스템을 구축하여 오류 발생 시 빠르게 대응 가능하게 했으며, 이로 인해 배포 후 시스템 가동률은 9 9%에 달하였고, 데이터 품질 검증 자동화로 수작업 검증 시간을 70% 이상 절감하였습니다. 이러한 경험을 통해 안정적이고 확장 가능한 데이터 파이프라인을 설계하는 능력을 검증받았습니다.

2. 데이터 자동화 프로세스를 개발할 때 고려해야 할 핵심 요소는 무엇…