[면접 합격자료] GC(녹십자홀딩스) 데이터 엔지니어 합격 문항 기출 최종합격

1. 데이터 엔지니어로서 가장 중요하다고 생각하는 데이터 파이프라인 설계 원칙은 무엇인가요

데이터 엔지니어로서 가장 중요하다고 생각하는 데이터 파이프라인 설계 원칙은 데이터의 신뢰성과 확장성을 보장하는 것이라고 생각합니다. 데이터 파이프라인은 다양한 소스에서 수집된 데이터를 정제, 검증, 저장하는 과정을 포함하므로, 각 단계별 처리 속도와 품질 관리를 엄격히 하여 데이터 오류율을 0. 1% 이하로 유지하는 것이 중요합니다. 이를 위해 데이터를 실시간으로 모니터링하며, 실패 시 자동 복구와 알림 시스템을 갖추는 것도 기본입니다. 과거 프로젝트에서는 50TB 규모의 고객 행동 데이터를 처리하면서, Kafka와 Spark 기반의 병렬 처리 구조를 도입하여 처리 속도를 30% 향상시켰으며, 데이터 누락률을 0. 05%로 낮췄습니다. 또한, 데이터의 확장성을 위해 서버 증설이나 클라우드 서비스를 활용하여 처리 용량을 2배 이상 늘릴 수 있도록 설계하였으며, 이를 통해 24시간 내 데이터 처리 시간을 20% 단축하였습니다. 이러한 원칙들은 데이터를 신뢰할 수 있고, 비즈니스 변화에 유연하게 대응할 수 있도록 만듭니다.

2. 대용량 데이터를 처리할 때…