[면접 합격자료] 엔씨소프트 Development Programming(Data Engineering) 합격 문항 기출 최종합격

1. 데이터 엔지니어링 프로젝트에서 데이터 파이프라인 설계 시 고려해야 할 주요 요소는 무엇인가요

데이터 엔지니어링 프로젝트에서 데이터 파이프라인 설계 시 고려해야 하는 주요 요소는 데이터 품질, 확장성, 안정성, 성능, 유지보수성, 보안 등입니다. 데이터 품질 확보가 중요하며, 데이터 수집 단계에서 누락, 오염된 데이터가 발생하지 않도록 검증 및 정제 과정을 자동화해야 합니다. 예를 들어, 실시간 추천 시스템을 구축할 때 평균 처리 속도가 초당 10,000건 이상이어야 하며, 데이터 누락률은 0. 1% 이하로 유지해야 합니다. 확장성 측면에서는 데이터 증가에 따라 수평 확장 또는 클라우드 기반 인프라를 활용하여 수요에 맞게 유연하게 확장 가능해야 합니다. 안정성에서는 장애 발생 시 자동 복구나 백업 정책을 적용해 9 999% 가용성을 확보하며, 성능 최적화를 위해 병렬 처리, 인덱싱, 캐싱 전략을 활용해야 합니다. 유지보수성을 높이기 위해 모듈화된 설계와 자동화된 모니터링 시스템을 도입하며, 데이터 흐름을 이해하기 쉽도록 문서화와 로깅을 철저히 하는 것이 필요합니다. 마지막으로 보안 측면에서는 민감 정보 암호화와 접근 권한 제어를 …