[면접 합격자료] 티머니 빅데이터-데이터 엔지니어 합격 문항 기출 최종합격

1. 티머니 빅데이터 프로젝트에서 데이터 수집과 저장 과정에서 고려해야 할 주요 요소는 무엇인가요

티머니 빅데이터 프로젝트에서 데이터 수집과 저장 과정은 데이터의 신뢰성과 활용성을 결정짓는 핵심 단계이며, 이에 고려해야 할 주요 요소는 데이터 품질, 실시간 처리 능력, 확장성, 보안, 비용 효율성입니다. 데이터 품질 확보를 위해 중복 제거, 결측치 처리, 데이터 표준화 작업이 필요합니다. 예를 들어, 교통 수단별 승하차 데이터는 1일 평균 5백만 건이 수집되며, 이 중 불완전 데이터 비율은 2% 미만이 유지되어야 분석 오류를 방지할 수 있습니다. 실시간 분석을 위해 Kafka, Flink 같은 스트리밍 플랫폼을 도입하여 데이터 지연 시간을 1초 이내로 유지하는 것이 요구됩니다. 저장 구조는 안정성과 확장성을 위해 분산 데이터 저장소인 HDFS 또는 클라우드 기반 시스템을 활용하며, 매일 1TB 이상의 데이터 증가에 대응할 수 있어야 합니다. 보안 측면에서는 데이터 암호화와 접근 통제, 개인정보 비식별화로 개인정보 유출 위험을 최소화하며, 예를 들어, 민감 데이터 유출 시 법적 책임이 발생할 수 있으므로 안전한 인프라 구축이 중요합니다. 마지막…