[면접 합격자료] 한국과학기술정보연구원 데이터분석 기술직 합격 문항 기출 최종합격

1. 본인이 수행했던 데이터 분석 프로젝트 중 가장 어려웠던 점과 이를 어떻게 해결했는지 설명해보세요.

수행했던 데이터 분석 프로젝트 중 가장 어려웠던 점은 대규모 데이터를 처리하는 과정에서 발생한 데이터 누락 및 이상치 문제였습니다. 해당 프로젝트는 약 10억 건 이상의 로그 데이터를 분석하는 작업이었으며, 이 과정에서 5%인 5천만 건 이상의 데이터가 누락되거나 이상치로 판정됐습니다. 이를 해결하기 위해 먼저 데이터 정합성을 높이기 위해 대량 데이터를 분산처리하는 Hadoop 및 Spark 클러스터 환경을 구축하였으며, 결측치나 이상치를 식별하기 위해 통계적 방법인 Z-점수와 사분위 범위(IQR)를 활용하여 데이터를 정제하였습니다. 동시에, 데이터 불균형 문제로 특정 범위에만 집중된 분석 결과가 왜곡될 우려가 있었기 때문에, 샘플링 기법인 오버샘플링과 언더샘플링을 적용하여 데이터의 균형을 맞췄습니다. 그 결과, 최적화된 모델의 정확도는 기존보다 15% 향상되었으며, 전체 분석 시간도 30% 단축하는 성과를 거두었으며 이 과정을 통해 대용량 데이터 처리 능력과 정제 기술이 크게 향상됐습니다.

2. 데이터 전처리 과정에서 자주 사용…