대한무역투자진흥공사 데이터 아키텍처 및 분석 DS(Data Scientist) 자기소개서

1. 본인이 데이터 분석 프로젝트를 수행하면서 직면한 가장 어려운 문제는 무엇이었으며, 이를 해결하기 위해 어떤 방법을 사용했는지 구체적으로 서술하시오.

데이터 분석 프로젝트를 수행하며 가장 어려웠던 문제는 대용량 데이터의 품질 문제와 데이터 불균형이 동시에 발생했을 때 적절한 해결책을 찾는 일이었습니다. 초기에는 데이터가 방대하고 다양한 출처에서 수집되어 있었기 때문에 누락된 값, 이상치, 중복 데이터 등 품질 문제를 발견하는 것부터 큰 난관이었습니다. 이러한 문제는 최종 분석 결과의 신뢰도를 떨어뜨릴 우려가 있었으며, 분석의 방향성을 잡기 어렵게 만들었습니다. 또한, 대상 데이터가 일부 클래스로 편중되어 있어 분석 결과의 편향이 심했고, 의미있는 통찰을 이끌어내기 어려운 상황이었습니다. 이 문제를 해결하기 위해 먼저 데이터 정제 작업에 많은 시간을 투자하였습니다. 수작업으로 이상치와 누락된 데이터를 검증하는 것은 비효율적이었기 때문에, 데이터 품질 검증 자동화 도구를 개발하였습니다. 이를 위해 데이터의 특성에 맞는 규칙 기반 필터링과 통계적 기법을 함께 활용하였으며, 결측치는 특징에 따라 평균, 중앙값 또…