[면접 합격자료] 트릿지 Senior Data Scientist (NLP,자연어 처리) 합격 문항 기출 최종합격

1. 자연어 처리(NLP) 프로젝트를 수행할 때 주로 사용하는 데이터 전처리 기법은 무엇인가요

자연어 처리(NLP) 프로젝트에서 주로 사용하는 데이터 전처리 기법은 여러 가지가 있으며, 특히 토큰화, 정제, 표제어 추출, 불용어 제거, 어간 추출이 중요합니다. 토큰화는 텍스트를 의미 있는 단위로 나누어 모델이 이해할 수 있게 하며, 정제 과정에서는 특수문자, 숫자, HTML 태그 등을 제거하여 노이즈를 최소화합니다. 표제어 추출과 어간 추출은 단어의 기본 형태를 찾기 위해 수행되며, 이로써 단수형과 복수형, 동사의 시제 차이 등을 통합하여 벡터 표현의 차원을 줄이고 모델 성능을 향상시킵니다. 불용어 제거는 빈번히 출현하지만 의미 전달에 기여하지 않는 불용어를 삭제하며, 이를 통해 특징 벡터의 희소성을 줄이고 학습 속도를 높일 수 있습니다. 예를 들어, 뉴스 기사 자연어 처리 프로젝트에서는 전처리 후 TF-IDF 피처의 차원이 평균 30% 이상 감소했으며, 이로 인해 모델의 정확도가 5% 향상된 사례가 있습니다. 이외에도 표준화, 정규화, 데이터 정렬, 레이블 인코딩 등도 활용되며, 이러한 정제 과정들은 모델의 학습 효율성과 성능을 높이는데 중요한…