본문/내용
1. 당근마켓 Search Labeling 작업에서 어떤 데이터 전처리 과정을 거치나요
당근마켓 Search Labeling 작업에서는 먼저 수집된 상품 텍스트 데이터를 정제하는 과정이 시작됩니다. 이때 불필요한 문자, 기호, 띄어쓰기 오류 등을 제거하며, 표준화된 형태로 통일합니다. 예를 들어, ‘중고 가스레인지 대리점’과 같은 제품명에서 오타와 띄어쓰기 오류를 수정하여 일관성 있는 데이터로 만들어줍니다. 이후 자연어 처리 기법을 활용하여 핵심 키워드와 의미를 파악하며, 불용어, 접속사, 조사 등을 제거합니다. 동시에, 태깅할 레이블을 위한 기준을 세우고, 상품 분류별 카테고리 매핑도 진행됩니다. 수작업 및 반자동 라벨링 과정을 병행하며, 데이터의 품질 향상을 위해 라벨링의 일관성과 정확도를 지속적으로 검증합니다. 이 과정에서 라벨링된 데이터는 전체 샘플의 85% 이상 정확도를 유지하며, 100만개 이상의 상품 데이터에서 98% 이상의 정밀도를 확보하였습니다. 또한, 대규모 데이터에서 중복 제거와 품질 체크를 반복 수행하며, 라벨링 오류율을 0. 5% 이하로 낮춰 검색 효율성과 정밀도를 크게 향상시켰습니다.
2. 검색 라벨링을 할 때 어떤 기준으로 …