본문/내용
1. AI/ML 프로젝트를 수행할 때 데이터를 수집하고 전처리하는 과정에서 어떤 방법을 주로 사용하나요
AI/ML 프로젝트를 수행할 때 데이터 수집은 웹 크롤링, API 활용, 데이터베이스 추출, 센서 데이터 수집 등 다양한 방법을 사용합니다. 예를 들어, 공개된 웹 사이트와 논문 데이터셋을 크롤링하여 10만 건 이상 데이터를 확보하거나, 공공기관 API를 활용해 실시간 트래픽 데이터 1억 건 이상을 수집한 사례가 있습니다. 전처리 단계에서는 데이터 정제와 결측치 처리, 이상치 제거, 정규화 또는 표준화를 주로 사용하며, 이는 모델 성능 향상에 중요합니다. 구체적으로 누락된 값이 많을 경우 평균값 또는 중위값으로 대체하거나, 이상치 검출 알고리즘(이상치 점수 3 표준편차 이상)을 적용하여 3만 건 이상의 데이터에서 이상치를 제거한 경험이 있습니다. 텍스트 데이터의 경우 자연어처리 기술인 토큰화, 불용어 제거를 수행하며, 이미지 데이터는 크기 표준화와 증강기법을 통해 데이터 양을 두 배 이상 늘리기도 합니다. 이러한 방법들이 데이터의 잡음과 편향을 줄여 모델 학습 안정성과 정확도를 높이는데 효과적임을 보았습니다. 또한, 데이터 저장 및 버전…