본문/내용
Ⅰ. 서 론
현대 사회는 데이터 기반 의사결정이 중요한 시대이다. 특히 디지털 환경의 확산으로 인해 뉴스 기사, 공공데이터, SNS 데이터 등 다양한 형태의 데이터가 대량으로 생성되고 있다. 이러한 데이터는 단순한 정보의 집합을 넘어 사회·경제 현상을 이해하고 미래를 예측하는 중요한 자원으로 활용되고 있다.
데이터 과학의 핵심 과정은 데이터의 수집, 정제, 분석, 해석에 있다. 원시 데이터는 그대로 분석에 활용하기 어렵기 때문에, 체계적인 전처리 과정을 거쳐야 의미 있는 결과를 도출할 수 있다. 특히 뉴스 데이터와 같은 비정형 텍스트 데이터는 구조화 과정이 필수적이며, 공공 API 데이터는 형식은 정형화되어 있으나 추가적인 가공이 필요하다.
본 과제에서는 파이썬의 웹 크롤링 기법과 공공 API 활용 방법을 통해 데이터를 직접 수집하고, 이를 전처리하여 분석하는 전 과정을 실습하였다. 먼저 requests와 BeautifulSoup를 활용하여 ‘부동산’과 ‘주식’ 관련 뉴스 기사 100건을 수집하고, 텍스트 정제 및 결측치 처리를 수행하였다. 이어서 공공데이터포털의 경제 관련 API를 활용하여 데이터를 추출하고, ETL(Extract-Transform-Load) 과정을 …
참고문헌
-공용( 2026 ). 「뉴스 데이터 수집 및 공공 API 활용 데이터 분석 실습 자료」. 직접 작성.
-한종대, 민경하( 2025 ). 『파이썬데이터처리』. KNOU PRESS.
-McKinney, W. ( 2022 ). Python for Data Analysis. O’Reilly Media.
-공공데이터포털. ( https://www.data.go.kr )