본문/내용
문제 1. 웹 스크래핑을 통한 데이터 수집 (15점)
과제 내용:
네이버 뉴스 또는 다음 뉴스에서 특정 키워드와 관련된 최신 기사 정보를 수집하여 분석하시오.
요구사항:
-데이터 수집 (7점)
관심 있는 키워드 1개를 선택 (예: 인공지능, 기후변화, K-팝 등)
BeautifulSoup 또는 Selenium을 사용하여 최근 1주일간 해당 키워드 관련 기사 50건 이상 수집
수집 항목: 기사 제목, 날짜, 언론사, 요약문(있는 경우)
수집 과정의 주요 코드와 설명 포함
-데이터 처리 및 저장 (5점)
Pandas DataFrame으로 정리
CSV 파일로 저장
-간단한 분석 (3점)
일자별 기사 수 집계
언론사별 기사 수 TOP 10
제목에서 가장 많이 등장한 단어 TOP 20 (불용어 제외)
requests, BeautifulSoup 모듈을 사용하여 최근 1주일간 특정 키워드(“케데헌”) 관련 기사 500건 이상 수집하고 이 데이터를 문제의 지시사항에 따라 분석하였다.
requests 모듈은 파이썬에서 HTTP 요청을 간단하게 보낼 수 있도록 해주는 라이브러리다. 웹 서버와 데이터를 주고받을 때 자주 사용되며, GET, POST, PUT, DELETE 같은 메서드를 직관적으로 호출할 수 있다. 브라우저 없이도 웹페이지의 HT…