자료설명
빅데이터의이해와활용 2026년 2학기 중간과제물 인공지능 LLM 인터넷상 데이터 대량수집위한 웹스크래핑 웹크롤링과 오픈API 기술적실무적차이서술00
컴퓨터과학과 통계데이터과학과 빅데이터의이해와활용2공통
2026년 2학기 방송통신대 중간과제물)다음은 어떤 인공지능(LLM)에게 인터넷상에서 데이터를 대량 수집하기 위한 웹 스크래핑(웹 크롤링
목차/차례
- Ⅰ. 서 론
- Ⅱ. 본 론
- 1. 웹 스크래핑과 오픈 API의 기술적·실무적 차이
- 1) 웹 스크래핑에 대한 잘못된 설명과 교정
- 2) 웹 스크래핑의 법적·윤리적 문제
- 3) 오픈 API에 대한 잘못된 설명과 교정
- 4) 웹 스크래핑과 오픈 API의 비교
- 2. 빅카인즈를 활용한 뉴스 빅데이터 분석
- 1) 분석 키워드와 분석 방법
- 2) 키워드 트렌드 분석
- 3) 뉴스량 급증과 실제 사회적 사건의 연결
- 4) 관계도 분석과 핵심 개체의 의미
- 5) 빅데이터 분석 결과에 따른 나의 비즈니스 의사결정 의견
- Ⅲ. 결 론
- 참고문헌
본문/내용
Ⅰ. 서 론
오늘날 인터넷에는 뉴스, 블로그, 공공정보, 기업정보, 상품정보 등 방대한 양의 데이터가 지속적으로 생성되고 있다. 이러한 데이터를 효과적으로 수집하고 분석하는 능력은 기업의 의사결정뿐만 아니라 공공정책, 사회현상 분석, 마케팅, 연구 등 다양한 분야에서 중요한 역할을 한다.
인터넷상의 데이터를 수집하는 대표적인 방법으로 웹 스크래핑(웹 크롤링)과 오픈 API(Application Programming Interface)를 들 수 있다. 두 방식 모두 인터넷이나 정보시스템에 존재하는 데이터를 자동으로 수집한다는 공통점이 있지만, 데이터를 가져오는 방식과 안정성, 이용 조건, 유지관리 방법, 활용 목적에서는 차이가 있다.
웹 스크래핑은 웹페이지에 표시된 정보를 프로그램을 이용해 추출하는 방식이다. 반면 오픈 API는 데이터를 보유한 기관이나 서비스 제공자가 정해진 인터페이스를 통해 외부에서 데이터를 활용할 수 있도록 제공하는 방식이다. 따라서 두 기술을 동일한 방식으로 이해해서는 안 되며, 데이터의 목적과 제공 환경에 따라 적절한 수집 방법을 선택해야 한다.
이번 과제에서는 먼저 인공지능 언어모델(LLM)이 제시한 웹 스크래핑과 오픈 API…
참고문헌
-공용( 2026 ), 빅데이터의이해와활용 인공지능 LLM 인터넷상 데이터 대량수집위한 웹스크래핑 웹크롤링과 오픈API 기술적실무적차이 직접서술
-정재화( 2021 ). 『빅데이터의이해와활용』. 한국방송통신대학교출판문화원.
-한국언론진흥재단. 『빅카인즈( BigKinds )』.
-한국지능정보사회진흥원. 공공데이터 및 데이터 활용 관련 자료.
빅데이터의이해와활용, 빅데이터, 빅카인즈, 빅데이터분석, 뉴스빅데이터, 관계도분석, 데이터기반의사결정, 웹스크래핑, 오픈API