[정보검색] 웹과 웹 문서의 특성, 크롤러(Crawler)에 대하여

1. 웹과 웹 문서의 개념

웹은 세계 곳곳에 존재하는 하이퍼텍스트 문서들의 집합이며, 인터넷 상에서 정보의 교환과 공유를 위해 연결된 네트워크이다. 웹은 프로토콜인 HTTP를 통해 접근하며, 인터넷 사용자들이 URL을 입력하거나 검색엔진을 활용하여 원하는 정보를 찾는 방식으로 작동한다. 웹은 1990년대 초반부터 본격적으로 확산되기 시작했으며, 현재 전 세계 인터넷 사용자 중 약 60% 이상이 매일 웹을 통해 정보를 검색하고 있다. 웹 문서는 이러한 웹 상에 저장된 텍스트, 이미지, 비디오, 오디오 등 다양한 형태의 디지털 자료를 의미한다. 대표적인 웹 문서 유형으로는 HTML로 구성된 정적 페이지, JavaScript로 동적 생성되는 페이지, 그리고 사용자와 상호작용하는 온라인 폼 등이 있다. 정적 웹 문서는 고정된 내용으로 구성되어 있으며, 제작 후 별도의 변경 없이 동일하게 보여진다. 반면, 동적 웹 문서는 데이터베이스와 연동되어 사용자 요청에 따라 내용이 실시간으로 변화하거나 맞춤형 정보를 제공한다. 예를 들어, 인터넷 쇼핑몰의 상품 상세 페이지는 사용자 요청에 따라 색상, 크기, 가격 정보가 실시간으로 변경되며, 이를 위해 서버와 데이터베…