웹 상의 정보를 수집하기 위한 로봇 에이전트의 개발

◆ 로봇 에이전트의 용도 최초의 웹 로봇은 Matthew Gray의 World Wide Web Wanderer이다. 이것은, 전세계에 설치되어 있는 웹 서버를 발견하고 개수를 헤아림으로써 WWW의 증가율을 측정하기 위해 1993년 6월에 개발되었다. 로봇 에이전트들은 아래 목적들 중에서 하나 또는 복합적인 목적을 가지고 동작한다. ・웹 자원 검색(Web Resource Discovery) 웹 자원 검색은 웹에서 쓸모있는 정보를 찾아내는 문제와 관련이 있다. ・웹 유지 보수(Web Maintenance) 웹에 등록되어 있는 파일의 어느 부분에 잘못이 있으며, 어디서 데드링크(dead link)가 발생되었 는지 알아보는데 사용할 수 있다. ・웹 미러링(Web Mirroring) 미러링은 데이터를 복사하는 일반적인 방법이다. ・복합적인 사용(Combined Uses) 위에서 열거한 여러 가지 일들을 동시에 수행하는 방법이다. ◆ WWW 로봇 에이전트의 설계 로봇 에이전트의 설계 목표는 기본적으로 다음과 같다. ・로봇 제작 가이드라인과 로봇 배제 표준안을 수용하여 ・네트워크와 웹 서버의 부하를 줄이면서 ・웹 상의 문서들을 자동으로 수집한다. ◇ 로봇 배제 표준안 로봇 배제 표준안은 비록 임시적인 방편이기는 하나 로봇 에이전트가 특정한 웹 서버에 접근하는 것을 제한하는 방법을 제공한다. 즉, 로봇 에이전트의 웹 서버에 대한 접근 정책을 나타낸 것으로, 로봇 에이전트의 동작으로 인해 네트워크의 속도저하를 방지하고, 로봇 에이전트의 동작으로 인해 네트워크의 속도저하를 방지하고 CGI에 대한 검색을 방지하기 위해 만들어졌다. 웹 서버로부터 로봇을 배제하는 방법은 로봇의 접근 정책을 명시한 “/robots.txt`라는 파일을 서버에 생성하면 된다. ◇ 로봇 제작 가이드라인(Koster에 의해 제안된) 로봇 에이전트 제작시 …
…