검색엔진에는.. 음
야후
엠파스
라이코스
네이버
다음
심마니
음음.. 여기까지 정도만 알아두시면 되구요.
.
특징은
야후 : 우리나라 사람들이 가장 많이 이용하는 검색사이트.
검색이 체계적으로 잘 되어 있다
엠파스 : 자연어 검색이 가능한 사이트. 검색률 top 1에 올랐다.


라이코스 : 우리나라 5위 안에 드는 검색엔진.
검색보다는 커뮤니티에 중점을 주었다.


네이버 : 넥서치라는 서버를 두어 더 정확한 검색을 지원하게 되었다.


디자인도 좋고, 커뮤니티도 대체로 좋다.


다음 : 파이어볼 이라는 검색엔진을 갖고 있는 곳이다.


검색의 양은 많지 않지만, 한메일로 유명해진 곳이다.



로봇 에이전트와 그 활용



에이전트란 1부에서 설명된 바와 같이 사람이 할 작업을 대신하여 주는 역할을 한다. 제2부에서는 로봇(robot), 스파이더(spider), 웹 벌레(Web Worm), Web crawlers(참고 : WebCrawler는 특정 로봇 이름이다), WebAnts 라고들 불리는 인터네트 상의 로봇 에이전트에 대한 설명을 하고자 한다. 로봇 에이전트는 네트워크의 부하을 올린다는 측면에서 문제가 있기는 하나 현재 인터네트 상의 검색을 위해서는 필수 불가결한 프로그램이고, 이로 인하여 많은 사람들이 검색 엔진을 사용하여 원하는 정보를 쉽게 찾을 수 있다. 현재 국내에서도 약 10여개의 로봇 에이전트를 이용한 검색 엔진이 이미 서비스를 하고 있고, 앞으로의 서비스를 위하여 시험중에 있다. 코시크(충남대), 까치네(대구대), 심마니(한글과 컴퓨터), 인터넷 정보 탐정(한국통신)은 가장 많이 사용되고 있는 검색 엔진이고, 넷디렉토리(연구개발 정보센터), 와카노(계명대)는 최근 소개된 검색 엔진이며, 10월 1일에는 삼성에서 "마당발" 검색 엔진을 소개할 예정이다.


이렇게 로봇 에이전트가 많은 활동을 하고 있으며 이로 인하여 우리가 원하는 정보를 찾는데 도움이 되지만, 많은 문제점이 지적되기도 한다. 제2부 "로봇 에이전트와 그 활용"에서는 로봇 에이전트의 다양한 이용에 대하여 살펴보고 현재 "로봇 배제에 대한 표준" - 실제로 표준은 아니다 - 을 소개함으로써 홈페이지 관리자 또는 웹서버 관리자들이 자주 방문하는 로봇 에이전트에 대하여 자신의 서버와 자료를 보호하는 방법에 대하여 소개하고자 한다.



1. 로봇 에이전트란 무엇인가?



로봇 에이전트 = 브라우저




로봇 에이전트란 웹을 순회하며 각 홈페이지들의 정보를 수집하는 프로그램이다. 웹서버에 접속하여 데이타(HTML 화일)를 가져오는(fetch)하는 기능적인 측면으로만 봐서는 웹브라우저와 같은 기능을 하는 셈이다. 단지 웹브라우저는 가져온 데이타를 예쁘게 화면에 보여주고 화면에 하이퍼 링크가 있고 사용자가 링크를 클릭하면 대항 홈페이지가 또 보이는 기능이 있는 것이고, 로봇 에이전트는 예쁘게 보여주는 대신 HTML을 분석하고 URL 부분을 추출하여 다른 URL로 접근하게 하는 기능이 있을 뿐이다. 자동적으로 홈페이지를 찾아다니므로 로봇 에이전트를 이용한다면 사람이 할 수 있는 일이지만 귀찮은 다양한 일을 할 수 있다.


가령 어느 홈페이지의 내용이 내가 원하는 내용이지만 링크 되어 있는 문서가 굉장히 많고 HTML 안에 수많은 그림들이 있을 때 과연 모니터 앞에 앉아 하나씩 저장하는 과정이 필요한 것인가??? 또는 홈페이지의 관리자가 자신이 관리하는 홈페이지를 하나씩 접속해 보면서 잘못된 URL이 있으면 찾아가서 일일이 고칠 것인가???


로봇 에이전트는 이와 같이 웹페이지를 돌아다니면서 할 수 있는 다양한 일들을 자동적으로 해 주는데 의미가 있다. 현재 로봇 에이전트를 이용한 검색엔진도 마찬가지로 사람이 일일이 찾아 다니면서 검색을 위한 인덱스를 만드는 것이 아니라 로봇 에이전트가 자동적으로 돌아다니면서 원하는 정보를 수집하는 것이다.



2. 로봇 에이전트의 용도



현재 로봇 에이전트로 할 수 있는 일들은 다음과 같은 것이 있다.


▷ 통계 분석(Statistical Analysis)

▷ 유지 보수(Maintenance)

▷ 미러링(Mirroring)

▷ 리소스 발견(Resource discovery)

▷ 복합적인 사용(Combined Uses)



2. 1 통계 분석(Statistical Analysis)


로봇 에이전트의 최초의 사용 목적은 전세계에 웹서버가 몇개나 있는지 알아보기 위함이었다.웹이 소개된 많은 웹서버들이 생겨나기 시작하였고, 어느정도 활성화된 1993년에 MIT의 Mattew Gray(mkgray@mit.edu, http://www.mit.edu:8001/people/mkgray/mkgray.html)는 "World-Wide Web Wanderer" 로봇 에이전트를 이용하여 과연 전세계에 몇 개의 웹서버가 있는지 알아보기 시작하였다.


Month
# of Web sites
% .com sites
Hosts* per Web Server

6/93
130
1.5
13,000(3,846)

12/93
623
4.6
3,472(693)

6/94
2,738
13.5
1,095 (255)

12/94
10,022
18.3
451 (99)

6/95
23,500
31.3
270 (46)

1/96
100,000
50.0
94 (17)

6/96
230,000 (est)
NA
41

표1. Matthew Gray의 Result of Summary

http://www.mit.edu/people/mkgray/net/web-growth-summary.html



Matthew Gray 뿐만 아니라 워싱턴 대학의 Brian Pinkerton도 웹서버의 수를 조사 하였다. 1994년 5월 현재 약 3800여개의 웹서버가 있었음을 로봇 에이전트를 통하여 알 수 있었고 이후에 통계 분석용 프로그램을 서치엔진용 로봇 에이전트로 바꾸어 현재 WebCrawler (http://webcrawler.com/)라는 서치엔진을 운영중이다.





























웹서버의 수만 계산하는 로봇 에이전트 뿐만 아니라 어떤 웹서버를 사용하는지 조사하는 로봇 에이전트도 있다. 국내에서도 한국내의 웹서버가 어떤 서버 프로그램을 사용하고 있는지 알아보는 조사를 시행하였는데 1996년 3월 8일 현재 NCSA 서버가 가장 많이 사용되는 것으로 조사 되었다. 이때 사용한 로봇 에이전트는 libwww-perl/0.40을 이용하여 작성 되었는데 조사방법으로는 libwww-perl을 이용하여 HEAD 메소드로 국내의 WWW 서버를 접근하여 헤더 정보를 가져와 분석하는 방법으로 WWW 서버의 종류와 버전을 중심으로 조사하였다.


이렇듯 로봇 에이전트를 이용하여 웹서버의 발견, 서버의 수 카운트, 서버당 문서의 평균수, 화일 타입의 분포등의 통계 조사를 할 수 있다.


2.2 유지 보수(Maintenance)


웹서버를 운영하다 보면 웹서버의 유지 보수여 여러가지 어려움이 따른다. 웹서버 관리자는 개개인이 가지고 있는 화일에 대하여 일일이 어떤 부분이 잘못 되었으며 어디에 데드링크(dead links)가 발생하였는지 알 수 없다. 데드링크란 원래의 URL이 변경되거나 없어져 버림으로써 기존의 사용자가 알고 있는 URL로써 접근이 불가능한 경우를 말한다. 이때 유용히 사용할 수 있는것이 로봇 에이전트이다. 쉽게 알 수 있는 유지보수용 로봇 에이전트는 바로 넷스케이프 브라우저 안에 내장되어 있다. 넷스케이프 브라우저의 Bookmark를 보면 File->What's New 부분이 있다. 이 메뉴의 기능은 현재 북마킹 되어 있는 URL을 브라우저가 접근하여 변경된 부분이 있는지 check 해 준다. 만약 URL의 내용이 북마킹 하였던 시점 이후에 변경되었다면 북마크 내의 URL의 타이틀 설명 옆의 마크가 변경된다.





















URL-minder(http://www.netmind.com/URL-minder/URL-minder.html)에서는 홈페이지를 등록해 놓으면 변경 되었을 때 등록한 사용자에게 변경 되었다는 통보를 해 준다. 이 역시 로봇 에이전트를 이용하여 등록된 홈페이지를 검사하여 변경 되었다면 - 변경된 것을 알 수 있는 방법은 다양하다. Last-modified 필드를 참조하여 알 수 있으며 Last-modified를 지원하지 않는 서버는 홈페이지의 사이즈를 비교하여 사이즈가 예전에 등록한 것과 틀려지면 변경되었다고 생각한다. - 그 홈페이지를 등록한 사용자에게 변경되었다고 통보한다.


또 하나의 유지보수 관련 로봇 에이전트를 살펴보자. 네델란드의 Hans de Graaff가 개발한 checkbot은 서버의 HTML 화일을 따라가면서 각 페이지의 문제점을 지적하는 프로그램이다. checkbot을 실행하기 위해서는 perl 5.002 버전 이상이 있어야 하며, LWP 5.01. (libwww-perl 5 module)이 있어야 실행 가능하다.


% ./checkbot -u http://www.comeng.chungnam.ac.kr/ -m "comeng" -f comeng.html




위의 예는 checkbot을 이용하여 충남대학교 컴퓨터공학과 내의 서버들에 대한 체크한 결과이다. 그 결과는 http://kclee.comeng.chungnam.ac.kr/~dolphin/LWP/checkbot/comeng.html에서 찾아 볼 수 있다.

















2.2 미러링(Mirroring)


로봇 에이전트의 또다른 용도는 다른 사람의 홈페이지의 내용을 복사해오는 미러링이다. 물론 저자의 허락을 받아야 하지만 각각의 페이지들을 가져오는 경우 그 내용이 많고, 그림이 많이 있다면 그 그림, HTML을 일일이 가져오는 것이 힘들다. 예를 들어 어떤 대학의 강의 노트가 있는데 강의별로 수십~수백 페이지와 수많은 이미지가 있을때 웹 브라우저로 한페이지씩 접근하여 Save를 한다는 것은 수많은 시간을 필요로 한다. 이때 유용하게 사용될 수 있는 것이 웹 미러링 툴이다. 많은 웹 미러링 툴이 나와 있지만, 일반적으로 미러링 툴은 웹 페이지들을 접근하고 로컬에저장하는 프로그램이다. 현재 가장 많이 사용하고 있는 미러링 툴은 WebCopy( http://www.inf.utfsm.cl/~vparada/webcopy.html), w3mir(http://www.ifi.uio.no/~janl/w3mir.html) 등으로 이들 프로그램은 웹 페이지들을 접근하고 로컬에 저장하는 기능을 가지고 있다.



WebCopy v0.98b7 96/06/08 (C) 1994-1996 by Victor Parada vparada@inf.utfsm.cl

Copy remote files (recursively) using http protocol.

Usage: webcopy [options] http://host:port/path/file [http://proxy:port]

Options (can be combined):

-o output to stdout -tdelay set delay seconds

-v verbose mode -wpath set working directory

-q query transfer -xfile set default index.html

-s suppress log -zfile post 'file' or query string

-rdepth recurse (-r = -il) -c allow links to CGI script-xs (require -paf)

-i include images -a allow absolute references

-l hypertext links -f allow full URL references

-m imagemaps -p allow other paths (-d recommended)

-n don't use proxy -d keep directory path in URL for local file

-u use local copy of file if exists

-g get a new copy of file even if exists (use after -o)

-yusr:pw use 'usr:pw' for authentication (also -Y)

-ke1:e2:... only files with such extensions (-K to kill (ignore) these)

-h this help (ignores other options specified)

그림 4. Webcopy 사용 방법



2.4 리소스 발견(Resource discovery)


서치 엔진에 사용하는 용도로서 자동적, 주기적으로 웹퍼이지를 항해하며 데이타를 수집하는 용도로 사용되는것을 의미한다. 아래 그림은 인터넷상의 로봇 에이전트를 이용한 검색 엔진의 일반적인 형태이다. 로봇 에이전트는 URL 데이타베이스를 참조하여 WWW 서버를 항해하며 페이지를 수집하고, Index Builder는 수집된 자료를 처리하여 검색할 수 있는 형태로 변환한다. 서치 엔진은 사용자와 변화된 형태의 자료간에 키워드를 받아 검색 할 수 있는 중간자 역할을 한다.





































리소스의 발견의 용도로서 로봇 에이전트의 동작원리를 알아보면 다음과 같다.


(1) 로봇 에이전트 프로그램을 실행한다. 이때 기본적으로 처음으로 접근을 시도할 URL이 주어져야 한다.

(2) URL의 호스트 이름(예를 들어, http://www.www-kr.org/~userid가 주어진 URL이라면 이중에서 www.www-kr.org)을 추출하여 http://호스트이름/robots.txt의 URL을 접근한다.

(3) robots.txt 파일의 내용을 받는다.

(4) robots.txt의 파일 내용을 분석하여 그 호스트에서 접근하지 말아야 할 URL을 알아낸다.

(5) 만약 주어진 URL이 robots.txt에 접근하지 말아야 할 URL이라고 적혀져 있지 않다면, 다시 URL로 접근한다.

(6) (3)번과 같은 방법으로 해당 URL의 내용을 받는다.

(7) (6)번에서 전달받은 파일을 분석하여 URL을 추출한다. 이때에는 상대 URL과 절대 URL로 나뉘는데 모든 URL을 절대 URL로 변환한다. 즉, 상대 URL(/dir/index.html)을 절대 URL(http://호스트이름/dir/index.html)로 바꾼다. 추출한 URL은 다음 방문때 참조할 수 있도록 URL 데이타베이스에 저장한다. 또한 URL 데이타베이스에 저장할때에는 몇 개의 URL을 추측하여 함께 저장하기도 한다. 가령 http://host/dir/subdir/file.html이 저장할 URL이라면, 그 URL 뿐만 아니라 http://host/dir/subdir/, http://host/dir/, http://host/도 홈페이지의 내용이 있으리라고 추측이 가능하다. 마지막으로 URL 데이타베이스에 추출한 URL을 저장할때에는 이미 등록된 URL인지 아닌지 검사하여 중복이 안되도록 한다.

(8) (6)번에서 전달받은 파일을 분석하여 키워드를 추출하고 필요한 정보를 저장한다.

(9) URL 데이타베이스에서 다음 방문할 URL을 가지고 (2)(또는 (5)) ~ (8)번까지의 과정을 반복한다.


2.5 복합적인 사용(Combined Uses)


현재 로봇 에이전트의 사용은 단일 목적으로 사용하기 보다는 한 번의 로봇 에이전트의 동작으로 다양한 작업을 하고 있다. 단순히 통계적 목적으로 홈페이지의 수만을 검사하기 보다는 서치 엔진을 제공하면서 자신이 보유한 URL 데이타베이스 수를 검사하여 현재 수집한 홈페이지의 수를 알려주는가 하면, 어떤 로봇 에이전트는 특정 홈페이지의 내용을 차례차례 방문하고, 그 내용을 분석하여 알려줌과 동시에 특정 페이지 자료만을 가지고 키워드에 의한 검색이 가능하게 하기도 한다. ArchitextSpider는 통계적 목적과 인덱싱을 위한 것이고, NetCarta WebMap Engine은 통계적 목적, 인덱싱, 유지보수, 미러링의 모든 기능을 가지고 있다.


3. 로봇 에이전트 만들기


로봇 에이전트를 만드는 방법은 다양하게 시도되고 있다. 현재 로봇 에이전트용으로 따로 나온 라이브러리는 없지만, HTTP를 따르는 라이브러리를 이용하면 로봇 프로그램을 작성할 수 있다. 현재 로봇에 많이 쓰이고 있는 언어는 C, Perl, Java등이다.


또한 로봇을 작성하는데 있어 기본적으로 알아야 하는 것이 HTTP(HyperText Transfer Protocol) 프로토콜과 HTML(HyperText Markup Language)의 이다. 흔히 알고 있는 HTTP와 URL의 사용, HTML의 각종 Tag를 알아야 하는 것이 아니라 HTTP의 세세한 내용을 알아야 하고, 많이 사용하지는 않는 HTML의 Tag들도 로봇 에이전트가 인식 할 수 있도록 유연한 프로그램을 만들 수 있다. 가령 현재 HTML은 버전 3.2까지 소개 되었는데 로봇 프로그램이 Mata Tag나 기타 Object Tag와 같은 것을 인식 할 수 없다면 소용 없게 되는 것이다. 현재 HTTP와 HTML의 정보는 다음에서 찾을 수 있다.



HTTP :

HTTP/1.0 (Informational RFC 1945) : http://ds.internic.net/rfc/rfc1945.txt

HTTP/1.1 : 현재 Proposed Standard: Internet Draft 07까지 제안되었다.

http://www.w3.org/pub/WWW/Protocols/를 참조


HTML

HTML 2.0 (RFC1866) : http://www.w3.org/pub/WWW/MarkUp/

HTML Tables (RFC1942) : http://www.w3.org/pub/WWW/TR/WD-tables

HTML 3.2 : http://www.w3.org/pub/WWW/TR/WD-html32.html





로봇을 만드는데 많이 참조하는 것이 W3C(WWW Consortium) Reference Library (http://www.w3.org/pub/WWW/Library/)이다. W3C(http://www.w3.org/)는 World Wide Web Consortium으로서 웹의 여러 가지 정책을 세우고 표준을 주도하는 곳이다. W3C에서는 CERN 서버를 계속하여 만들었으며 웹의 여러 가지 기능을 API 형태로 만들어 제공하고 있다. W3C의 anonymous ftp를 이용하여 ftp://ftp.w3.org/pub/libwww/에서 얻을 수 있다. libwww라고 불리는 이 라이브러리의 특징은 다음과 같다.


▶ libwww 2.17

o written in C and created at CERN

o ftp://ftp.w3.org/pub/libwww/

o single threaded

o 초기 Lycos에서 로봇 에이전트 만들 때 사용


▶ libwww4.0, libwww 4.1b3

o the latest HTTP library offered by the W3C

o written in C

o object-oriented, event-based multithreaded library


libwww를 보면 Robots 디렉토리를 발견할 수 있으며 이를 실행하면 로봇이 동작하는 것을 볼 수 있다. 그러나 사용자가 원하는 형태로 동작하도록 하려면 많은 프로그램의 수정이 필요하다. 라이브러리에서 제공하는 로봇은 사용자가 어떤 식으로 로봇을 사용할 지 모르므로 단지 웹서버와 접속하는 과정만 보일뿐 실제로 이용하려면 수정이 필요하다.


W3C는 현재 libwww의 5.0을 준비하고 있으며 5.0 버전에서는 HTTP/1.1을 지원하며, PICS등 다양한 기능을 준비 중이다.


libwww를 perl로 구현한 것도 제공되고 있다. 현재 MOMSpider, Checkbot 등 동작중인 로봇중에 대다수 프로그램이 libwww-perl을 이용하여 만들어 졌다. libwww-perl의 특징은 다음과 같다.


▶ libwww-perl 4.0

o written by Roy Fielding

o http://www.ics.uci.edu/WebSoft/libwww-perl/

o single-threaded, supports the robot exclusion protocol

▶ libwww-perl 5.0

o complete rewrite for Perl5 written Gisle Aas

o http://www.sn.no/libwww-perl/

o multiple threaded


이러한 libwww, libwww-perl외에 로봇을 작성하는 방법은 C를 이용한 소켓 프로그래밍을 하는 방법과 Java를 이용한 방법이 있다. C를 이용한 방법과 Java를 이용한 로봇 프로그래밍 방법은 제3부 실전 에이전트의 설계 및 구현을 참조하기 바란다.


기타 이미 구현된 로봇 에이전트에 대한 정보는 http://info.webcrawler.com/mak/projects/robots/active.html에 나와 있다. 그러나 소스를 제공하는 곳은 극히 일부에 지나지 않고 대부분 로봇 프로그램은 응용에 본바와 같이 다양하게 사용될 수 있기 때문에 비교적 소스 프로그램에 대하여 비밀을 요한다.



4. 로봇 배제의 표준


현재 많은 로봇 에이전트들이 많이 제작되어서 활발한 활동을 하고 있다. 정확한 통계자료는 없지만 사용자들이 필요한 정보를 찾아다니면서 접근하는 홈페이지의 수보다 로봇 에이전트가 자동적으로 접근하는 수가 많을지도 모른다. 만약 얼마나 많은 로봇이 홈페이지의 내용을 가져가는지 알고자 한다면 WWW 서버의 로그 파일을 분석하면 알 수 있으며 WWW 서버가 User-agent 로깅을 지원한다면 에이전트 이름만 저장한 파일을 분석하여 알 수 있다. 일반적으로 웹브라우저로 접근하였다면 이미지(gif, jpg)화일을 동시에 가져가고 접근도 천천히 이루어지지만, 로봇 에이전트가 방문하였다면 이미지 파일은 접근하지 않고 짧은 시간에 많은 페이지를 접근할 것이다.


이렇듯 많은 로봇 에이전트들이 동작하는데 로봇 에이전트는 사람이 아니기 때문에 쓸데 없는 페이지를 웹서버를 통하여 많이 가져 간다. 예를 들어 몇일만 사용하려고 만든 페이지를 접근하던지 또는 나만이 혼자 보려고 만든 홈페이지를 우연히 로봇 에이전트가 방문 하여 홈페이지의 내용을 가져갈 수도 있는 것이다. 또한 로봇 에이전트가 웹서버를 방문하여 홈페이지를 가져와 URL을 추출하였을때에 그 URL이 어느 순간 모두 변경되었다고 가정해 보자. 그러나 URL이 변경 되었음에도 불구하고 로봇 에이전트는 순서에 의하여 URL 데이타베이스에서 URL을 하나씩 추출하여 접근하려고 할 것이다. 만약 이렇게 된다면 잘못된 URL에 지속적으로(로봇 에이전트가 가지고 있는 URL 데이타베이스에 저장된 수 만큼) 접근 할 것이다.


서두에서도 말했듯이 웹브라우저의 동작 방법과 로봇 에이전트의 동작 방법이 동일하기 때문에 WWW 서버의 입장으로는 웹서버가 접근하였는지, 로봇 에이전트가 접근하였는지 알 수 있는 방법이 없다. 만약 로봇 에이전트의 이름(User-Agent 필드에 기록하는 이름)을 "Mozilla/3.0 (Win95; I)" 이라고 하면 WWW 서버는 넷스케이프 윈도우 버전 3.0이 접근하였다고 생각할 수 밖에 없다. 따라서 WWW 서버가 원하지 않는 로봇 에이전트에 대하여 선택적으로 접근을 허용하는 방법이 제안되었는데 이것이 바로 "로봇 배제에 대한 표준(A Standard for Robot Exclusion)"이다.


로봇 배제에 대한 표준은 WWW 서버에 로봇 에이전트에 대한 접근 정잭을 명시하는 것으로서 로봇 에이전트들이 빠른 요구(rapid-fire)와 계속 같은 파일을 검색 하는 등의 동작으로 하여금 WWW 서버의 혼란을 방지하고, 일시 적인 정보나 side-effect가 있는 CGI 등의 적당치 않은 부분을 검색하는 것을 막아보고자 Martijn Koster(m.koster@webcrawler.com)에 의하여 제안되었다. WWW 서버의 입장으로 가장 간단한 방법으로 "/robots.txt"화일을 생석하는 것이다.


robots.txt에 기술되는 로봇 배재의 포맷은 간단하다. 필드(field)와 값(value)의 쌍으로 기술되며 주석문은 "#"으로 처리한다. 또한 필드 이름은 대소문자를 구별하지 않는다. 필드는 두가지로 나눌 수 있는데 에이전트의 이름을 적는 User-agent 필드와, 방문할지 말아야 할 URI를 기술하는 Disallow 필드로 구분된다. 또한 빈 robots.txt는 모든 로봇을 환영한다는 의미이다.


● User-agent 필드 :

- 한 레코드당 적어도 한 필드를 기술

- 이름은 대소문자 구별 없는 부분문자열 대치

- '*'를 사용 가능


● Disallow 필드

- 로봇이 방문할 수 없는 URI를 명세

- 전체 패스 또는 부분 패스 설정 가능

- 특별한 값을 지정하지 않으면 모든 URL의 접근이 가능



다음의 예로써 로봇 배제에 대한 표준을 살펴 보도록 하자


예1. 모든 로봇의 접근을 불가능하게 할 경우


# 모든 로봇의 접근을 불가능하게 할 경우

User-agent: *

Disallow: /




예2. "/cyber/map/" 디렉토리와 "/tmp/" 디렉토리의 접근을 불가능 하게 할 경우


# robots.txt for http://www.site.com/

User-agent: *

Disallow: /cyber/map/

Disallow: /tmp/




예3. User-Agent의 이름이 testbot인 로봇 에이전트를 제외한 모든 로봇 에이전트는 "/cyber/map/"으로 시작하는 페이지의 접근을 불가능 하게 할 경우


# robots.txt for http://www.site.com/

User-agent: *

Disallow: /cyber/map/


User-agent: testbot

Disallow:




위의 방법과 같이 robots.txt의 작성은 쉽고 간단하다. 그러나 많은 사람들이 틀릴 수 있는 부분은 다음과 같은 것이 있다.


1. Disallow 필드는 '*'을 지원하지 않는다. 따라서 "Disallow: /tmp/*"은 잘못된 것이며 그 대신에 "Disallow: /tmp"라고 하면 된다.

2. Disallow 필드에 두개 이상의 URI를 기술하면 안된다. 즉, /tmp, /test의 접근을 막고자 한다면 각각 "Disallow: /tmp", "Disallow: /test"를 각각 다른 라인에 기술하여야 한다.

3. "Disallow: /tmp"는 /tmp.html과 /tmp/index.html의 접근을 불가능하다는 의미이다.

4. "Disallow: /tmp/"는 /tmp/index.html은 접근이 불가는 하지만, /tmp.html은 접근이 가능하다는 의미이다.


지금까지 소개한 "로봇 배제에 대한 표준"은 단지 제안일 뿐이다. 만약 로봇 제작자가 이러한 제안을 무시한 로봇을 작성하였다 할 지라도 웹서버의 관리자는 TCP/IP 차원에서 접근을 막는 것을 제외하고는 아무런 행동을 취할 수 없다. 즉 웹서버의 관리자는 robots.txt을 충실히 작성하고 로봇 제작자는 robots.txt를 분석하고 이해하는 프로그램을 작성함으로써 위의 제안이 지켜질 수 있는 것이다. 현재 국내에는 "로봇 배제에 대한 표준"을 지키는 로봇이 하나도 없는 상태이다. (이는 필자가 현재까지 지켜본 결과이다) 또한 웹서버에서도 robots.txt를 제공하는 곳이 얼마 되지 않는다. 1996년 8월 현재 약 1322개의 WWW 서버중에서 약 6군데만이 제대로된 robots.txt를 제공하고 있으며 약 12개의 호스트는 비어 있는 robots.txt를 제공하고 있다. 외국의 경우 알타비스타(Altavista)와 라이코스(Lycos)의 자료에 의하면 전 세계의 WWW 서버중 각각 5%, 6% 만이 제공하고 있다.


5. 로봇 작성 가이드 라인


현재 많은 로봇 에이전트가 동작하고 있다. 또한 많은 사람들이 로봇 프로그램을 원하고 있다. 정보 검색 기술을 가지고 있는 사람은 로봇 프로그램만 있으면 Lycos나 Infoseek, Altavista와 같은 유명 검색 엔진을 만들 수 있다. 그러나 필자(외에도 로봇 에이전트에 대하여 알고 있는 많은 사람)는 로봇 에이전트를 만들기 이전에 다시한번 고려해 보기를 당부한다. 그 이유는 많은 로봇 프로그램으로 인하여 네트워크 부하를 가중 시킬 수 있기 때문이다. 만약 로봇 에이전트를 꼭 만들 필요가 있을 경우에는 다음의 항목들을 유의해서 만들어야 할 것이다. 다음의 항목은 Martijn Koster가 만든 로봇 에이전트 작성 가이드 라인 중에 꼭 필요한 내용을 소개 한다.


▶ Identy your robots : HTTP 프로토콜에는 User-agent 필드가 있다. 일반적으로 User-agent 필드에는 "에이전트 이름/버전 (기타 옵션)"이 사용된다. User-agent 필드를 지원하는 웹서버는 agent_log를 통하여 어떤 브라우저(에이전트)가 접근하였는지 알 수 있다. 즉 User-agent 필드는 브라우저의 이름인 것이다. 때문에 User-agent 필드에 Mozilla/3.0 (Win95; I)이라고 씌여 있으면 Win95의 넷스케이프 3.0 버전으로 접근하였으며, GET/0.5 libwww-perl/0.40는 libwww-perl 4.0 버전을 이용한 GET 프로그램이 접근하였다는 것을 알 수 있다. 따라서 로봇 제작시에는 반드시 User-agent 필드를 기록 함으로써 어떤 에이전트가 접근하였다는 것을 알 수 있도록 해야 한다. 현재 알려진 로봇 프로그램들은 http://info.webcrawler.com/mak/projects/robots/active/html /contact.html에서 그 이름을 알 수 있으며, 대표적인 로봇 에이전트의 이름은 다음과 같다.


Altavista
Scooter/1.0

MetaCrawler
MetaCrawler/1.2b

Harvest
Harvest/1.4.pl2

Lycos
Lycos/x.x

Inforseek
InfoSeek Robot 1.0

Inktomi
Slurp/1.0

심마니
SimBot/1.0

와카노
WAKANO_Robot/V0.99




▶ Be traceble : 로봇 에이전트를 수행하는 호스트는 반드시 Dynamic IP Number를 사용한 SLIP이나 PPP를 사용하지 말고 고정적인 호스트에서 수행하라. 이는 만약 로봇 에이전트가 오동작을 일으켰을 때 연락 할 수 있도록 하기 위함이다.


▶ Identify yourself : HTTP의 From 필드를 이용하여 현재 로봇 에이전트를 수행하게 하는 사람의 연락처를 알리는 방법이다. 이 역시 오동작을 일으킬 때를 대비하는 것이다.


▶ Announce your robots : 내가 작성한 로봇 에이전트는 공고하여 많은 사람이 새로운 로봇 에이전트가 동작하는 것을 알게 한다. 이때 반드시 로봇 에이전트의 이름을 소개하여 robots.txt에서 선택적으로 접근을 불허할 수 있게 한다. 알리는 방법은 comp.infosystems.www.providers 뉴스 그룹에 알리거나, robots@webcrawler.com에 알리거나 또는 http://info.webcrawler.com/mak/projects/robots/active/empty.txt를 작성하여 Martijn Koster에게 메일을 보낸다.


▶ Announce it to the target : 만약 어떤 특정 서버에 접속하는 에이전트의 경우(예를 들어 미러링을 한다던지, 또는 메타 서치 엔진과 같은 경우) 대상 서버에 알려서 내가 작성한 프로그램이 주기적으로 접속 할 가능성에 대하여 알려줘야 하며, 미러링의 경우에는 반드시 허락을 받아야 한다.


▶ Be there : 로봇이 오동작 할 때에 연락 받을 수 있도록 장기간 자리를 비우거나 주말의 경우에는 로봇을 수행시키지 않는다.


▶ Use HEAD where possible : 가능하면 HEAD 정보만을 사용하여 전송되는 양을 줄여라. HEAD를 사용하면 마지막 갱신 일자나 홈페이지의 크기를 알 수 있다. 즉, HTML 내용을 전부 전송 받지 말고 HEAD를 이용하여 변경되었을 경우에만 전송 받는 형식으로 가능한 전송의 양을 줄여라.


▶ Don't Loop or Repeat : flower.comeng.chungnam.ac.kr, www.comeng.chungnam.ac.kr, 168.188.44.2는 3개의 주소가 동일한 호스트이다. 로봇 에이전트가 동작할때에는 동일한 호스트에 대해서는 한 번만 접근하도록 하여야 하며 같은 페이지에 대해서 로봇 에이전트가 반복적으로 접근하게 하지 말아야 한다.


▶ Don't try query : CGI 프로그래은 로봇이 접근하였을 때, 그 결과를 전송한다. 따라서 매번 다른 결과를 제공하는 CGI나 어떤 질의에 대한 결과는 인덱싱이나 통계를 계산할 때에 의미가 없을 수 있다.



결론적으로 로봇을 작성할때에 가장 주의해야 할것이 짧은 시간에 많은 접속이 이루어지지 않도록 rapid-fire에 주의하는 것이다. 어떤 로봇 에이전트는 1분에 수백번의 접속을 하는 것도 있으며 어떤 로봇 에이전트는 한 번 접속 한 호스트에 대하여 5분 이내에는 접속하지 않도록 하는 것도 있다. 로봇이 얼마나 자주 접속하게 할 것인가는 전적으로 로봇 제작자에게 달려 있다. 빠른 로봇이 좋기는 하지만, 이에 피해를 보는 사람도 있다는 것을 명심하는 것이 좋다.



6. 로봇 에이전트의 문제점 및 결론


로봇 에이전트가 다양하게 사용되고 있고, 많은 곳에서 유용하게 사용되나 많은 문제점을 안고 있다.


첫째로 로봇에 대한 표준의 부재이다. 다양한 로봇을 작성되고, 또한 로봇에 의한 데이터가 공유되려면 로봇에 대한 표준은 필수적이다. 그러나 현재까지 로봇에 대한 표준은 전혀 언급된 바가 없고 단지 접근에 대한 표준만이 제안되었을 뿐이다.


둘째, 로봇 프로그램은 브라우저와 달리 Clickable Image(Sensitive Map, 이미지 맵), Form등은 은 처리하지 못한다. 일부 어떤 로봇은 이미지의 크기를 읽어 조밀하게 웹서버에 URL을 조정하며 시도하는 것이 제안되기도 하였으나 이는 서버의 부담만 가중 시킬 뿐이다. 현재 Client-side Image Map이 아닌 일반 적인 이미지 맵을 사용한다면 로봇이 그 정보를 읽고 판단할 능력은 없는 것이다. 또한 사용자의 정보를 입력 하거나 하는 등의 Form을 사용한 CGI는 로봇이 실행 할 수 없다.


셋째로 로봇은 BBS 또는 ID가 필요한 신문의 접속과 같이 접근시 사용자 ID와 passwd를 필요로 하는 서버는 접속하지 못한다. 물론 특정 서버만 접속하는 로봇이라면 가능하지만 그 많은 웹서버에 하나하나씩 필요한 ID를 다 만들어 놓는 것은 불가능 하다.


넷째로 robots.txt를 제공하는 곳이 적다. 이는 로봇의 문제점이 아니라 웹서버에서 제공해 줘야 하는 문제이다. 웹서버 관리자는 가능한 robots.txt에 불필요한 정보는 적어 놓아서 로봇과 웹서버의 부담을 줄이는 것이 좋다.



지금까지 로봇 에이전트와 다양한 용도, 로봇의 웹서버에 대한 접근 정책 등에 대하여 알아 보았다. 많은 문제점을 안고 있기도 하지만 서치 엔진을 통하여 로봇 에이전트가 필요한 이유는 사용하는 여러분이 더 잘 알 것이다. 필자는 본 기고를 통하여 현재 웹서버의 관리자와 로봇 제작자에게 필요한 정보를 제공하고, 어떤 문제점이 있는지 제시 하였다. 앞으로 국내의 웹서버 관리자와 제작자가 "로봇 배제에 대한 표준"을 지킴으로써 쌍방에 도움이 되었으면 한다.


마지막으로 로봇 에이전트에 대한 내용은 다음의 메일링 리스트에 논의되고 있으니 참고하기 바란다.


로봇 에이전트 메일링 리스트


가입 : robots-request@webcrawler.com, 본문에 subscribe

탈퇴 : robots-request@webcrawler.com, 본문에 unsubscribe

메일 : robots@webcrawler.com

아키이브 : http://info.webcrawler.com/mailing-lists/robots/index.html





7. 참고문헌(References)


[1] World Wide Web Robots, Wanderers, and Spiders,

URL : http://info.webcrawler.com/mak/projects/robots/robots.html


[2] Guidelines for Robot Writers,

URL : http://info.webcrawler.com/mak/projects/robots/guidelines.html


[3] A standard for Robot Execlusion,

URL : http://info.webcrawler.com/mak/projects/robots/norobots.html


[4] 이강찬, "국내 WWW 서버 조사(WWW Server Survey in Korea)"

URL: http://sharon.comeng.chungnam.ac.kr/~dolphin/Server/compare.html