웹크롤러 (Web Crawler)
쉽게 풀면
인터넷 웹페이지를 자동으로 돌아다니면서 링크를 따라가며 내용을 긁어모으는 프로그램이다. 거미가 거미줄을 타고 이곳저곳을 옮겨 다니듯, 한 웹페이지에 있는 링크를 클릭해 다음 페이지로, 또 그 페이지의 링크를 따라 다음 페이지로 끝없이 이동하며 내용을 저장한다. 사람이 일일이 손으로 방문할 수 없는 방대한 웹을 대신 훑어주는 자동 탐방객인 셈이다.
왜 중요한가
하이퍼링크를 자동으로 따라가며 웹 콘텐츠를 체계적으로 수집하는 소프트웨어로, 검색엔진의 색인 구축과 웹아카이빙 기관의 자료 수집에 핵심적으로 활용되는 기반 기술입니다. 구글 같은 검색엔진이 매일 새로 생기는 방대한 웹페이지를 놓치지 않고 색인하도록 뒷받침하며, 웹아카이빙 및 정보검색시스템 설계 연구에서 핵심 기반 기술로 다뤄집니다.
논문에서는 이렇게 쓰입니다
국내 도메인을 대상으로 한 자체 개발 웹크롤러가 웹아카이빙 사업에 사용되는 사례를 설명하는 문장이다.
크롤러가 모든 페이지를 무작위로 수집하는 대신 특정 주제에 집중해 자료를 모으는 기법을 제안한 문장이다.
조금 더 깊게 보면
웹사이트의 robots.txt 설정이나 접근 제한 정책에 따라 크롤러가 수집할 수 있는 범위가 제한되므로, 크롤링 결과가 실제 웹의 전체 모습을 완전히 반영하지는 못한다는 한계가 있습니다. 웹 전체를 무작위로 훑는 범용크롤러와, 특정 주제나 도메인에 한정해 훑는 초점크롤링·심층크롤링 방식으로 나뉘며, 목적에 따라 수집 전략이 달라진다. 범용 크롤러는 페이지의 링크 가중치를 계산해 방문 순서를 정하는 반면, 초점 크롤러는 사전에 학습된 분류기로 주제 관련성을 예측해 무관한 페이지로의 확산을 차단합니다. 크롤러가 방문할 다음 페이지의 우선순위를 정하는 방식(너비우선탐색, 깊이우선탐색, 중요도 기반 스케줄링)에 따라 동일한 시작점에서도 전혀 다른 수집 결과가 나온다.
주의할 점
웹크롤러는 robots.txt 배제 규약을 준수하도록 설계되는 것이 일반적이지만, 이로 인해 일부 콘텐츠가 수집되지 못할 수 있다는 한계가 있다. 로그인이 필요한 페이지나 자바스크립트로 동적으로 생성되는 콘텐츠는 일반 크롤러가 접근하지 못해 별도의 처리 방식이 필요하다.