WARC 파일 (WARC (Web ARChive) File)
쉽게 풀면
웹페이지를 저장할 때 그 페이지의 내용과 정보를 한 파일 안에 모두 담아 두는 표준 저장 형식이다. 웹페이지를 찍은 사진과 그 촬영 정보를 한 봉투에 담아 두는 표준 봉투 형식이다.
왜 중요한가
웹크롤러가 수집한 웹페이지의 HTTP 요청, 응답, 콘텐츠를 하나의 표준 컨테이너로 저장하는 국제표준(ISO 28500)으로, 웹아카이빙 기관의 사실상 표준 저장 포맷으로 다뤄집니다.
논문에서는 이렇게 쓰입니다
WARC 표준 포맷과 재생 소프트웨어가 결합되어 웹아카이브 열람 서비스가 구현되는 방식을 설명하는 문장이다.
이는 WARC 파일이 단순한 저장 형식을 넘어 장기간에 걸친 웹자원 재현 가능성을 보장하는 표준으로 다뤄짐을 보여준다.
조금 더 깊게 보면
WARC는 수집 당시의 웹페이지 상태를 그대로 캡슐화하므로, 이후 웹 기술의 변화(예: 동적 자바스크립트 콘텐츠)로 인해 재생 시 원래 모습과 차이가 발생할 수 있다는 기술적 한계가 논의됩니다. WARC 이전에는 ARC 포맷이 쓰였으나 HTTP 헤더와 메타데이터 기록 능력이 제한적이었고, WARC는 요청·응답·메타데이터 레코드를 명확히 구분해 재생 정확도를 높였습니다. WARC 파일은 여러 레코드를 하나의 파일에 이어 붙인 구조여서, 개별 페이지 하나를 꺼내 보려면 별도의 색인(CDX 파일 등)이 함께 있어야 빠르게 찾을 수 있다. 동일 URL을 여러 시점에 수집한 WARC 레코드가 누적되면 재생 소프트웨어는 이용자가 요청한 날짜에 가장 가까운 스냅샷을 자동으로 선택해 보여 주는 방식으로 동작한다.
주의할 점
WARC 파일 자체는 수집 시점의 원본 데이터를 담고 있을 뿐이며, 이를 이용자에게 재생하려면 별도의 재생(replay) 소프트웨어가 필요하다.
동일 사이트를 다른 시기에 수집한 여러 WARC 파일을 비교할 때는, 수집 도구의 버전 차이로 인한 형식적 차이와 실제 콘텐츠 변화를 구분해서 봐야 한다.