구글 Gary Illyes가 robots.txt를 포함한 크롤링 제어 규칙(REP)이 공개 표준으로서 게시자와 크롤러 운영자의 합의를 통해 발전할 수 있다고 설명했습니다. 다만 구글은 널리 지원되는 표준인 만큼 변경이 “쉽지 않아야 하고, 실제로 쉽지 않다”고도 강조했습니다.
지난 몇 주간 robots.txt와 로봇 메타 태그의 사용법을 설명해온 구글의 ‘Robots Refresher’ 시리즈가 2025년 3월 28일 ‘미래’에 대한 글로 마무리되었습니다. 이번 발표는 1994년 탄생 이후 30년간 사실상의 표준으로 사용되다 2022년 공식 인터넷 표준(RFC9309)이 된 REP가 앞으로 어떻게 발전할 수 있는지 그 방향을 제시한 것입니다.
구글이 강조한 크롤링 규칙의 미래에 대한 핵심 내용은 다음과 같습니다.
1. 크롤링 규칙은 ‘공개 표준’: robots.txt와 같은 크롤링 규칙(REP)은 구글이 일방적으로 정하는 것이 아니라, 2022년 공식 인터넷 표준(RFC9309)으로 지정된 공개 표준입니다. 구글은 “REP는 널리 지원되는 프로토콜이며, 인터넷과 함께 성장해야 한다”고 밝혔습니다.
2. ‘sitemap’ 규칙이 좋은 선례: robots.txt 파일에 사이트맵 위치를 추가하는 규칙은 원래 RFC9309 표준에 포함되지 않았지만, 웹사이트 운영자와 검색엔진 모두에게 유용했기 때문에 모든 주요 검색엔진이 지원하는 사실상의 표준이 되었습니다. 구글은 “충분한 지지가 있다면, 이것이 REP의 공식 규칙이 될 수도 있다”고 언급했습니다.
3. 변경에는 ‘양측의 합의’가 필수: 구글은 새로운 규칙이 표준이 되려면 게시자(웹사이트 운영자)와 크롤러 운영자 양측 모두에게 이익이 된다는 공감대가 형성되어야 한다고 강조했습니다. 동시에 “변경이 쉬워서는 안 되며, 실제로 쉽지 않다”고 덧붙여 신중한 접근의 필요성을 언급했습니다.
4. 일부 규칙은 검색엔진마다 지원이 다름: 구글은 clean-param과 crawl-delay 같은 규칙이 일부 검색엔진에서는 지원되지만, 구글 검색에서는 지원하지 않는다고 설명했습니다. 이처럼 크롤러 운영자마다 자체 규칙을 만들 수 있지만, 모든 곳에서 동일하게 작동하는 것은 아닙니다.
참고로 구글은 자사의 robots.txt 파서를 오픈소스로 공개하여, 개발자들이 구글과 동일한 방식으로 robots.txt를 해석할 수 있도록 지원하고 있습니다.
