구글이 robots.txt에 이어, 특정 페이지만 검색 결과에서 제외하거나 미리보기를 막는 ‘페이지 단위 제어’ 방법을 상세히 공개했습니다. 이를 통해 마케터들은 웹사이트 전체가 아닌 개별 페이지의 검색 노출 여부와 방식을 정밀하게 관리하며 한 차원 높은 SEO 전략을 구사할 수 있게 됐습니다.
robots.txt가 크롤러의 ‘출입’을 통제하는 규칙이라면, 많은 마케터들은 “크롤러의 방문은 허용하되, 이 페이지만큼은 검색 결과에 노출하고 싶지 않다”는 고민을 해왔습니다. 예를 들어 로그인해야만 볼 수 있는 회원 전용 페이지나, 광고 캠페인용으로 만든 특정 랜딩페이지가 여기에 해당합니다. 구글의 이번 발표는 바로 이 ‘색인 및 노출’ 단계를 제어하는 방법에 대한 해답입니다.
구글이 공개한 페이지 단위 제어의 핵심 내용은 다음과 같습니다.
- 페이지 단위 제어를 위한 두 가지 도구: 구글은 두 가지 핵심 도구를 소개합니다. 첫째는 웹페이지(HTML)에 직접 삽입하는 ‘로봇 메타 태그’이고, 둘째는 PDF나 이미지 파일에 적용할 수 있는 ‘X-Robots-Tag’ HTTP 헤더입니다. 두 도구 모두 특정 URL에 대한 세부 지침을 크롤러에게 전달하는 역할을 합니다.
- 가장 유용한 핵심 명령어: 마케터가 반드시 알아야 할 명령어는 다음과 같습니다. ‘noindex’는 해당 페이지를 검색 결과에서 제외시키고, ‘nofollow’는 페이지 내 링크를 구글이 따라가지 않도록 하며, ‘nosnippet’은 검색 결과에서 제목 아래에 보이는 미리보기 텍스트를 표시하지 않도록 합니다.
robots.txt와의 차이점과 올바른 사용법:robots.txt는 크롤러의 ‘접근 자체’를 막는 강력한 도구이며, 페이지 단위 태그는 ‘접근은 허용하되 검색 노출 방식을 제어’하는 도구입니다. 따라서 사이트의 넓은 영역(예: 관리자 폴더)을 막을 땐robots.txt를, 개별 페이지(예: 이벤트 종료 페이지)를 관리할 땐 페이지 단위 태그를 사용하는 것이 효과적입니다.
구글이 페이지 단위 제어법을 다시 한번 상세히 설명하는 것은 마케터들이 SEO를 더욱 전략적으로 운영해야 함을 시사합니다.
첫째, 검색 노출과 사용자 경험을 분리하여 관리할 수 있습니다. 예를 들어, 결제 완료 후의 ‘감사 페이지’나 광고를 통해 유입된 사용자에게만 보여주고 싶은 특정 랜딩페이지를 ‘noindex’ 처리할 수 있습니다. 이를 통해 사용자에겐 필요한 정보를 제공하면서도, 검색 결과는 핵심적인 페이지만으로 깔끔하게 유지하여 브랜드의 전문성을 높일 수 있습니다.
둘째, 콘텐츠의 ‘수명 주기’ 관리가 용이해집니다. 기간이 만료된 이벤트 페이지나 종료된 프로모션 페이지를 굳이 삭제할 필요 없이 ‘noindex’ 태그 하나로 검색 결과에서 사라지게 할 수 있습니다. 이는 링크가 깨지는 것을 방지하고, 사용자에게 낡은 정보가 노출되는 부정적인 경험을 막는 효과적인 방법입니다.
셋째, ‘가치 낮은 페이지’로 인한 SEO 불이익을 예방할 수 있습니다. 웹사이트 내 로그인 페이지, 내용이 거의 없는 태그 페이지 등은 사용자에게는 필요하지만 검색엔진 입장에서는 품질이 낮은 ‘씬 콘텐츠(thin content)’로 평가받을 수 있습니다. 이러한 페이지들에 ‘noindex’를 적용하는 것은 사이트 전체의 SEO 품질을 지키기 위한 필수적인 방어 전략입니다.
