
검색 로봇
robots.txt 효과적 활용 robots.txt 파일 – 검색엔진 크롤링 제어의 핵심 robot.txt 검색엔진이 사이트에 접근하고 크롤링할 수 있는 부분을 알려주어 검색엔진의 트래픽을 조절하는데 사용 robots.txt는 검색 로봇 배제 표준을 따르는 일반 텍스트 파일입니다. 파일명은 반드시 robots.txt 로 지정해야 하며, 사이트 루트 디렉토리에 위치해야 합니다. (ex http://www.inmarketing.kr/robots.txt) 특정 페이지가 검색엔진 결과에 노출되지 않도록 설정하려면, 해당 페이지를 크롤링할





