robots.txt 점검

robots.txt 점검 도구는 입력한 사이트의 도메인에서 robots.txt 파일을 실시간으로 가져와 원문과 핵심 규칙을 한눈에 보여줍니다. 검색엔진 크롤러가 어떤 경로를 막고 있는지, 어떤 User-agent에 규칙이 걸려 있는지, 사이트맵이 제대로 선언돼 있는지를 빠르게 확인할 수 있습니다.

robots.txt는 항상 사이트 루트(/robots.txt)에 있어야 하며, 검색엔진은 크롤링 전에 이 파일을 가장 먼저 읽습니다. 실수로 중요한 페이지를 차단하면 색인에서 빠질 수 있으므로, 배포 후 이 도구로 규칙을 한 번 점검해 두는 것이 좋습니다. 도메인 또는 전체 URL을 입력하면 자동으로 루트의 robots.txt를 조회합니다.

점검 결과 읽는 법

• 원문: 서버가 응답한 robots.txt 전체 내용을 그대로 표시합니다.
• Sitemap: Sitemap: 선언으로 발견된 사이트맵 URL 목록입니다. 클릭해 바로 열어 볼 수 있습니다.
• User-agent: 규칙이 적용되는 크롤러 식별자 목록입니다. *는 모든 크롤러를 뜻합니다.
• Disallow 개수: 차단 규칙(Disallow:)이 몇 줄인지로 차단 범위를 가늠합니다.

robots.txt가 없을 때

robots.txt가 404 등으로 존재하지 않으면, 이는 표준상 전체 크롤링 허용으로 해석됩니다. 별도 차단 규칙이 없다는 뜻이므로 그 자체로 문제는 아닙니다. 다만 사이트맵 위치를 알리고 싶다면 빈 규칙이라도 파일을 두고 Sitemap: 줄을 추가하는 편이 좋습니다. 새 파일은 robots.txt 생성기로 만들고, 선언한 사이트맵이 정상인지는 사이트맵 검증기로 확인하세요.

흔한 실수

• Disallow: / 한 줄로 사이트 전체를 막아 색인에서 사라지는 경우.
• 스테이징용 차단 규칙을 운영 배포에 그대로 올리는 경우.
• robots.txt로 막은 페이지가 색인에서 제거되리라 기대하는 경우 — 차단은 크롤링을 막을 뿐, 색인 제거는 noindex로 처리해야 합니다.