Show GN: robots.txt·llms.txt 자동 검사 (무료)

도메인 하나를 넣으면 그 사이트의 robots.txt와 llms.txt를 읽어 5개 항목의 통과/미통과를 돌려주는 무료 검사입니다. 9월에 올린 AI 크롤러 접근 점검기는 봇별로 허용·부분 차단·루트 차단·규칙 없음 4가지 값을 보여주는 도구라 "그래서 우리 사이트는 AI 크롤러 정책을 정해 둔 상태인가"가 한눈에 예/아니오로 나오지 않았습니다. 그래서 이분 판정이 되는 항목만 골라 통과/미통과로 보여주는 검사를 따로 만들었습니다. 판정 로직은 복제하지 않고 점검기의 공개 API 2개를 그대로 부릅니다. 검사 항목 5개는 다음과 같습니다. robots.txt가 응답할 것(404·410이면 미통과) robots.txt 본문이 512K자 상한에서 잘리지 않을 것 AI 크롤러 15종(GPTBot·ClaudeBot·Google-Extended·PerplexityBot·CCBot 등) 모두에 적용되는 규칙이 있을 것. 전용 그룹이든 User-agent: *든 상관없고, 허용인지 차단인지는 보지 않습니다. "정했는지"만 봅니다. /llms.txt가 HTML이 아닌 텍스트로 응답할 것(없는 경로에 SPA 껍데기 HTML을 200으로 주는 사이트가 많아서) llms.txt 형식 오류 0건(llmstxt.org 제안서 기준, H1 누락만 오류) 항목마다 판정이 계산되는 코드 경로와 행 번호가 basis 필드로 같이 옵니다. llms.txt 형식 권고 7개(H1 1개, 인용문 요약, 목록 항목마다 링크 등)는 참고 항목으로 결과에만 적히고 통과 기준은 아닙니다. 사용법은 세 줄입니다. 위 주소에서 도메인을 넣고 "먼저 무료로 검사"를 누릅니다. 회원가입·키 없음. 같은 결과를 JSON으로 받으려면 GET /check?domain=example.com status가 fail인 항목을 고친 뒤 같은 주소로 다시 검사합니다. 10월 8일 실측: cloudflare.com 5/5, llmstxt.org 4/5(AI 크롤러 적용 규칙 항목 미통과). 미통과가 사이트 결함이라는 뜻은 아닙니다. 정책을 정하지 않기로 한 사이트도 있습니다. 한계도 적어 둡니다. 사이트가 스스로 공개한 두 파일만 보므로 크롤러가 그 규칙을 실제로 따르는지는 알 수 없습니다. 한 번 관측한 결과이고 자동 재검사는 없어서 파일을 바꾸면 다시 돌려야 합니다. 같은 계정의 workers.dev 도메인은 검사 요청이 자기 워커로 되돌아와 제대로 검사되지 않습니다(외부 ...