ConnectAI-VisibilityBot

모든 요청에 아래 User-Agent 를 그대로 실어 보냅니다. 브라우저인 척하지 않습니다.

User-Agent 전문

ConnectAI-VisibilityBot/1.0 (+https://connectai.kr/bot)

robots.txt 제품 토큰

ConnectAI-VisibilityBot

robots.txt 에서 우리를 지목할 때 쓰는 이름입니다. RFC 9309 §2.2.1 의 제품 토큰 문법을 따라 숫자를 넣지 않았습니다.

가져가는 것은 아래가 전부입니다. 각 항목은 점검표의 특정 문항에 대한 근거로 쓰입니다.

robots.txt

크롤러에게 무엇을 허용·차단하는지, 사이트맵을 선언했는지 확인합니다.

sitemap.xml 과 그 안의 하위 사이트맵

검색 엔진에게 알리고 있는 페이지 목록을 확인합니다. 점검 범위의 분모가 여기서 나옵니다.

/llms.txt

AI 에게 전달되는 요약문이 있는지, 그 문장을 사이트가 직접 관리하는지 확인합니다.

사이트맵에 실린 공개 페이지의 HTML 과 응답 헤더

제목·설명·canonical·구조화 데이터·hreflang·이미지 대체텍스트 같은, 기계가 읽는 표시를 확인합니다.

홈 주소의 응답 상태와 리다이렉트, 없는 주소 한 번의 응답

https 전환·도메인 단일화·없는 주소의 404 응답을 확인합니다.

도메인의 공개 DNS 레코드(A·AAAA·TXT)

검색 도구 소유확인 값이 DNS 쪽에 있는지 확인합니다.

• RFC 9309(Robots Exclusion Protocol)를 따릅니다.
• 먼저 우리 제품 토큰을 지목한 그룹을 찾고, 없으면 `User-agent: *` 그룹을 따릅니다.
• `Crawl-delay` 가 우리 기본 간격보다 크면 그쪽에 맞춰 더 느리게 요청합니다. 다만 한 요청당 최대 30초까지입니다 — 그보다 큰 값을 선언하셨다면 30초 간격으로 갑니다.
• robots.txt 가 5xx 를 반환하면 잠시 뒤 한 번 더 확인하고, 그래도 5xx 이면 그 사이트는 **아예 크롤하지 않습니다.** 규격상 전면 차단으로 해석되는 상황이라, 읽을 수 없을 때는 읽지 않는 쪽을 택합니다.
• `429 Too Many Requests` 를 한 번이라도 받으면 그 회차를 즉시 중단하고, `Retry-After` 를 기록한 뒤 그 도메인을 24시간 쉽니다.
• 차단이 걸려 있으면 그 사이트는 점검하지 않습니다. 사이트 운영자 본인이 서면으로 허용한 경우에만 예외가 됩니다.

• 응답 상태 코드와 응답 헤더
• 받은 페이지의 원본 HTML
• 그 HTML 에서 뽑아낸 사실(제목·설명·구조화 데이터의 종류 등)과 판정 결과

원본 HTML 의 보관 기간은 아직 확정하지 않았습니다. 확정되면 그 일수를 이 페이지에 숫자로 적습니다. 확정 전에도 아래 주소로 요청하시면 지웁니다.

삭제 요청은 아래 주소로 보내 주세요. 해당 도메인의 소유를 확인한 뒤 그 도메인에서 받은 자료를 지웁니다.