クローラー仕様

最終更新: 2026-05-15

User-Agent

スキャンおよびジェネレーター実行時、すべての HTTP リクエストは以下の User-Agent で発行されます:

YomuScore/0.1 (+https://yomuscore.com/about-bot)

robots.txt の尊重

スキャン処理のために実行する fetch は、対象サイトの /robots.txt の User-agent: * ルールに従います。Disallow されたパスはスキャンしません。

クロール頻度・並列度

同一ホストへの並列度: 常に 1 (直列実行)
1リクエストあたりのタイムアウト: 10秒
1スキャン全体の上限: 2分
5xx エラーのみ最大3回の指数バックオフで再試行

レート制限

同一IP からのスキャン: 1日5回まで
同一IP からのジェネレーター実行: 1日5回まで (種類別)

取得対象

スキャナーは以下のパスへの GET / HEAD リクエストのみを実行します:

トップページ (利用者が入力したURL)
/robots.txt, /sitemap.xml, /sitemap_index.xml
/llms.txt, /.well-known/llms.txt, /llms-full.txt
/AGENTS.md, /CLAUDE.md, /.cursorrules 等のエージェント向けマニフェスト
/sitemap.md, /openapi.json (API系サイトの場合)
Markdownミラーの存在確認 (Accept: text/markdownまたは .md 拡張子)

取得しないもの

認証が必要なページ
サブページの中身 (トップページ以外のHTML本文)
画像・動画・JS バンドル等のバイナリリソース

セキュリティ対策

利用者が入力するURLは、 http:// / https:// 以外のスキームを拒否し、プライベートIP (RFC1918)、ループバック、リンクローカル、クラウドメタデータ (169.254.169.254 等) へのアクセスをホスト名解決後の実IPで再判定して拒否します (SSRF対策)。

ブロックしたい場合

サイト所有者が本クローラーをブロックしたい場合は、 /robots.txt に以下を追加してください:

User-agent: YomuScore
Disallow: /

お問い合わせ

クロール動作に関するご指摘・ご要望は support@yomuscore.com までお寄せください。