2. robots.txtでBing検索と複数の生成AIクローラーを一律ブロックしている
| 項目 | 内容 |
|---|---|
| カテゴリー | 流入 |
| 対象 | サイト全般 |
| セグメント | 共通 |
| 重要度 | 高 |
| 対応コスト | 低 |
課題の概要
JILLA Galleryのrobots.txtで、Bing検索のクローラー（Bingbot、BingPreview）と複数の生成AIクローラー（GPTBot、ChatGPT-User、ClaudeBot、Google-Extended、CCBotなど）に対して、全ページへのアクセスを禁止する設定が入っています。生成AIからの参照を遮断したい意図は理解できますが、MicrosoftはBing検索とCopilotを共通の仕組みで運用しており、Bingbotをブロックすると通常のBing検索からの新規流入も同時に止まります。利用者を能動的に呼び込みたいサイトの性質と、現在の設定が矛盾している状態です。
根拠
- robots.txtにBingbotおよびBingPreviewに対する
Disallow: /が指定されています - 同様にGPTBot、ChatGPT-User、ClaudeBot、Google-Extended、CCBotなど主要な生成AIクローラーに対する
Disallow: /も指定されています - MicrosoftはBing検索とCopilotを共通のクロール基盤で運用しており、Copilotだけを単独でブロックする手段は提供されていません
- 既存のインデックスは当面残るものの、新規ページや更新内容は今後Bingに反映されません
影響
JILLA Galleryは「発注者がクリエイターを探す」「クリエイターの作品を見つけてもらう」という発見性が事業価値の中核にあるサイトであり、検索流入の経路を自ら塞ぐ設定が事業目的と直接衝突しています。BingはGoogleに次ぐ検索エンジンであり、新規ページや作品の追加が反映されない状態が続けば、時間の経過とともにBing経由の到達可能性が下がっていきます。
改善の方向性
まずBingbot・BingPreviewのブロックを解除し、Bing検索からの新規流入経路を確保します。生成AIクローラーについては、クリエイターの作品が生成AIの学習に使われることへの懸念と、AI検索経由での発見機会のどちらを優先するか、協会として方針を協議したうえで決定します。学習用クローラー（GPTBot、CCBotなど）はブロックしつつ検索・回答用の参照は許可するといった、目的別にクローラーを切り分ける設計に整理し直すことを提案します。
関連する改善提案
本課題は提案4. Galleryの送客・回遊の再設計で、関連する課題とあわせて横断的に扱っています。