どこにもリンクしていないテスト環境に、ChatGPT のボットは来るのか｜サーバーの記録で確かめた
この記事のポイント
- ✓どこにもリンクしていないテスト環境10個のサーバーの記録を調べると
- ✓8個に OpenAI のボットが来ていて
- ✓Googlebot は1回も来ていませんでした
前回の記事で、新しいドメインでサイトを開いたとき、Google より先に ChatGPT のボットが来ていたことを書きました。 https://hirajo.com/blog/crawler-google-vs-chatgpt
ドメインを取ってから1時間ほどで、記事もリンクも無いうちに、OpenAI のボットが来ていました。 では、OpenAI は何を見て、生まれたばかりのサイトを知ったのでしょうか。
私の見立ては、SSL 証明書の発行です。 証明書を取ると、その名前が公開の記録に載ります。 OpenAI はそれを見てサイトを見に来ているのではないか、と考えました。
そこで、どこからもリンクしていない、検索にも出していないテスト環境の記録を調べました。 本番のサイトと違い、テスト環境は、作った私たち以外にだれも知らないはずの場所です。
調べたもの
1台のサーバーで動かしている48のホストのうち、テスト用のホスト10個です。 自社製品と、お客様から預かっている開発案件のテスト環境で、どれもどこにもリンクしていません。 製品名とドメインは伏せ、テスト環境A〜Jと呼びます。
使ったのは、サーバー（nginx）のアクセス記録です。 記録が残っているのは、古いものでも2026年4月末からです。 時刻はすべて日本時間です。
ボットは名乗る名前（User-Agent）だけでは見分けられません。 今回の記録にも、OpenAI や Google の名前を借りた偽物が3,305回ありました。 そこで、各社が公開している IP アドレスの一覧と照らし合わせ、一覧に入っているものだけを本物として数えました。
- OpenAI：OAI-SearchBot、GPTBot、ChatGPT-User
- Google：Googlebot
- Microsoft：bingbot
テスト環境に来たボット
10個のテスト環境のうち8個に、OpenAI の本物のボットが来ていました。 合わせて2,403回です。
Googlebot の本物は、10個のどれにも1回も来ていません。 bingbot の本物も0回でした。
- テスト環境A：OpenAI 633回、Google 0回（記録は5月10日から）
- テスト環境B：OpenAI 519回、Google 0回（5月10日から）
- テスト環境C：OpenAI 413回、Google 0回（7月6日に作成）
- テスト環境D：OpenAI 396回、Google 0回（5月10日から）
- テスト環境E：OpenAI 238回、Google 0回（8月20日に作成）
- テスト環境F：OpenAI 175回、Google 0回（5月10日から）
- テスト環境G：OpenAI 28回、Google 0回（4月30日に作成）
- テスト環境H：OpenAI 1回、Google 0回（10月14日に作成）
- テスト環境I：OpenAI 0回、Google 0回（記録は10月5日から）
- テスト環境J：OpenAI 0回、Google 0回（4月30日に作成）
本番のサイトには、Googlebot は毎日来ています。 同じサーバーの、同じドメインの下のテスト環境には、5か月以上たっても1回も来ていません。
作った日の記録
テスト環境C、E、Hは、作った日からの記録が残っていました。 3つとも、同じ順番でボットが来ています。
テスト環境Eの例です。
- 17時54分00秒：記録の最初のアクセス。調査用のボットが、数秒のうちに次々とトップページに来る
- 18時32分44秒（38分後）：OpenAI の OAI-SearchBot が robots.txt を読む
- 18時32分45秒：OpenAI の GPTBot がトップページを読み、そこからリンクをたどって中のページを読み始める
テスト環境Hも、最初のアクセスの38分後に、OAI-SearchBot が来ていました。 テスト環境Cは、2時間12分後でした。
テスト環境CとHでは、最初の数秒に来たボットの中に、CT-WP-Scanner という名前のものがありました。 CT は Certificate Transparency の略で、SSL 証明書の公開記録のことです。 SSL 証明書を発行すると、そのホスト名がこの記録に載り、だれでも見られます。 3つとも、テスト環境のホスト名は、この公開記録に載っていました。
このとき、テスト環境のホスト名を知る手がかりは、証明書の公開記録とDNSの設定くらいしかありません。 リンクも、サイトマップも、検索への登録もしていません。
Google と OpenAI では、動きが違う
Google は、検索の仕組みを、リンクやサイトマップでページを見つけるところから説明しています。 https://developers.google.com/search/docs/fundamentals/how-search-works
テスト環境には、リンクもサイトマップの登録もありません。 記録のうえでも、Googlebot は1回も来ませんでした。
OpenAI のボットは、だれにも教えていない場所に、作ってから1時間足らずで来ていました。 テスト環境CとEでは、OAI-SearchBot が robots.txt を読んだ1秒後に、GPTBot が中のページを読み始めていました。
私の見立て
ここからは、記録をもとにした私の見立てです。
OpenAI は、新しいドメインや新しいホストの SSL 取得を合図にして、サイトを見に来ている。 Google のボットは、それとは別の動きをしている。
つまり OpenAI は、Google よりも広く情報を取得して、独自に解析しているのではないか。
OpenAI は、何を見てサイトを知ったのかを公表していません。 記録から言えるのは、ホスト名が証明書の公開記録に載り、最初のアクセスがあってから38分から2時間ほどで OpenAI のボットが来ていたことと、同じような場所に Google は5か月以上来ていないことです。
記録の限界
- テスト環境のホスト名が、私たちの知らないところでどこかに書かれていた可能性は、ゼロにはできません
- 記録が5月10日からのテスト環境は、それより前に何が来ていたかはわかりません
- テスト環境Jのように、OpenAI も来ていない場所もあります
- ほかにもう1つ、2025年4月の記録しか残っていないテスト環境があり、そこには Googlebot が54回、bingbot が20回来ていました。記録の時期がほかと違うので、10個には入れていません
自分のサイトで確かめる方法
サーバーのアクセス記録で、次のように数えられます。
grep "OAI-SearchBot" access.log | wc -l
grep "GPTBot" access.log | wc -l
grep "Googlebot" access.log | wc -l名前は、どのプログラムでも名乗れます。 本物かどうかは、各社が公開している IP アドレスの一覧と照らし合わせてください。
- OpenAI：https://openai.com/searchbot.json 、https://openai.com/gptbot.json
- Google：https://developers.google.com/static/search/apis/ipranges/googlebot.json
テスト環境やステージングに OpenAI のボットが来ているかは、ここで確かめられます。
おわりに
どこにもリンクしていないテスト環境10個のうち8個に、OpenAI のボットが来ていました。 Googlebot は1回も来ていません。
作った日の記録では、最初のアクセスから38分から2時間ほどで、OpenAI のボットが来ていました。
公開していないつもりの環境も、証明書を取った時点で、OpenAI には見つかっています。
