【Ayudante News 2026年2月号から抜粋】生成AIクローラーの生ログ分析の話

2026年3月6日

other

https://twitter.com/intent/tweet?url=https%3A%2F%2Fayudante.jp%2Fcolumn%2F2026-03-06%2F15-00%2F&text=%E3%80%90Ayudante%20News%202026%E5%B9%B42%E6%9C%88%E5%8F%B7%E3%81%8B%E3%82%89%E6%8A%9C%E7%B2%8B%E3%80%91%E7%94%9F%E6%88%90AI%E3%82%AF%E3%83%AD%E3%83%BC%E3%83%A9%E3%83%BC%E3%81%AE%E7%94%9F%E3%83%AD%E3%82%B0%E5%88%86%E6%9E%90%E3%81%AE%E8%A9%B1%20%7C%20%E3%82%A2%E3%83%A6%E3%83%80%E3%83%B3%E3%83%86%E6%A0%AA%E5%BC%8F%E4%BC%9A%E7%A4%BE

http://b.hatena.ne.jp/entry/https%3A%2F%2Fayudante.jp%2Fcolumn%2F2026-03-06%2F15-00%2F

本コラムはAYUDANTE NEWS 2026年2月号から一部抜粋してお送りしております。全文に関しては毎月月末に配信しているニュースレターのバックナンバーからご覧ください。

アユダンテニュースレター購読のお申込みはこちら

皆さま、こんにちは！「Ayudante News」、2月号をお届けします！

急に寒くなったり、温かくなったりと寒暖差が激しい時期ですが、いかがお過ごしでしょうか？

今月は、生成AIクローラーの生ログ分析がテーマです。

2月4日に開催されたデジタルマーケターズサミット「そのSEO施策、AIにも届いてる？よくある疑問と今やるべきコト」の講演より、生ログ分析の実験について、SEOコンサルタントの江沢真紀が語ります。

皆さん、生ログってご存じですか？
AIの生成までの流れ
生ログ分析のすごさ（ニュースレター限定）

皆さん、生ログってご存じですか？

「生ログ」と聞いて、おぉ、懐かしい！という方はだいたい私と同じか上の年代の方じゃないかと思います(笑)。生ログは加工していない生のサーバーログを意味しますが、Googleアナリティクスがない頃は生ログ分析してサイトのアクセス状況を計測していました。アユダンテでも昔は「wlog」という生ログ分析システムを持っていて、お客様のアクセス解析はそのツールで行っていたものです。

さて、今の時代、アナリティクスツールはたくさんありますし、サーバーログを目にすることはIT部門の方を除くとあまりないのではと思います。そんな過去の遺物の生ログですが、SEO的には結構重要です。大規模サイトはGoogleのクロールバジェットが気になると思いますが、Googleのクローラー「Googlebot」がどのくらい、どこのページに来ているかという詳細情報は生ログからしかわからないからです。大規模サイトのSEO担当者の方は今でも生ログからクローラー分析をされているかもしれませんね。

そして、今回アユダンテがトライしたのは「生ログから生成AIのクローラーを分析する」です！そう、皆様おなじみのChatGPTのような各生成AIにもクローラーが存在していて、皆さんのサイトをクロールしているのです。去年SEOエンジニアの西村さんとの会話の中で「そういえばAIのクローラーってどんな動きをしてるんだろうね」という会話から、それならアユダンテのサイトの生ログを分析してみようということになり、こんなダッシュボードまでできてしまいました。

これはアユダンテのサーバーログをBigQueryにエクスポートして、そこからLooker Studioでビジュアライズしています。西村さんの細かい設計が素晴らしく、例えば以下のように特定のクローラーのユーザーエージェントで絞り込んだり

以下のようにどんなファイルにアクセスしているかがわかったり

もちろん以下のようにどこのページによく来ているかもわかります。

このダッシュボードを見ると各種AIのクローラーの様々な挙動がわかるのですが、今日は皆さんが一番気になるChatGPTのクローラーについて解説したいと思います。まずChatGPTの生成までの流れをわかりやすく図解すると以下のようになりますが、この中に出てくる2つのクローラーについて見ていこうと思います。

AI生成までの流れ

① 事前学習用クローラー このクローラーは物事を理解するためのトレーニング用です。生ログから動きを見ていても「あらゆるページをまんべんなくクロールしている」印象です。傾向例： ✓ 頻繁には来ないが、特定日に大量クロールしている ✓ トップなど上層ページのクロールが多い ✓ ページネーションなど深い階層のページも少量だがクロールはされている ✓ コラムよりも、会社情報やスタッフプロフィールを頻繁にクロールこんな感じで特定の日に一気にクロールして情報収集している感じです。

② リアルタイムクローラー このクローラーはユーザーがChatGPTに何かのプロンプトを投げた際に、事前学習の範囲では回答が生成できず、外部（Google、Bingなど）へRAGという問い合わせが走って、返ってきたページをリアルタイムでクロールするものです。「今まさにChatGPTで引用されようとしているページ」がわかるのです。傾向例： ✓ アユダンテですら多い日は1000近くのアクセス ✓ 土日、年末年始は少ない（BtoBなので流入と同傾向） ✓ コラムへのクロールが多い ✓ 必ずしも新しいコラムではない。古いコラムにも来ているよく見られているコラム上位は以下です。/2022-は年号を意味していますが、結構昔のコラムにアクセスしてきている（引用されている？）ことがわかります。

このような生ログ分析をすることでいくつか打ち手が見えてきます。・自社に関するプロンプトで正確な情報が出ない → 正確な情報が載っているページがクロールされているか確認する

・上記、クロールされているのに出てこない → ページの主要な内容の出力をJavaScriptに依存していないか確認する ※ 生成AIのクローラーは殆どJavaScriptをレンダリングしない

・新商品や新サービスページのクロールが遅い → いち早くクロールされるために内部リンクを整備する ※生成AIのクローラーはsitemap.xmlをほとんどクロールしないので…

この記事の続きは、AYUDANTE NEWSにご登録いただくことで、毎月月末に配信されるメールマガジンのバックナンバーから閲覧可能です！ぜひご登録ください。