llms.txtを導入して効果はあるのか?

llms.txtを導入してからどのくらいの時間でAIクローラーが巡回しに来るのだろう?


当サイトは、LLMO対策の1つとして「llms.txt」を導入しています。
llms.txtを導入してからAIのクローラーがアクセスしに来るまでの履歴を追ってみることにしました。

この記事を書いた人

ゆめ ただ
グログ歴 5年目。
普通のビジネスマンとして働きながらFIREを目指す。
独学でゼロからブログを立ち上げる。
Dockerのローカル仮想環境を作りLinux環境も触るように。
4年目でSEO検定1級に合格し地道にスキルアップ。
次はWordPress以外のCMSに手を出そうか悩み中。
当サイトのllms.txt
当サイトの「llms.txt」は以下のURLから確認できます。
当サイトllms.txt:https://biz-sel.com/llms.txt
このllms.txtは自作したものです。
プラグインを使って自動生成することもできます。
自作した「llms.txt」の仕様
# サイト基本情報
---
## Page(固定ページ)
- [ページ名](URL)
:
- [ページ名](URL)
---
## Category(カテゴリーページ)
- [カテゴリ名](URL)
:
- [カテゴリ名](URL)
---
## Post(投稿記事)
- [記事タイトル](記事URL)
:
- [記事タイトル](記事URL)
---
# 記事詳細
### 記事タイトル
URL: 記事URL
投稿日: YYYY-MM-DD
更新日: YYYY-MM-DD
カテゴリ: カテゴリ名
概要: 記事概要(metaディスクリプション)
:
### 記事タイトル
URL: 記事URL
投稿日: YYYY-MM-DD
更新日: YYYY-MM-DD
カテゴリ: カテゴリ名
概要: 記事概要(metaディスクリプション)
---
llms.txtを作成する方法を知りたいあなたは、こちらの記事が参考になります。
-
-
llms.txtを作ってLLMO対策する方法【プラグインから自作する方法まで】
続きを見る

AIクローラーからアクセスされるまでの時間

AIクローラーからアクセスされるまでの時間はこの通り、18日かかっています。
llms.txt導入後、翌日すぐにahrefsBotがアクセスしに来ています。
次いで、M12bot、bingBotと続けてクローリングしにきています。
そして、少し期間を開けて、GPTBotが18日後にクロールを確認。
その5日後、初めてGooglebotがllms.txtにアクセスしに来ました。(2025/5/3追記)
以前からGPT-Searchからのアクセス履歴はあったのですが、GPTBotのアクセス履歴は見当たらず。
今回、初めてGOTBotからのアクセスが確認できました。
\【当サイトのllms.txtをクローリングしにきたBotの履歴】/
日付 | アクセスBot | 種別 | 履歴 |
---|---|---|---|
2025/4/9 | 初めてサイトに「llms.txt」を導入 | ||
2025/4/10 | ahrefsBot | SEO bot | Mozilla/5.0 (compatible; AhrefsBot/7.0; +http://ahrefs.com/robot/) |
2025/4/12 | MJ12bot | SEO bot | Mozilla/5.0 (compatible; MJ12bot/v1.4.8; http://mj12bot.com/) |
2025/4/12 | bingbot | 検索エンジンbot | Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) |
2025/4/13 | bingbot | 検索エンジンbot | Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) |
2025/4/14 | bingbot | 検索エンジンbot | Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) |
2025/4/14 | ahrefs-site-audit | SEO bot | "Mozilla/5.0 (Linux; Android 13) AppleWebKit/537.36 (KHTML, like Gecko)Chrome/xxx.xxx.xxx.xxx Mobile Safari/537.36 (compatible; AhrefsSiteAudit/6.1; +http://ahrefs.com/robot/site-audit)" |
2025/4/15 | bingbot | 検索エンジンbot | Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) |
2025/4/19 | DotBot | SEO bot | Mozilla/5.0 (compatible; DotBot/1.2; +https://opensiteexplorer.org/dotbot; help@moz.com) |
2025/4/20 | bingbot | 検索エンジンbot | Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) |
2025/4/21 | ahrefs-site-audit | SEO bot | "Mozilla/5.0 (Linux; Android 13) AppleWebKit/537.36 (KHTML, like Gecko)Chrome/xxx.xxx.xxx.xxx Mobile Safari/537.36 (compatible; AhrefsSiteAudit/6.1; +http://ahrefs.com/robot/site-audit)" |
2025/4/22 | bingbot | 検索エンジンbot | Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) |
2025/4/25 | bingbot | 検索エンジンbot | Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) |
2025/4/27 | bingbot | 検索エンジンbot | Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) |
2025/4/27 | GPTBot | AIBot | Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.2; +https://openai.com/gptbot) |
2025/4/28 | ahrefs-site-audit | SEO bot | "Mozilla/5.0 (Linux; Android 13) AppleWebKit/537.36 (KHTML, like Gecko)Chrome/xxx.xxx.xxx.xxx Mobile Safari/537.36 (compatible; AhrefsSiteAudit/6.1; +http://ahrefs.com/robot/site-audit)" |
2025/4/28 | bingbot | 検索エンジンbot | Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) |
2025/5/2 | Googlebot | 検索エンジンbot | Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/xxx.xxx.xxx.xxx Mobile Safari/537.36 (compatible; Googlebot/2.1 |
2025/5/2 | bingbot | 検索エンジンbot | Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) |


llms.txtを配置して18日後に、GPTBotのクローラーが確認できました。
あなたも、是非「llms.txt」を導入してLLMO対策を実施してみてください。
結果まとめ
llms.txt導入後から18日後にGPTBotがクロールしに来た