網站變慢？先查有沒有 AI 爬蟲在打你的站（2026）

客戶回頭找我們，最常見的第一句話是「網站好像變慢了」。

第一個被懷疑的永遠是外掛。第二個是主機。

有一類流量我們查了幾次之後才學會先看：AI 爬蟲。

為什麼你的後台看起來一片安靜

Google Analytics 看不到這些流量。

GA 靠的是在瀏覽器裡跑一段 JavaScript，人來了才會被記一筆。爬蟲不跑 JavaScript——它直接把網頁原始碼抓走就結束。所以你的 GA 顯示今天 80 個訪客，主機那邊可能已經處理了幾萬次請求。

後台一片安靜，網站在喘。 這是這件事最難查的地方。

尖峰一分鐘三萬九千次

Fastly 的觀測資料：AI 相關流量裡約八成是爬蟲，但真正造成壓力的是即時擷取——使用者在 AI 工具裡問一個問題，工具當場去抓網頁來回答。

這類請求尖峰時可達每分鐘 39,000 次，而一般爬蟲大約是每分鐘 1,000 次。差了將近四十倍。對沒有防護的網站，這個量體等同一場小型 DDoS。

來源也很集中，三家就佔了九成五：

商品站特別容易被打

一個形象官網大概十來個網址。一個電商站不一樣。

每個商品一個網址、每個分類一個、每個標籤一個，加上排序與篩選的組合——?orderby=price、?filter_size=L、?product_tag=貓零食——這些全部都是獨立網址。爬蟲會把它們當成不同的頁面，一個一個抓。

商品愈多，可爬的網址成長得愈快。而且這些頁面多半要查資料庫才生得出來，比靜態頁吃資源。

我們量到的：94.6% 對搜尋型 AI 爬蟲全開

2026 年 8 月，我們量了六都 1,681 家在地商家，其中 683 家有自有網域而且連得上。

看他們的 robots.txt 有沒有擋掉搜尋型的 AI 爬蟲（GPTBot、ClaudeBot、PerplexityBot 這類）：

n=682（一家探測不完整，已排除）

🔴 先說清楚：全開這件事本身多半是對的。 搜尋型的 AI 爬蟲會把你的內容拿去回答別人的問題，擋掉它等於自己退出 AI 搜尋——我們自己的網站也是放行這一類的。

真正的問題在另一個地方：這 94.6% 裡，絕大多數從來沒打開來看過。 誰在爬、一天爬幾次、有沒有把主機爬到喘，他們沒有答案——放行是預設值，不是決定。

而且 robots.txt 只是一張告示牌。守規矩的爬蟲會讀，不守規矩的直接無視——那一類要靠別的方式擋。

五分鐘查一次，免費

如果你的網站掛在 Cloudflare 底下，後台有一個叫 AI Crawl Control（以前叫 AI Audit）的功能。

所有方案都能用，包含免費方案，而且零設定。 它會告訴你：

• 哪些 AI 服務來爬過你的內容
• 各爬多少、爬了哪些頁面
• 哪些爬蟲有遵守你的 robots.txt（有些不遵守）
• 可以逐個開關——這個放行、那個封鎖

沒有用 Cloudflare 的話，退一步看主機的流量統計或 access log，找 GPTBot、ClaudeBot、PerplexityBot、Bytespider 這些字串，看它們一天打你幾次。

我們自己怎麼設

把我們自家網站的設定攤出來。我們的選擇未必適合你，但判準可以參考。

放行的七個：GPTBot、ChatGPT-User、ClaudeBot、Google-Extended、PerplexityBot、Bingbot、msnbot

封鎖的三個：CCBot、Bytespider、Amazonbot

判準只有一句：這個爬蟲會不會把我的內容拿去回答別人的問題。

會的話就開——有人問 AI「台灣哪裡有做寵物電商網站」，我希望被講到。這跟做 SEO 是同一件事，只是讀者換成了機器。

那些只把內容抓走建資料集、不會帶任何人回來的，就關。CCBot 是 Common Crawl 的爬蟲，抓走的資料進公開資料集；Bytespider 是字節跳動的。這兩個對我們沒有回流。

順帶一提，/api/ 那類路徑我們對所有爬蟲都關掉——那裡沒有內容，只有耗資源的查詢。

所以順序是這樣

網站變慢的時候，我自己的檢查順序：

1. 先看流量統計，人的流量有沒有變。沒變就往下走
2. 看 AI 爬蟲的量（Cloudflare AI Crawl Control，或 access log）
3. 再回頭查外掛——最近裝了什麼、更新了什麼
4. 最後才是主機

把第二步插在外掛前面，是這一年才學到的。以前它不在清單上。

你的 robots.txt 現在長什麼樣

在網址後面加 /robots.txt 就看得到，例如 你的網域.com/robots.txt。

如果打開只有短短兩三行，或者根本 404，那你現在是全開的狀態——這在 2026 年之前沒什麼關係，現在關係變大了。

你都怎麼判斷哪些爬蟲要放、哪些要擋？我們的判準是「會不會帶人回來」，但這條在不同生意上答案應該不一樣，想聽聽你怎麼看。

延伸閱讀

• 你的網站被搜尋引擎跟 AI 讀到什麼：Google 商家做完了，為什麼客人還是找不到你
• Cloudflare 設定常見的坑：WooCommerce 接 Cloudflare 最常踩的錯
• 還在評估要不要自己架：WooCommerce 適合我嗎？四個判斷條件

資料來源（查證日 2026-08-23）：

• AI 流量結構與 39,000 req/min：Fastly 觀測資料（經 iThome 報導）
• 94.6% 未設防：本站 2026-08 六都商家普查，n=682，原始資料可回溯
• Cloudflare AI Crawl Control 官方文件——「Available on all plans」