ChatGPT/Perplexity 找得到你的網站嗎?AI 能見度健檢完整指南
允許 AI crawler 不等於一定被引用。這篇整理 OAI-SearchBot、GPTBot、PerplexityBot 與 Google AI features 的差異,並提供 robots.txt、CDN、文字內容、內部連結、結構化資料與流量追蹤檢查表。

你問 ChatGPT 或 Perplexity「推薦附近的寵物旅館」,它沒有提到你的品牌,不一定代表內容不夠好。
第一步要先確認:搜尋爬蟲看得到網站嗎?
先分清楚不同 crawler 的用途
| User agent | 主要用途 |
|---|---|
| OAI-SearchBot | 讓網站出現在 ChatGPT Search 搜尋結果 |
| GPTBot | 可能用於改進與訓練生成式 AI 模型 |
| ChatGPT-User | 使用者要求 ChatGPT 開啟頁面時的請求 |
| PerplexityBot | Perplexity 搜尋索引與結果 |
| Googlebot | Google Search,包括其 AI 搜尋功能 |
OpenAI 官方說明,OAI-SearchBot 與 GPTBot 的控制彼此獨立。網站可以允許搜尋爬蟲,同時拒絕訓練爬蟲。
第一步:檢查 robots.txt
例如要允許 ChatGPT Search、拒絕 GPTBot:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
Perplexity 官方建議,想出現在搜尋結果時允許 PerplexityBot。但 robots.txt 只控制遵守該協定的自動爬蟲,不是存取控制;私人內容仍應使用登入與權限。
第二步:確認 CDN 與 WAF 沒有擋掉
robots.txt 寫 Allow,不代表請求一定進得來。檢查:
- CDN Bot Management 是否封鎖 AI crawler
- Rate limit 是否過嚴
- 伺服器 log 是否有 403、429
- User agent 與來源 IP 是否符合官方公布範圍
- JavaScript challenge 是否讓 crawler 無法取內容
安全上不要只信 User-Agent,因為可以偽造;需要時搭配官方 IP 範圍驗證。
第三步:重要內容要以文字形式存在
只有圖片上的字、Canvas、登入後內容或純互動元件,不容易被可靠理解。
產品、服務與品牌頁至少應清楚寫出:
- 你是誰、服務誰
- 服務地區與條件
- 價格或費用如何形成
- 專業資格與作者
- 常見問題與限制
- 更新日期與來源
不要為 AI 另外堆一頁隱藏文字。可讀內容應同時對人有用。
第四步:做好傳統 SEO 基礎
Google 官方明確表示,AI Overviews 與 AI Mode 沒有特殊的額外 SEO 要求,也不需要建立特殊 AI 文字檔或 Schema。頁面仍需可索引、可顯示 snippet,並遵守一般 SEO 基礎。
檢查:
- robots 與 noindex
- sitemap、canonical
- 清楚 title、H1 與段落
- 可爬取的內部連結
- 結構化資料與可見內容一致
- Merchant Center、Business Profile 資訊最新
可搭配網站 SEO 自檢 7 點。
第五步:讓內容容易被引用,而不是只容易被抓
可引用內容通常具備:
- 一開始就回答問題
- 表格、步驟與定義清楚
- 說明資料日期與適用範圍
- 有第一手案例、方法與限制
- 引用原始來源
- 作者與品牌實體一致
這些做法不保證被引用,但能降低系統理解與核對資訊的成本。
第六步:實際測試與追蹤
用 10–20 個真實問題建立基線,例如:
- 品牌名稱+服務
- 地區+服務類型
- 產品類別+使用情境
- 你的獨特方法或案例
每月在相同條件重測,記錄是否出現、引用哪個頁面、資訊是否正確。OpenAI 也說明,可用分析工具追蹤來自 ChatGPT 的 referral traffic;但不同平台的報表能力不同,不要把單次人工問答當完整排名資料。
常見問題
Q:要允許 GPTBot 才能出現在 ChatGPT Search 嗎?
A: 不需要。OpenAI 將搜尋用 OAI-SearchBot 與訓練用 GPTBot 分開控制;想管理搜尋曝光應檢查 OAI-SearchBot。
Q:需要建立 llms.txt 嗎?
A: 目前 Google 官方說明不需要額外 AI 文字檔即可出現在其 AI 搜尋功能。其他平台也沒有保證採用 llms.txt;可做實驗,但不能取代 robots、索引與內容品質。
Q:允許 crawler 後多久會出現?
A: 沒有保證。OpenAI 表示 robots 更新約需時間調整,但實際發現、索引與引用仍取決於系統與內容。
Q:AI 回答品牌資料錯誤,可以直接改嗎?
A: 先修正官網、商家檔案、結構化資料與主要第三方來源,讓公開事實一致,再依平台提供的回報機制處理。
下一步
先檢查 robots.txt、CDN log 與三個核心品牌頁,再建立固定問題清單每月重測。也可使用免費網站健檢檢查 AI crawler 政策。
參考來源
想知道你的網站到底漏在哪?
速度、SEO、安全、收信、AI 能見度 —— 3 分鐘免費健檢,把看不見的問題變成看得見的數字。