網站 SEO 自檢 7 點：從 robots、noindex 到 sitemap 與 canonical

Google 搜不到網站，不一定是文章寫得不夠多。

如果重要頁回傳錯誤、誤設 noindex、沒有內部連結，繼續產文只是把內容堆在搜尋引擎進不去的房間。

1. HTTP 狀態與 HTTPS 轉址

先確認主要頁面最終回傳 200，HTTP、www 與非 www 版本是否一致轉到正式 HTTPS 網址。

curl -sIL https://example.com

注意 4xx、5xx、轉址迴圈與過長鏈條。搬家後也要檢查舊網址是否逐頁 301 到最接近的新頁，而不是全部丟回首頁。

2. robots.txt 與 noindex

robots.txt 管的是爬取，不是可靠的移除索引工具。Google 官方也提醒，被 robots.txt 擋住的網址仍可能只靠外部連結被索引。

檢查：

• /robots.txt 是否可讀
• 是否誤擋商品、文章或 CSS／JS
• HTML 是否有 <meta name="robots" content="noindex">
• HTTP header 是否有 X-Robots-Tag: noindex

測試站上線後忘了移除 noindex，是最致命也最容易忽略的錯誤之一。

3. Sitemap 是否只放正式網址

Sitemap 應包含希望出現在搜尋結果的 canonical URL。檢查是否混入：

• 404 或轉址網址
• 測試站與舊網域
• noindex 頁
• 重複參數頁
• 不該公開的帳號與結帳頁

Google 建議使用完整絕對網址，並可在 Search Console 提交與查看處理結果。

4. Title、H1 與 Description

每個重要頁都要有清楚、獨特的 <title> 與主要標題。Google 產生搜尋標題時可能參考 title、頁面大標、H1、og:title 與連入頁面的文字，因此這些訊號不要互相打架。

Meta description 不保證原樣顯示，但應用一兩句說清楚頁面提供什麼，避免全站共用。

5. Canonical 是否一致

Canonical 用來表達相同或高度相似頁面的偏好版本。檢查：

• 指向可開啟的 200 頁
• 使用正式 HTTPS 網域
• sitemap、內部連結與 canonical 指向同一版本
• 不把不同商品或文章錯指成同一頁

Google 將 redirect 與 rel="canonical" 視為較強訊號，sitemap 則是較弱訊號；多種方式應保持一致。

6. 重要頁是否有可爬取的內部連結

Google 通常透過帶 href 的 <a> 連結發現頁面。只有 JavaScript 點擊事件、首頁搜尋框或 sitemap，仍可能讓頁面難以被使用者與搜尋引擎理解。

每個重要頁至少要從分類、導覽、相關文章或內容頁被連到，連結文字也要具體，不要全部寫「點這裡」。

7. 結構化資料與可見內容是否一致

依頁面類型使用 Article、Product、Breadcrumb、LocalBusiness 等結構化資料。標記內容必須與頁面實際可見資訊一致，價格、庫存與評價尤其不能過期。

完成後用 Rich Results Test 與 URL Inspection 檢查，但通過測試不代表一定顯示 rich result。

30 分鐘自檢順序

1. 開首頁與三個最重要的成交頁。
2. 查 HTTP 狀態、noindex 與 canonical。
3. 開 robots.txt、sitemap。
4. 比對 title、H1 與內容。
5. 從首頁實際點到重要頁。
6. 用 Search Console URL Inspection 查看 Google 版本。
7. 記錄問題、影響頁面與優先級。

常見問題

Q：有 sitemap 就一定會被收錄嗎？

A: 不會。Sitemap 幫助發現網址，但 Google 仍會依頁面狀態、內容與其他訊號決定是否索引。

Q：robots.txt 擋住就會從 Google 消失嗎？

A: 不一定。若要阻止索引，應使用適當的 noindex 並讓爬蟲能讀到；敏感內容則要用登入與權限保護。

Q：每頁只能有一個 H1 嗎？

A: HTML 可以存在多個 H1，但對多數商業頁面而言，一個清楚主要標題最容易維護與理解。重點是資訊階層一致。

下一步

先修會阻斷抓取、索引與正式網址判斷的問題，再談內容擴張。也可使用免費網站健檢做初步掃描。

參考來源

• Google：Crawling and indexing
• Google：Canonical URL
• Google：Link best practices
• Google：Sitemap