`、``），別全部塞在巢狀 `` 裡，同時加上 Organization、Product、FAQPage、Article 類型的 JSON-LD schema markup。Schema markup 等於給 AI 一張實體關係的地圖，它就不用自己從文章裡猜。完整的結構化做法可以看我們的指南[如何讓網站架構對 AI 友善](/zh-TW/blog/how-to-structure-my-website-for-ai-visibility)。
### 第五步：部署 `llms.txt`
存取和渲染都搞定之後，`llms.txt` 是一個低成本、零風險的加分項，可以直接告訴 AI agent 你最重要的頁面在哪。用 Markdown 格式放在 `yourdomain.com/llms.txt`。Ahrefs 的數據顯示目前約 10% 的網域有部署，所以現在做就能領先大多數網站，就算引用率的直接關聯還在研究階段，先做也不虧。
```
# [Brand Name] - AI Agent Documentation
> [Brand Name] is a leading provider of [Category] for [Target Audience].
## Core Products
- [Product A]: Use case description. [/product-a]
- [Product B]: Use case description. [/product-b]
## Key Comparisons and Use Cases
- [Brand] vs [Competitor]: [/comparisons/competitor]
- Use Cases: [/use-cases]
## Contact
- Pricing: [/pricing]
- Sales: [/contact]
```
另外可以準備一個 `llms-full.txt`，把所有關鍵文件合併成一個機器可讀的檔案，特別適合 context window 有限的 AI agent 使用。
**這個順序很重要：** 如果 CDN 在 AI 爬蟲碰到 `llms.txt` 之前就把它擋了，有 `llms.txt` 也沒用。如果 JavaScript 渲染層讓爬蟲看不到內容，schema 做得再好也白搭。如果 `robots.txt` 把搜尋爬蟲也擋了，以上所有優化都是做白工。順序是：先搞定存取，再搞定渲染，最後才是結構。每一層都要靠前一層先到位。
這些基礎架構工作就是 generative engine optimization 的核心。想看這些信號怎麼組合起來提升 AI 引用能見度，Mersel AI 的 [generative engine optimization](https://www.mersel.ai/generative-engine-optimization) 指南有完整框架。
## 自己做到哪裡會卡住
上面的 `robots.txt` 設定很好複製，難的是後面那些。
**CDN 檢查的深度。** 大多數行銷團隊沒有 Cloudflare WAF 規則的存取權限，也搞不清楚邊緣跑了哪些安全規則。要找出到底是哪條規則悄悄擋了 `PerplexityBot`，通常得找後端工程師看 server log 才能確認 403 到底有沒有在發生。
**渲染架構的改動。** 從前端渲染改成 SSR 不是改一行 `robots.txt` 的事，而是一個開發專案。Sprint backlog 排得滿滿的團隊如果又沒有多餘的工程資源，這件事往往無限期延後，結果整筆內容投資對 AI 爬蟲來說等於不存在。
**User agent 清單的維護。** 活躍的 AI 爬蟲字串會變。Anthropic 悄悄棄用了 `Claude-Web`，也沒大張旗鼓通知。AI 平台擴展搜尋功能時，新的爬蟲會不斷冒出來。維護一份精準的封鎖清單需要持續追蹤，而大多數 SEO 團隊沒有這個機制。
**確認系統真的有在運作。** 要驗證設定是否正確，通常要去 server log 看各爬蟲的 200 vs. 403 回應碼，跟 AI 引用追蹤數據做比對，再到 GA4 監測 AI 導流。沒有建立這個閉環的團隊，通常以為一切正常，其實 AI 爬蟲還是被靜靜地擋在門外。
## 交給專業：完整的 AI 爬蟲優化長什麼樣
Mersel AI 要解決的，是「知道 `robots.txt` 該怎麼設」跟「實際上在正式環境中對 AI 搜尋引擎可見」之間的落差。
基礎架構層部署在你現有的網站後面。`OAI-SearchBot`、`PerplexityBot` 這些 AI 爬蟲收到的是你品牌的乾淨版本——伺服器端渲染、schema 完整。實體定義清清楚楚，產品關係用 JSON-LD 標好，`llms.txt` 設好並持續維護。使用者端看起來完全沒變。不用動到工程排程，原本的 SEO、設計、UX 都不受影響。
誠實地講一個限制：Mersel AI 是全代操服務，不是自助儀表板。如果你需要即時 prompt 監測、自己操作介面，Profound 或 AthenaHQ 這類自助平台可能更適合你。Mersel 是為了那些想要「東西部署好、內容發出去、不用把工程師或內容團隊拖進一個他們沒有時間學的新領域」的團隊做的。
基礎架構之外，Mersel 的內容引擎會盤點你的買家現在正在 ChatGPT 和 Perplexity 裡問的那些問題——漏斗底部的問題，像「Series A SaaS 公司 \[競爭對手\] 的最佳替代方案」。寫好的文章直接進你的 CMS，持續產出，同時接上 Google Search Console 和 GA4 的回饋迴圈。內容會根據實際被引用的表現來調整，不是憑感覺猜。
一家中型 B2B 金融科技客戶（整合型財務 OS，約 20 人公司），在 92 天內把品類聲量佔比從 3.1% 拉到 10.8%，拿到 94 次競爭性金融科技 prompt 的 AI 引用，20% 的 demo 需求跟 AI 搜尋有關。想了解 AI 導流怎麼轉化成業務成果，可以看我們的 [AI 流量分析](/zh-TW/blog/how-to-measure-ai-visibility)指南。
## 常見問題
**擋 GPTBot 會影響 Google 排名嗎？**
不會。Playwire 的發布商分析顯示，擋 `GPTBot` 對 Google 排名沒有影響。`GPTBot` 是 OpenAI 的訓練爬蟲，跟 Googlebot 完全是兩回事。你的 Google 排名由 Googlebot 的爬取和 Google 自己的演算法決定，跟你的 `GPTBot` 設定無關。你可以同時擋 `GPTBot` 和 `Google-Extended`，Google 搜尋完全不受影響。
**不小心擋了 OAI-SearchBot 會怎樣？**
OpenAI 的開發者文件寫得很明白：「選擇退出 OAI-SearchBot 的網站，將不會出現在 ChatGPT 的搜尋答案中。」也就是說，就算 `GPTBot` 之前已經爬過你的內容拿去訓練，你的東西也不會出現在 ChatGPT 即時搜尋結果裡。兩套系統完全獨立。不小心擋掉 `OAI-SearchBot` 是目前最常見、衝擊也最大的 AI 能見度失誤之一。
**怎麼知道 Cloudflare 有沒有幫我擋掉 AI 搜尋爬蟲？**
登入 Cloudflare 後台，到 Security > Bots 或「Control AI Crawlers」區塊，看 AI 爬蟲封鎖功能是不是開著的。然後去 server log 看有沒有回 403 給 `OAI-SearchBot`、`PerplexityBot` 或 `Claude-User`。ziptie.dev 的研究指出約 27% 的 B2B SaaS 和電商網站在不知情的狀況下就在 CDN 層擋了 LLM 爬蟲，所以就算你確定 `robots.txt` 沒問題，這個檢查還是要優先做。
**AI 爬蟲真的會乖乖照 robots.txt 走嗎？**
主要 AI 公司都公開承諾旗下具名爬蟲會遵守 `robots.txt`，OpenAI 和 Anthropic 都有記載在開發者文件裡，也都公開了合法 IP 範圍的 JSON feed 供驗證。但 `robots.txt` 說到底是一套君子協定，惡意爬蟲很常偽造 user agent 直接無視。如果你有真正需要保護的內容，靠 bot 管理平台和 WAF 層的 IP 白名單會比只靠 `robots.txt` 更可靠。
**`llms.txt` 採用率這麼低，現在做值得嗎？**
值得，原因有二。第一，零風險、低成本，一個小時內就能設好。第二，AI agent 和 LLM 搜尋工具越來越多被設計成會去找這個檔案，把它當成進入你網站內容架構的入口。Ahrefs 數據顯示目前只有約 10% 的網域有 `llms.txt`，現在部署就是一個明確的差異化信號。就算跟引用頻率的直接關聯還在研究中，讓 AI 有一份乾淨的內容地圖，絕對沒有壞處。
## 資料來源
1. [Gartner: Search Engine Volume Will Drop 25% by 2026](https://www.gartner.com/en/newsroom/press-releases/2024-02-19-gartner-predicts-search-engine-volume-will-drop-25-percent-by-2026-due-to-ai-chatbots-and-other-virtual-agents)
2. [Stronger Content: Gartner Search Engine Volume Decrease](https://strongercontent.com/gartner-search-engine-volume-to-decrease-by-25-thanks-to-ai/)
3. [Ahrefs: AI Bot Block Rates](https://ahrefs.com/blog/ai-bot-block-rates/)
4. [Superlines: AI Search Statistics](https://www.superlines.io/articles/ai-search-statistics/)
5. [Ziptie.dev: Technical SEO for AI Crawlability](https://ziptie.dev/blog/technical-seo-for-ai-crawlability/)
6. [Playwire: AI Scraping vs. Traditional SEO Crawling](https://www.playwire.com/blog/ai-scraping-vs-traditional-seo-crawling-what-publishers-need-to-know-about-blocking-ai)
7. [Vercel: The Rise of the AI Crawler](https://vercel.com/blog/the-rise-of-the-ai-crawler)
8. [SearchEngineWorld: Tracking OpenAI ChatGPT Bots](https://www.searchengineworld.com/tracking-openai-chatgpt-bots-a-fresh-guide-for-webmasters-site-owners-and-seos)
9. [OpenAI: Developer Documentation on Bots](https://developers.openai.com/api/docs/bots)
10. [Almcorp: Anthropic Claude Bots robots.txt Strategy](https://almcorp.com/blog/anthropic-claude-bots-robots-txt-strategy/)
11. [Lowtouch.ai: Cloudflare AI Data War](https://www.lowtouch.ai/cloudflare-just-fired-the-first-shot-in-the-ai-data-war/)
12. [llmrefs.com: Cloudflare Blocks AI Crawlers](https://llmrefs.com/blog/cloudflare-blocks-ai-crawlers)
13. [Searchviu: AI Crawlers JavaScript Rendering](https://www.searchviu.com/en/ai-crawlers-javascript-rendering/)
14. [Ahrefs: What Is llms.txt?](https://ahrefs.com/blog/what-is-llms-txt/)
15. [llmstxt.org: The llms.txt Standard](https://llmstxt.org/)
## 想看看你的 AI 流量真實狀況？
你的 `robots.txt` 可能設定正確，但網站對 AI 搜尋爬蟲來說還是看不到。CDN 檢查、渲染確認、引用追蹤——大多數團隊是在這些環節才發現真正的問題。
[跟 Mersel AI 團隊聊聊](/zh-TW/contact)，看看哪些 AI 爬蟲有成功到達你的網站、你的買家正在問哪些 prompt，以及什麼東西卡在你的內容和 AI 引用之間。
## 延伸閱讀
* [怎麼把網站內容轉化成 AI 爬蟲讀得懂的格式](/zh-TW/blog/how-to-translate-human-website-content-for-ai-crawlers)
* [做 Generative Engine Optimization 需要改程式碼嗎？](/zh-TW/blog/do-i-need-code-changes-for-generative-engine-optimization)
* [怎麼為 LLM 更新你的知識圖譜](/zh-TW/blog/how-to-update-your-knowledge-graph-for-llms)
```json
{"@context":"https://schema.org","@graph":[{"@type":"BlogPosting","headline":"GPTBot、ClaudeBot 這些 AI 爬蟲，到底該擋還是放行？","description":"教你在 robots.txt 裡正確區分 AI 訓練與搜尋爬蟲：保護內容不被訓練，又能維持 AI 搜尋能見度。","image":{"@type":"ImageObject","url":"https://www.mersel.ai/blog-covers/Software code testing-cuate.svg","width":1200,"height":630},"author":{"@type":"Person","@id":"https://www.mersel.ai/about#joseph-wu","name":"Joseph Wu","jobTitle":"CEO & Founder","url":"https://www.mersel.ai/about","sameAs":"https://www.linkedin.com/in/josephwuu/"},"publisher":{"@id":"https://www.mersel.ai/#organization"},"datePublished":"2026-03-13","dateModified":"2026-03-13","mainEntityOfPage":{"@type":"WebPage","@id":"https://www.mersel.ai/zh-TW/blog/how-to-block-or-allow-ai-bots-on-your-website"},"keywords":"AI 爬蟲, GPTBot, ClaudeBot, robots.txt, GEO, AI crawler, 技術 SEO, generative engine optimization","articleSection":"GEO","inLanguage":"zh-TW"},{"@type":"BreadcrumbList","itemListElement":[{"@type":"ListItem","position":1,"name":"Home","item":"https://www.mersel.ai"},{"@type":"ListItem","position":2,"name":"Blog","item":"https://www.mersel.ai/zh-TW/blog"},{"@type":"ListItem","position":3,"name":"GPTBot、ClaudeBot 這些 AI 爬蟲，到底該擋還是放行？","item":"https://www.mersel.ai/zh-TW/blog/how-to-block-or-allow-ai-bots-on-your-website"}]},{"@type":"FAQPage","mainEntity":[{"@type":"Question","name":"擋 GPTBot 會影響 Google 排名嗎？","acceptedAnswer":{"@type":"Answer","text":"不會。Playwire 的發布商分析顯示，擋 `GPTBot` 對 Google 排名沒有影響。`GPTBot` 是 OpenAI 的訓練爬蟲，跟 Googlebot 完全是兩回事。你的 Google 排名由 Googlebot 的爬取和 Google 自己的演算法決定，跟你的 `GPTBot` 設定無關。你可以同時擋 `GPTBot` 和 `Google-Extended`，Google 搜尋完全不受影響。"}},{"@type":"Question","name":"不小心擋了 OAI-SearchBot 會怎樣？","acceptedAnswer":{"@type":"Answer","text":"OpenAI 的開發者文件寫得很明白：「選擇退出 OAI-SearchBot 的網站，將不會出現在 ChatGPT 的搜尋答案中。」也就是說，就算 `GPTBot` 之前已經爬過你的內容拿去訓練，你的東西也不會出現在 ChatGPT 即時搜尋結果裡。兩套系統完全獨立。不小心擋掉 `OAI-SearchBot` 是目前最常見、衝擊也最大的 AI 能見度失誤之一。"}},{"@type":"Question","name":"怎麼知道 Cloudflare 有沒有幫我擋掉 AI 搜尋爬蟲？","acceptedAnswer":{"@type":"Answer","text":"登入 Cloudflare 後台，到 Security > Bots 或「Control AI Crawlers」區塊，看 AI 爬蟲封鎖功能是不是開著的。然後去 server log 看有沒有回 403 給 `OAI-SearchBot`、`PerplexityBot` 或 `Claude-User`。ziptie.dev 的研究指出約 27% 的 B2B SaaS 和電商網站在不知情的狀況下就在 CDN 層擋了 LLM 爬蟲，所以就算你確定 `robots.txt` 沒問題，這個檢查還是要優先做。"}},{"@type":"Question","name":"AI 爬蟲真的會乖乖照 robots.txt 走嗎？","acceptedAnswer":{"@type":"Answer","text":"主要 AI 公司都公開承諾旗下具名爬蟲會遵守 `robots.txt`，OpenAI 和 Anthropic 都有記載在開發者文件裡，也都公開了合法 IP 範圍的 JSON feed 供驗證。但 `robots.txt` 說到底是一套君子協定，惡意爬蟲很常偽造 user agent 直接無視。如果你有真正需要保護的內容，靠 bot 管理平台和 WAF 層的 IP 白名單會比只靠 `robots.txt` 更可靠。"}},{"@type":"Question","name":"`llms.txt` 採用率這麼低，現在做值得嗎？","acceptedAnswer":{"@type":"Answer","text":"值得，原因有二。第一，零風險、低成本，一個小時內就能設好。第二，AI agent 和 LLM 搜尋工具越來越多被設計成會去找這個檔案，把它當成進入你網站內容架構的入口。Ahrefs 數據顯示目前只有約 10% 的網域有 `llms.txt`，現在部署就是一個明確的差異化信號。就算跟引用頻率的直接關聯還在研究中，讓 AI 有一份乾淨的內容地圖，絕對沒有壞處。"}}]}]}
```
` 裡，同時加上 Organization、Product、FAQPage、Article 類型的 JSON-LD schema markup。Schema markup 等於給 AI 一張實體關係的地圖，它就不用自己從文章裡猜。完整的結構化做法可以看我們的指南[如何讓網站架構對 AI 友善](/zh-TW/blog/how-to-structure-my-website-for-ai-visibility)。
### 第五步：部署 `llms.txt`
存取和渲染都搞定之後，`llms.txt` 是一個低成本、零風險的加分項，可以直接告訴 AI agent 你最重要的頁面在哪。用 Markdown 格式放在 `yourdomain.com/llms.txt`。Ahrefs 的數據顯示目前約 10% 的網域有部署，所以現在做就能領先大多數網站，就算引用率的直接關聯還在研究階段，先做也不虧。
```
# [Brand Name] - AI Agent Documentation
> [Brand Name] is a leading provider of [Category] for [Target Audience].
## Core Products
- [Product A]: Use case description. [/product-a]
- [Product B]: Use case description. [/product-b]
## Key Comparisons and Use Cases
- [Brand] vs [Competitor]: [/comparisons/competitor]
- Use Cases: [/use-cases]
## Contact
- Pricing: [/pricing]
- Sales: [/contact]
```
另外可以準備一個 `llms-full.txt`，把所有關鍵文件合併成一個機器可讀的檔案，特別適合 context window 有限的 AI agent 使用。
**這個順序很重要：** 如果 CDN 在 AI 爬蟲碰到 `llms.txt` 之前就把它擋了，有 `llms.txt` 也沒用。如果 JavaScript 渲染層讓爬蟲看不到內容，schema 做得再好也白搭。如果 `robots.txt` 把搜尋爬蟲也擋了，以上所有優化都是做白工。順序是：先搞定存取，再搞定渲染，最後才是結構。每一層都要靠前一層先到位。
這些基礎架構工作就是 generative engine optimization 的核心。想看這些信號怎麼組合起來提升 AI 引用能見度，Mersel AI 的 [generative engine optimization](https://www.mersel.ai/generative-engine-optimization) 指南有完整框架。
## 自己做到哪裡會卡住
上面的 `robots.txt` 設定很好複製，難的是後面那些。
**CDN 檢查的深度。** 大多數行銷團隊沒有 Cloudflare WAF 規則的存取權限，也搞不清楚邊緣跑了哪些安全規則。要找出到底是哪條規則悄悄擋了 `PerplexityBot`，通常得找後端工程師看 server log 才能確認 403 到底有沒有在發生。
**渲染架構的改動。** 從前端渲染改成 SSR 不是改一行 `robots.txt` 的事，而是一個開發專案。Sprint backlog 排得滿滿的團隊如果又沒有多餘的工程資源，這件事往往無限期延後，結果整筆內容投資對 AI 爬蟲來說等於不存在。
**User agent 清單的維護。** 活躍的 AI 爬蟲字串會變。Anthropic 悄悄棄用了 `Claude-Web`，也沒大張旗鼓通知。AI 平台擴展搜尋功能時，新的爬蟲會不斷冒出來。維護一份精準的封鎖清單需要持續追蹤，而大多數 SEO 團隊沒有這個機制。
**確認系統真的有在運作。** 要驗證設定是否正確，通常要去 server log 看各爬蟲的 200 vs. 403 回應碼，跟 AI 引用追蹤數據做比對，再到 GA4 監測 AI 導流。沒有建立這個閉環的團隊，通常以為一切正常，其實 AI 爬蟲還是被靜靜地擋在門外。
## 交給專業：完整的 AI 爬蟲優化長什麼樣
Mersel AI 要解決的，是「知道 `robots.txt` 該怎麼設」跟「實際上在正式環境中對 AI 搜尋引擎可見」之間的落差。
基礎架構層部署在你現有的網站後面。`OAI-SearchBot`、`PerplexityBot` 這些 AI 爬蟲收到的是你品牌的乾淨版本——伺服器端渲染、schema 完整。實體定義清清楚楚，產品關係用 JSON-LD 標好，`llms.txt` 設好並持續維護。使用者端看起來完全沒變。不用動到工程排程，原本的 SEO、設計、UX 都不受影響。
誠實地講一個限制：Mersel AI 是全代操服務，不是自助儀表板。如果你需要即時 prompt 監測、自己操作介面，Profound 或 AthenaHQ 這類自助平台可能更適合你。Mersel 是為了那些想要「東西部署好、內容發出去、不用把工程師或內容團隊拖進一個他們沒有時間學的新領域」的團隊做的。
基礎架構之外，Mersel 的內容引擎會盤點你的買家現在正在 ChatGPT 和 Perplexity 裡問的那些問題——漏斗底部的問題，像「Series A SaaS 公司 \[競爭對手\] 的最佳替代方案」。寫好的文章直接進你的 CMS，持續產出，同時接上 Google Search Console 和 GA4 的回饋迴圈。內容會根據實際被引用的表現來調整，不是憑感覺猜。
一家中型 B2B 金融科技客戶（整合型財務 OS，約 20 人公司），在 92 天內把品類聲量佔比從 3.1% 拉到 10.8%，拿到 94 次競爭性金融科技 prompt 的 AI 引用，20% 的 demo 需求跟 AI 搜尋有關。想了解 AI 導流怎麼轉化成業務成果，可以看我們的 [AI 流量分析](/zh-TW/blog/how-to-measure-ai-visibility)指南。
## 常見問題
**擋 GPTBot 會影響 Google 排名嗎？**
不會。Playwire 的發布商分析顯示，擋 `GPTBot` 對 Google 排名沒有影響。`GPTBot` 是 OpenAI 的訓練爬蟲，跟 Googlebot 完全是兩回事。你的 Google 排名由 Googlebot 的爬取和 Google 自己的演算法決定，跟你的 `GPTBot` 設定無關。你可以同時擋 `GPTBot` 和 `Google-Extended`，Google 搜尋完全不受影響。
**不小心擋了 OAI-SearchBot 會怎樣？**
OpenAI 的開發者文件寫得很明白：「選擇退出 OAI-SearchBot 的網站，將不會出現在 ChatGPT 的搜尋答案中。」也就是說，就算 `GPTBot` 之前已經爬過你的內容拿去訓練，你的東西也不會出現在 ChatGPT 即時搜尋結果裡。兩套系統完全獨立。不小心擋掉 `OAI-SearchBot` 是目前最常見、衝擊也最大的 AI 能見度失誤之一。
**怎麼知道 Cloudflare 有沒有幫我擋掉 AI 搜尋爬蟲？**
登入 Cloudflare 後台，到 Security > Bots 或「Control AI Crawlers」區塊，看 AI 爬蟲封鎖功能是不是開著的。然後去 server log 看有沒有回 403 給 `OAI-SearchBot`、`PerplexityBot` 或 `Claude-User`。ziptie.dev 的研究指出約 27% 的 B2B SaaS 和電商網站在不知情的狀況下就在 CDN 層擋了 LLM 爬蟲，所以就算你確定 `robots.txt` 沒問題，這個檢查還是要優先做。
**AI 爬蟲真的會乖乖照 robots.txt 走嗎？**
主要 AI 公司都公開承諾旗下具名爬蟲會遵守 `robots.txt`，OpenAI 和 Anthropic 都有記載在開發者文件裡，也都公開了合法 IP 範圍的 JSON feed 供驗證。但 `robots.txt` 說到底是一套君子協定，惡意爬蟲很常偽造 user agent 直接無視。如果你有真正需要保護的內容，靠 bot 管理平台和 WAF 層的 IP 白名單會比只靠 `robots.txt` 更可靠。
**`llms.txt` 採用率這麼低，現在做值得嗎？**
值得，原因有二。第一，零風險、低成本，一個小時內就能設好。第二，AI agent 和 LLM 搜尋工具越來越多被設計成會去找這個檔案，把它當成進入你網站內容架構的入口。Ahrefs 數據顯示目前只有約 10% 的網域有 `llms.txt`，現在部署就是一個明確的差異化信號。就算跟引用頻率的直接關聯還在研究中，讓 AI 有一份乾淨的內容地圖，絕對沒有壞處。
## 資料來源
1. [Gartner: Search Engine Volume Will Drop 25% by 2026](https://www.gartner.com/en/newsroom/press-releases/2024-02-19-gartner-predicts-search-engine-volume-will-drop-25-percent-by-2026-due-to-ai-chatbots-and-other-virtual-agents)
2. [Stronger Content: Gartner Search Engine Volume Decrease](https://strongercontent.com/gartner-search-engine-volume-to-decrease-by-25-thanks-to-ai/)
3. [Ahrefs: AI Bot Block Rates](https://ahrefs.com/blog/ai-bot-block-rates/)
4. [Superlines: AI Search Statistics](https://www.superlines.io/articles/ai-search-statistics/)
5. [Ziptie.dev: Technical SEO for AI Crawlability](https://ziptie.dev/blog/technical-seo-for-ai-crawlability/)
6. [Playwire: AI Scraping vs. Traditional SEO Crawling](https://www.playwire.com/blog/ai-scraping-vs-traditional-seo-crawling-what-publishers-need-to-know-about-blocking-ai)
7. [Vercel: The Rise of the AI Crawler](https://vercel.com/blog/the-rise-of-the-ai-crawler)
8. [SearchEngineWorld: Tracking OpenAI ChatGPT Bots](https://www.searchengineworld.com/tracking-openai-chatgpt-bots-a-fresh-guide-for-webmasters-site-owners-and-seos)
9. [OpenAI: Developer Documentation on Bots](https://developers.openai.com/api/docs/bots)
10. [Almcorp: Anthropic Claude Bots robots.txt Strategy](https://almcorp.com/blog/anthropic-claude-bots-robots-txt-strategy/)
11. [Lowtouch.ai: Cloudflare AI Data War](https://www.lowtouch.ai/cloudflare-just-fired-the-first-shot-in-the-ai-data-war/)
12. [llmrefs.com: Cloudflare Blocks AI Crawlers](https://llmrefs.com/blog/cloudflare-blocks-ai-crawlers)
13. [Searchviu: AI Crawlers JavaScript Rendering](https://www.searchviu.com/en/ai-crawlers-javascript-rendering/)
14. [Ahrefs: What Is llms.txt?](https://ahrefs.com/blog/what-is-llms-txt/)
15. [llmstxt.org: The llms.txt Standard](https://llmstxt.org/)
## 想看看你的 AI 流量真實狀況？
你的 `robots.txt` 可能設定正確，但網站對 AI 搜尋爬蟲來說還是看不到。CDN 檢查、渲染確認、引用追蹤——大多數團隊是在這些環節才發現真正的問題。
[跟 Mersel AI 團隊聊聊](/zh-TW/contact)，看看哪些 AI 爬蟲有成功到達你的網站、你的買家正在問哪些 prompt，以及什麼東西卡在你的內容和 AI 引用之間。
## 延伸閱讀
* [怎麼把網站內容轉化成 AI 爬蟲讀得懂的格式](/zh-TW/blog/how-to-translate-human-website-content-for-ai-crawlers)
* [做 Generative Engine Optimization 需要改程式碼嗎？](/zh-TW/blog/do-i-need-code-changes-for-generative-engine-optimization)
* [怎麼為 LLM 更新你的知識圖譜](/zh-TW/blog/how-to-update-your-knowledge-graph-for-llms)
```json
{"@context":"https://schema.org","@graph":[{"@type":"BlogPosting","headline":"GPTBot、ClaudeBot 這些 AI 爬蟲，到底該擋還是放行？","description":"教你在 robots.txt 裡正確區分 AI 訓練與搜尋爬蟲：保護內容不被訓練，又能維持 AI 搜尋能見度。","image":{"@type":"ImageObject","url":"https://www.mersel.ai/blog-covers/Software code testing-cuate.svg","width":1200,"height":630},"author":{"@type":"Person","@id":"https://www.mersel.ai/about#joseph-wu","name":"Joseph Wu","jobTitle":"CEO & Founder","url":"https://www.mersel.ai/about","sameAs":"https://www.linkedin.com/in/josephwuu/"},"publisher":{"@id":"https://www.mersel.ai/#organization"},"datePublished":"2026-03-13","dateModified":"2026-03-13","mainEntityOfPage":{"@type":"WebPage","@id":"https://www.mersel.ai/zh-TW/blog/how-to-block-or-allow-ai-bots-on-your-website"},"keywords":"AI 爬蟲, GPTBot, ClaudeBot, robots.txt, GEO, AI crawler, 技術 SEO, generative engine optimization","articleSection":"GEO","inLanguage":"zh-TW"},{"@type":"BreadcrumbList","itemListElement":[{"@type":"ListItem","position":1,"name":"Home","item":"https://www.mersel.ai"},{"@type":"ListItem","position":2,"name":"Blog","item":"https://www.mersel.ai/zh-TW/blog"},{"@type":"ListItem","position":3,"name":"GPTBot、ClaudeBot 這些 AI 爬蟲，到底該擋還是放行？","item":"https://www.mersel.ai/zh-TW/blog/how-to-block-or-allow-ai-bots-on-your-website"}]},{"@type":"FAQPage","mainEntity":[{"@type":"Question","name":"擋 GPTBot 會影響 Google 排名嗎？","acceptedAnswer":{"@type":"Answer","text":"不會。Playwire 的發布商分析顯示，擋 `GPTBot` 對 Google 排名沒有影響。`GPTBot` 是 OpenAI 的訓練爬蟲，跟 Googlebot 完全是兩回事。你的 Google 排名由 Googlebot 的爬取和 Google 自己的演算法決定，跟你的 `GPTBot` 設定無關。你可以同時擋 `GPTBot` 和 `Google-Extended`，Google 搜尋完全不受影響。"}},{"@type":"Question","name":"不小心擋了 OAI-SearchBot 會怎樣？","acceptedAnswer":{"@type":"Answer","text":"OpenAI 的開發者文件寫得很明白：「選擇退出 OAI-SearchBot 的網站，將不會出現在 ChatGPT 的搜尋答案中。」也就是說，就算 `GPTBot` 之前已經爬過你的內容拿去訓練，你的東西也不會出現在 ChatGPT 即時搜尋結果裡。兩套系統完全獨立。不小心擋掉 `OAI-SearchBot` 是目前最常見、衝擊也最大的 AI 能見度失誤之一。"}},{"@type":"Question","name":"怎麼知道 Cloudflare 有沒有幫我擋掉 AI 搜尋爬蟲？","acceptedAnswer":{"@type":"Answer","text":"登入 Cloudflare 後台，到 Security > Bots 或「Control AI Crawlers」區塊，看 AI 爬蟲封鎖功能是不是開著的。然後去 server log 看有沒有回 403 給 `OAI-SearchBot`、`PerplexityBot` 或 `Claude-User`。ziptie.dev 的研究指出約 27% 的 B2B SaaS 和電商網站在不知情的狀況下就在 CDN 層擋了 LLM 爬蟲，所以就算你確定 `robots.txt` 沒問題，這個檢查還是要優先做。"}},{"@type":"Question","name":"AI 爬蟲真的會乖乖照 robots.txt 走嗎？","acceptedAnswer":{"@type":"Answer","text":"主要 AI 公司都公開承諾旗下具名爬蟲會遵守 `robots.txt`，OpenAI 和 Anthropic 都有記載在開發者文件裡，也都公開了合法 IP 範圍的 JSON feed 供驗證。但 `robots.txt` 說到底是一套君子協定，惡意爬蟲很常偽造 user agent 直接無視。如果你有真正需要保護的內容，靠 bot 管理平台和 WAF 層的 IP 白名單會比只靠 `robots.txt` 更可靠。"}},{"@type":"Question","name":"`llms.txt` 採用率這麼低，現在做值得嗎？","acceptedAnswer":{"@type":"Answer","text":"值得，原因有二。第一，零風險、低成本，一個小時內就能設好。第二，AI agent 和 LLM 搜尋工具越來越多被設計成會去找這個檔案，把它當成進入你網站內容架構的入口。Ahrefs 數據顯示目前只有約 10% 的網域有 `llms.txt`，現在部署就是一個明確的差異化信號。就算跟引用頻率的直接關聯還在研究中，讓 AI 有一份乾淨的內容地圖，絕對沒有壞處。"}}]}]}
```