--- title: GPTBot、ClaudeBot 這些 AI 爬蟲，到底該擋還是放行？ | Mersel AI site: Mersel AI site_url: https://mersel.ai description: 學習如何在 robots.txt 中正確區分 AI 訓練爬蟲與搜尋爬蟲，保護內容不被模型訓練，同時確保品牌在 ChatGPT 與 Perplexity 等 AI 搜尋引擎中的能見度。 page_type: blog url: https://mersel.ai/zh-TW/blog/how-to-block-or-allow-ai-bots-on-your-website canonical_url: https://mersel.ai/zh-TW/blog/how-to-block-or-allow-ai-bots-on-your-website language: zh-TW author: Mersel AI breadcrumb: Home > Blog > How to Block or Allow AI Bots date_modified: 2024-05-22 --- > 區分 AI 訓練與搜尋爬蟲至關重要，因為 AI 搜尋導流的轉換率比一般自然搜尋高出 4.4 倍，且 Gartner 預測傳統搜尋量將在 2026 年下降 25%。目前約 27% 的 B2B SaaS 網站因 CDN 設定錯誤而意外阻擋 AI 爬蟲，且 69% 的 AI 爬蟲無法執行 JavaScript，導致網站內容對 AI 隱形。透過正確的 GEO 策略，品牌能在 92 天內將聲量佔比從 3.1% 提升至 10.8%，且封鎖 GPTBot 對 Google 排名影響為 0%。 [Cite - 內容引擎](/zh-TW/cite) | [AI 能見度分析](/zh-TW/platform/visibility-analytics) | [AI 代理優化頁面](/zh-TW/platform/ai-optimized-pages) [首頁](/zh-TW) > [專欄](/zh-TW/blog) # GPTBot、ClaudeBot 這些 AI 爬蟲，到底該擋還是放行？ **企業應採取「擋訓練爬蟲、放行搜尋爬蟲」的精確策略，以防止品牌在 ChatGPT 與 Perplexity 搜尋結果中消失，同時避免內容被無償用於模型訓練。** 如果將所有 AI 爬蟲一律封鎖，品牌將失去在 AI 搜尋引擎中的能見度；但若完全放行，則會導致獨家內容在沒有署名、連結或流量回饋的情況下，被模型直接吸收。 | 監測指標 | 狀態與數據 | | :--- | :--- | | 今日 AI 造訪 | 3 AI visits today | | 爬蟲優化狀態 | GPTBotOptimized, ClaudeBotOptimized, PerplexityBotOptimized | | 原始環境 | Chrome 122Original | | 價格資訊 | [/pricing](/pricing) | 自 2023 年 8 月以來，活躍的 AI 爬蟲數量已翻倍成長。目前保護全球約 20% 網站的 Cloudflare，已在 2024 年針對新網域預設封鎖 AI 爬蟲。許多技術 SEO 團隊雖然正確設定了 `robots.txt`，卻忽略了 CDN 層的自動攔截，導致品牌在買家使用 AI 篩選供應商名單時意外「被消失」。 本指南提供以下核心內容： * **即刻可用的 `robots.txt` 設定範本**：精確區分訓練與搜尋爬蟲。 * **技術檢查流程**：涵蓋 CDN 設定與伺服器端渲染架構。 * **llms.txt 應用時機**：說明何時該使用此檔案讓 AI 更容易讀懂內容。 **文章資訊** * **作者**：Mersel AI Team * **發佈日期**：2026年3月13日 * **閱讀時間**：11 分鐘 [+ 預約通話] ## 重點摘要 | 關鍵維度 | 核心數據與研究來源 | 策略建議與事實 | | :--- | :--- | :--- | | **爬蟲功能區分** | OpenAI 區分 GPTBot (訓練) 與 OAI-SearchBot (搜尋) | 兩者為獨立機器人，阻擋負責訓練模型的 GPTBot 不會影響搜尋爬蟲運作。 | | **CDN 阻擋現況** | 27% 的 B2B SaaS 與電商網站誤擋 LLM 爬蟲 (ziptie.dev) | 許多企業在不知情的情況下，已於 CDN 層級封鎖了主要的 AI 流量來源。 | | **JavaScript 渲染** | 69% 的 AI 爬蟲無法執行 JavaScript (Vercel & MERJ) | 前端渲染網站若未經優化，對 AI 爬蟲而言僅顯示空白，與 robots.txt 設定無關。 | | **搜尋排名影響** | 阻擋 GPTBot 對 Google 排名無影響 (Playwire) | 封鎖 OAI-SearchBot 會導致品牌從 ChatGPT 搜尋結果中徹底消失。 | | **轉換價值** | AI 搜尋導流轉換率為自然搜尋的 4.4 倍 (Superlines) | AI 搜尋結果是具備極高商業價值的高轉化業務管道，應優先維持能見度。 | | **llms.txt 部署** | 目前約 10% 的網域已部署 llms.txt (Ahrefs) | llms.txt 具備零風險且易設定的特性，能協助 AI agent 精準定位網站關鍵頁面。 | AI 搜尋導流的轉換率是一般自然搜尋的 4.4 倍，這使 AI 搜尋結果成為高價值的業務管道。根據 Superlines 數據，企業應嚴格區分訓練與搜尋爬蟲，因為阻擋負責訓練模型的 GPTBot 並不會影響 Google 排名，但若封鎖 OAI-SearchBot，品牌將從 ChatGPT 搜尋結果中徹底消失。 目前約 27% 的 B2B SaaS 與電商網站在 CDN 層級誤擋了主要 LLM 爬蟲。此外，Vercel 與 MERJ 研究指出 69% 的 AI 爬蟲無法執行 JavaScript，這意味著依賴前端渲染的網站若未進行技術優化，無論 robots.txt 如何設定，AI 爬蟲看到的內容皆為一片空白。根據 Ahrefs 數據，目前僅 10% 網域部署了 llms.txt，這項零風險設定能有效引導 AI agent 抓取核心頁面。 ## 這個問題為什麼越來越嚴重 **生成式 AI 正在大量吸收資訊類搜尋需求，導致 Gartner 預測傳統搜尋引擎流量到 2026 年將下降 25%。** 目前數據顯示 60% 的 Google 搜尋以零點擊收場，且 Google AI Overview 的出現使自然搜尋點擊率最多下降 61%。 | 搜尋市場指標 | 數據影響與預測 | | :--- | :--- | | 2026 年傳統搜尋引擎搜尋量 | 預計下降 25% | | Google 零點擊搜尋 (Zero-click) 比例 | 60% | | Google AI Overview 對自然搜尋點擊率影響 | 最高下降 61% | 從 AI 答案點進來的訪客品質明顯更高，因為他們已閱讀 AI 摘要並比較過替代方案，帶著明確意圖訪問。若 AI 搜尋爬蟲無法讀取內容，網站將無法捕捉這些高品質流量。目前企業面臨的三大核心問題如下： * **問題一：把所有 AI 爬蟲混為一談。** 品牌常對所有名稱包含「AI」或「Bot」的 user agent 設置 `Disallow: /`。這會導致 `OAI-SearchBot` 被連帶誤擋，使品牌直接從 ChatGPT 的即時搜尋結果中消失。 * **問題二：CDN 在爬蟲讀到 `robots.txt` 之前就把它擋了。** Cloudflare 的 AI 封鎖功能在邊緣層級生效並直接回傳 403 Forbidden。這導致請求無法到達伺服器，即便 `robots.txt` 設定再完美也無法發揮作用。 * **問題三：網站本身對 AI 爬蟲來說是空白的。** Googlebot 擁有 Chromium 引擎可執行 JavaScript，但多數 AI 爬蟲不具備此功能。React 或 Vue 的 SPA 網頁對爬蟲而言僅是空的 ``。欲了解 AI 爬蟲如何發現與讀取網頁，請見[什麼是 AI 爬蟲，以及它怎麼運作](/zh-TW/blog/what-is-an-ai-bot-crawler)。 ## 核心觀念：訓練爬蟲 vs. 搜尋爬蟲 **區分訓練爬蟲與搜尋爬蟲是確保 AI 能見度的核心關鍵，因為多數主要 AI 公司皆運行兩組功能完全不同的爬蟲系統。** 誤判這兩者會導致網站內容被吸收卻無法獲得流量回饋。訓練爬蟲將內容吸入模型參數且不提供署名，而搜尋爬蟲則即時抓取內容、在回答中引用來源並帶來流量。 | 爬蟲類型 | 代表性 User Agent | 對智慧財產 (IP) 的影響 | 對流量與能見度的影響 | | :--- | :--- | :--- | :--- | | **訓練爬蟲 (Training Bots)** | GPTBot, ClaudeBot, Google-Extended | 將內容吸入模型參數，不提供署名或連結 | 封鎖此類爬蟲不影響 AI 搜尋能見度 | | **搜尋爬蟲 (Search Bots)** | OAI-SearchBot, PerplexityBot, Claude-SearchBot | 即時抓取內容並在回答中引用網站來源 | 允許此類爬蟲可帶來高轉化的 AI 驅動流量 | OpenAI 官方文件明確指出，`OAI-SearchBot` 專用於 ChatGPT 搜尋功能，選擇退出將導致網站無法出現在搜尋答案中。與此同時，`GPTBot` 僅用於訓練內容抓取，其封鎖狀態與搜尋能見度完全獨立。xseek.io 的技術文件強調，網站管理員應透過獨立系統設定，在封鎖 `GPTBot` 保護智慧財產的同時，放行 `OAI-SearchBot` 以維持在 ChatGPT 搜尋結果中的能見度。 ### 第一步：在 `robots.txt` 裡做選擇性放行 **在網域根目錄（`https://yourdomain.com/robots.txt`）配置明確的爬蟲指令是建立 AI 友善基礎的首要任務。** OpenAI 系統在更改設定後約需 24 小時更新搜尋行為。針對 Anthropic，應停止使用已棄用的 `Claude-Web` 與 `anthropic-ai` 字串，改用有效的 `ClaudeBot` 進行管理。 ``` # -------------------------------------------------------- # 1. ALLOW AI Search & Retrieval (For GEO / Visibility) # -------------------------------------------------------- # OpenAI Search and User-Triggered Fetches User-agent: OAI-SearchBot Allow: / User-agent: ChatGPT-User Allow: / # Anthropic Real-Time Fetches User-agent: Claude-User Allow: / User-agent: Claude-SearchBot Allow: / # Perplexity AI Search User-agent: PerplexityBot Allow: / # You.com Search User-agent: YouBot Allow: / # -------------------------------------------------------- # 2. BLOCK AI Bulk Training Data Crawlers (IP Protection) # -------------------------------------------------------- # OpenAI Training User-agent: GPTBot Disallow: / # Anthropic Training User-agent: ClaudeBot Disallow: / # Google Generative AI Training (Does not impact Googlebot) User-agent: Google-Extended Disallow: / # Common Crawl (Used by many open-source LLMs) User-agent: CCBot Disallow: / # Meta/Facebook Training User-agent: Meta-ExternalAgent Disallow: / User-agent: FacebookBot Disallow: / # ByteDance/TikTok User-agent: Bytespider Disallow: / # -------------------------------------------------------- # 3. Standard Search Engines (Unchanged) # -------------------------------------------------------- User-agent: * Allow: / ``` ### 第二步：檢查 CDN 有沒有偷偷幫你擋 **CDN 層級的誤擋是造成網站意外在 AI 搜尋中隱形的主要原因，必須手動確認安全規則。** ziptie.dev 研究指出，約 27% 的 B2B SaaS 與電商網站在 CDN 層級誤擋了 LLM 爬蟲。使用 Cloudflare 的用戶應檢查 Security > Bots 區塊，確保允許搜尋爬蟲通過，並關閉「Manage your robots.txt」功能以避免覆蓋自定義設定。 ### 第三步：用 IP 範圍驗證爬蟲身份 **透過官方 IP 位址範圍驗證爬蟲身份，可有效防止惡意爬蟲偽造 User Agent 進行未授權抓取。** OpenAI 與 Anthropic 提供公開的 IP 位址 JSON feed（如 `openai.com/gptbot.json` 與 `openai.com/searchbot.json`）。將這些 feed 整合至 WAF 設定或 Bot 管理平台，可精準放行真實的 AI 搜尋爬蟲並阻擋假冒請求。 ### 第四步：解決 JavaScript 渲染問題 **採用伺服器端渲染 (SSR) 是確保 AI 爬蟲能讀取內容的必要手段，因為高達 69% 的 AI 爬蟲無法執行 JavaScript。** Vercel 與 MERJ 的研究顯示，若網站僅靠前端渲染，AI 爬蟲將只能讀取到空的 HTML。建議使用 Next.js 或 Nuxt 框架，並搭配語意化 HTML 結構（`
`, `
`）與 JSON-LD schema markup（如 Organization, Product, FAQPage, Article）。完整做法請參考：[如何讓網站架構對 AI 友善](/zh-TW/blog/how-to-structure-my-website-for-ai-visibility)。 ### 第五步：部署 `llms.txt` **部署 `llms.txt` 檔案能以低成本方式直接引導 AI Agent 存取網站核心資訊。** Ahrefs 數據顯示目前僅約 10% 的網域部署此檔案，先行導入可取得競爭優勢。將 Markdown 格式的檔案置於 `yourdomain.com/llms.txt`，可明確告知 AI 代理人最重要的頁面位置。 ``` # [Brand Name] - AI Agent Documentation > [Brand Name] is a leading provider of [Category] for [Target Audience]. ``` ## Core Products - [Product A]: Use case description. [/product-a] - [Product B]: Use case description. [/product-b] ## Key Comparisons and Use Cases - [Brand] vs [Competitor]: [/comparisons/competitor] - Use Cases: [/use-cases] ## Contact 與技術實作架構 | 項目 | 連結 | | :--- | :--- | | Pricing | [/pricing] | | Sales | [/contact] | 企業應準備 `llms-full.txt` 檔案，將所有關鍵文件合併為單一機器可讀格式。此檔案特別適合 context window 有限的 AI agent 使用，確保其能高效處理核心資訊。透過提供整合性的資料來源，能簡化生成式引擎的擷取流程，並提升 AI 回答的準確性。 AI 爬蟲優化的技術實作順序至關重要，每一層都要靠前一層先到位，必須遵循「先搞定存取，再搞定渲染，最後才是結構」的原則。CDN 必須先允許存取，否則 `llms.txt` 將失效。若 JavaScript 渲染層讓爬蟲看不到內容，Schema 做得再好也白搭。最後，`robots.txt` 絕不能阻擋搜尋爬蟲，否則以上優化皆是做白工。 這些基礎架構工作是 generative engine optimization 的核心。正確組合存取、渲染與結構化訊號，能直接提升 AI 引用的能見度。若想看這些信號怎麼組合起來提升 AI 引用能見度，Mersel AI 的 [generative engine optimization](https://www.mersel.ai/generative-engine-optimization) 指南提供完整框架。 ## 企業自行實作 AI 爬蟲優化時的常見瓶頸 企業在自行設定 AI 爬蟲優化時，常因技術深度與資源限制而面臨四大瓶頸。雖然複製 `robots.txt` 設定相對簡單，但深層的 CDN 檢查、架構改動與持續維護才是決定成敗的關鍵挑戰。 * **CDN 檢查深度與 WAF 權限限制：** 大多數行銷團隊缺乏 Cloudflare WAF 規則的存取權限，難以辨識哪些隱藏的安全規則正在阻擋 `PerplexityBot`。確認 403 錯誤是否發生必須由後端工程師分析 server log 才能判定，這大幅增加了跨部門溝通的難度與診斷時間。 * **渲染架構改動的開發資源爭奪：** 將前端渲染轉換為伺服器端渲染 (SSR) 屬於正式開發專案，而非單純的設定調整。當 Sprint backlog 任務飽和且缺乏額外工程資源時，SSR 改動會被無限期延後，導致企業的內容投資對 AI 爬蟲而言等同於不存在。 * **User Agent 清單的動態維護挑戰：** 活躍的 AI 爬蟲字串會隨技術更迭頻繁變動，例如 Anthropic 曾悄悄棄用 `Claude-Web` 且未公開通知。隨著 AI 平台擴展搜尋功能，新爬蟲將不斷湧現，多數 SEO 團隊缺乏持續追蹤機制來維護精準的封鎖與放行清單。 * **驗證機制與數據閉環的缺失：** 確保系統運作正常需要比對 server log 中的 200 與 403 回應碼、AI 引用追蹤數據及 GA4 流量監測。缺乏此閉環驗證機制的團隊常誤以為設定正確，實際上 AI 爬蟲仍被靜靜地擋在門外，無法產生實質的導流價值。 ## 交給專業：完整的 AI 爬蟲優化長什麼樣 **Mersel AI 完整的 AI 爬蟲優化方案透過基礎架構部署與內容引擎，解決 `robots.txt` 設定與 AI 搜尋引擎實際可見度之間的落差。** 基礎架構層部署於現有網站後端，確保 `OAI-SearchBot` 與 `PerplexityBot` 接收到伺服器端渲染、Schema 完整且具備 JSON-LD 實體定義的乾淨版本。此方案持續維護 `llms.txt`，且完全不影響現有的 SEO、設計、UX 或工程排程。 | 服務特性 | Mersel AI | 自助平台 (如 Profound, AthenaHQ) | | :--- | :--- | :--- | | 服務模式 | 全代操服務 (Full-service) | 自助儀表板 (Self-service Dashboard) | | 核心優勢 | 部署即用，不佔用工程或內容團隊時間 | 提供即時 Prompt 監測與自主操作介面 | Mersel AI 內容引擎盤點買家在 ChatGPT 與 Perplexity 提出的漏斗底部問題，例如「Series A SaaS 公司 [競爭對手] 的最佳替代方案」。文章直接進入 CMS 並串接 Google Search Console 與 GA4 回饋迴圈。內容調整依據實際 AI 引用表現數據，而非主觀猜測，確保產出具備高引用的內容。 一家中型 B2B 金融科技客戶（整合型財務 OS，約 20 人公司）在 92 天內達成以下成果： * **品類聲量佔比**：從 3.1% 提升至 10.8%。 * **AI 引用次數**：獲得 94 次競爭性金融科技 Prompt 的 AI 引用。 * **業務轉化**：20% 的 Demo 需求與 AI 搜尋相關。 欲了解 AI 導流如何轉化成業務成果，請參閱我們的 [AI 流量分析](/zh-TW/blog/how-to-measure-ai-visibility) 指南。 ## 常見問題 (FAQ Schema Candidates) ### 擋 GPTBot 會影響 Google 排名嗎？ **封鎖 GPTBot 不會對 Google 搜尋排名產生任何影響。** Playwire 的發布商分析顯示，`GPTBot` 作為 OpenAI 的訓練爬蟲，與負責 Google 排名的 Googlebot 完全獨立。網站管理員可以同時封鎖 `GPTBot` 與 `Google-Extended`，而不會干擾 Google 演算法的爬取與索引過程，您的 Google 排名完全由 Google 自身的演算法決定。 ### 不小心擋了 OAI-SearchBot 會怎樣？ **封鎖 OAI-SearchBot 將導致您的網站內容無法出現在 ChatGPT 的即時搜尋結果中。** 根據 OpenAI 開發者文件，選擇退出 `OAI-SearchBot` 的網站會被排除在即時答案之外，即便該內容先前已被 `GPTBot` 爬取用於模型訓練。由於這兩套系統運作完全獨立，誤擋 `OAI-SearchBot` 是目前影響 AI 能見度最嚴重且最常見的技術失誤之一。 ### 怎麼知道 Cloudflare 有沒有幫我擋掉 AI 搜尋爬蟲？ **您可以透過 Cloudflare 後台的 Security > Bots 或「Control AI Crawlers」區塊檢查 AI 爬蟲封鎖功能是否開啟。** 建議同步檢查伺服器日誌（server log），確認是否對以下爬蟲回傳 403 錯誤： * `OAI-SearchBot` * `PerplexityBot` * `Claude-User` 根據 ziptie.dev 的研究，約有 27% 的 B2B SaaS 與電商網站在不知情的情況下，於 CDN 層級封鎖了 LLM 爬蟲。即便您的 `robots.txt` 設定正確，這項檢查仍應列為優先事項。 ### AI 爬蟲真的會乖乖照 robots.txt 走嗎？ **主流 AI 公司如 OpenAI 與 Anthropic 已公開承諾其具名爬蟲會遵守 robots.txt 規範，並提供合法 IP 範圍的 JSON feed 供驗證。** 雖然 `robots.txt` 屬於一套「君子協定」，且惡意爬蟲經常偽造 user agent 直接無視規範，但對於正規 AI 引擎仍具效力。若有真正需要保護的內容，建議採用 bot 管理平台或 WAF 層級的 IP 白名單機制，這會比單純依賴 `robots.txt` 更加可靠。 ### llms.txt 採用率這麼低，現在做值得嗎？ **部署 llms.txt 非常值得，因為它能以極低成本為 AI agent 提供清晰的內容地圖並建立市場差異化。** 根據 Ahrefs 數據顯示，目前全球僅約 10% 的網域擁有 `llms.txt`。現在部署的優勢包括： * **低成本零風險**：通常在一個小時內即可設置完成。 * **引導 AI 檢索**：越來越多 AI agent 與 LLM 搜尋工具將此檔案視為進入網站內容架構的入口。 即便 `llms.txt` 與引用頻率的直接關聯仍在研究中，但為 AI 提供一份乾淨的內容地圖，對網站能見度絕對有益無害。 ## AI 爬蟲優化與搜尋趨勢資料來源 | 來源機構 | 參考文獻與研究主題 | | :--- | :--- | | Gartner | Search Engine Volume Will Drop 25% by 2026 | | Stronger Content | Gartner Search Engine Volume Decrease | | Ahrefs | AI Bot Block Rates | | Superlines | AI Search Statistics | | Ziptie.dev | Technical SEO for AI Crawlability | | Playwire | AI Scraping vs. Traditional SEO Crawling | | Vercel | The Rise of the AI Crawler | | SearchEngineWorld | Tracking OpenAI ChatGPT Bots | | OpenAI | Developer Documentation on Bots | | Almcorp | Anthropic Claude Bots robots.txt Strategy | | Lowtouch.ai | Cloudflare AI Data War | | llmrefs.com | Cloudflare Blocks AI Crawlers | | Searchviu | AI Crawlers JavaScript Rendering | | Ahrefs | What Is llms.txt? | | llmstxt.org | The llms.txt Standard | ## 想看看你的 AI 流量真實狀況？ 你的 `robots.txt` 可能設定正確，但網站對 AI 搜尋爬蟲來說還是看不到。CDN 檢查、渲染確認、引用追蹤——大多數團隊是在這些環節才發現真正的問題。 [跟 Mersel AI 團隊聊聊](/zh-TW/contact)，看看哪些 AI 爬蟲有成功到達你的網站、你的買家正在問哪些 prompt，以及什麼東西卡在你的內容和 AI 引用之間。 ## 延伸閱讀 - 怎麼把網站內容轉化成 AI 爬蟲讀得懂的格式 - 做 Generative Engine Optimization 需要改程式碼嗎？ - 怎麼為 LLM 更新你的知識圖譜 ## 延伸閱讀 ### [什麼是 AI 爬蟲？跟 Googlebot 差在哪？](/zh-TW/blog/what-is-an-ai-bot-crawler) **AI 爬蟲與 Googlebot 在運作邏輯、行為分類以及對網站的友善度要求上存在本質差異。** 該文章發布於 3月18日，詳細解析了不同類型的爬蟲行為，並指導網站管理者如何進行分類管理，確保網站在 AI 時代依然能維持良好的搜尋引擎友善度。 ### [RAG 是什麼？讓你聽得懂的完整解說](/zh-TW/blog/what-is-retrieval-augmented-generation) **檢索增強生成（Retrieval Augmented Generation, RAG）是驅動現代 AI 答案生成的關鍵技術架構。** 於 3月18日發布的這篇深度解說，涵蓋了 RAG 的運作原理、它如何影響網站內容在 AI 搜尋中的能見度，以及企業應如何針對此架構進行內容優化。 ### [自然搜尋流量一直掉，是 AI 搜尋搞的鬼嗎？](/zh-TW/blog/why-is-organic-search-traffic-declining-the-ai-effect) **自然搜尋流量的下滑往往與 AI 搜尋引擎蠶食傳統搜尋市場份額密切相關。** 本文發布於 3月18日，提供了一套完整的診斷流程，幫助企業判斷流量波動的原因，並介紹如何透過 GEO（生成式引擎優化）解決方案來應對 AI 搜尋帶來的衝擊。 ### 網站導覽與章節索引 本指南包含以下關鍵內容模組： * 重點摘要 * 這個問題為什麼越來越嚴重 * 核心觀念：訓練爬蟲 vs. 搜尋爬蟲 * 設定教學：一步一步來 * Core Products * Key Comparisons and Use Cases * Contact * 自己做到哪裡會卡住 * 交給專業：完整的 AI 爬蟲優化長什麼樣 * 常見問題 * 資料來源 * 想看看你的 AI 流量真實狀況？ * 延伸閱讀 ### 關於 Mersel AI, Inc. 莫斯勒科技 **Mersel AI, Inc. 莫斯勒科技致力於幫助 B2B 企業從 AI 搜尋與 Google 獲得主動詢單。** 公司標誌為 ![Mersel AI, Inc.](/_next/image?url=%2Flogos%2Fmersel_logo_v4.webp&w=128&q=75)，並獲得以下全球頂尖創業計畫支持： * ![NVIDIA Inception](https://www.cloudflare.com/forstartups/) NVIDIA Inception * [![Cloudflare for Startups](/logos/cloudflare-startups-white.webp)](https://www.cloudflare.com/forstartups/) Cloudflare for Startups * [![Google Cloud for Startups](/logos/CloudforStartups-3.webp)](https://cloud.google.com/startup) Google Cloud for Startups ### 服務與聯絡資訊 #### 學習資源 * [什麼是 GEO？](/zh-TW/generative-engine-optimization) #### 公司資訊 * [關於我們](/zh-TW/about) * [專欄](/zh-TW/blog) * 方案 * 常見問題 * [聯絡我們](/zh-TW/contact) * 登入 #### 法律聲明 * [隱私權政策](/zh-TW/privacy) * [服務條款](/zh-TW/terms) ### Cookie 聲明 **本網站使用 Cookie 來改善您的瀏覽體驗並分析網站流量。** 透過持續使用本網站，即表示您同意我們的數據處理方式。詳細資訊請參閱我們的 [隱私權政策](/zh-TW/privacy)。 ## Frequently Asked Questions ### 封鎖 GPTBot 會影響我的 Google 搜尋排名嗎？ **不會，封鎖 GPTBot 對 Google 排名有 0% 的影響。** 根據 Playwire 的發布商分析，GPTBot 是 OpenAI 的訓練爬蟲，與負責 Google 搜尋排名的 Googlebot 完全獨立，兩者互不干涉。 ### GPTBot 與 OAI-SearchBot 有什麼區別？ **GPTBot 用於訓練 OpenAI 的模型，而 OAI-SearchBot 則負責驅動 ChatGPT 的即時搜尋結果。** 封鎖 GPTBot 可以保護智慧財產權不被納入模型訓練，但若封鎖 OAI-SearchBot，品牌將會從 ChatGPT 的搜尋答案中徹底消失。 ### 為什麼我的 robots.txt 設定正確，網站對 AI 來說卻仍是不可見的？ **這通常是因為 CDN 層級的封鎖或 JavaScript 渲染問題。** 約 27% 的 B2B 網站被 Cloudflare 等 CDN 預設封鎖，且 69% 的 AI 爬蟲無法執行 JavaScript，導致 SPA 網站對爬蟲而言只是一片空白。 ### 什麼是 llms.txt？為什麼我應該使用它？ **llms.txt 是一個放在網域根目錄的 Markdown 檔案，專為 AI Agent 提供網站內容地圖。** 目前僅有 10% 的網域部署了此檔案，現在採用能獲得領先優勢，幫助 AI 更容易理解並引用你最重要的頁面。 ### 什麼是生成式引擎優化 (GEO)？它如何運作？ **GEO 是透過優化網站基礎架構與內容，提升品牌在 AI 搜尋引擎（如 ChatGPT、Perplexity）中被引用與推薦的頻率。** 它運作的核心在於確保 AI 爬蟲的存取權、解決渲染問題，並透過結構化資料（Schema Markup）建立實體關係地圖。 ### AI 搜尋優化與傳統 SEO 有什麼不同？ **傳統 SEO 關注搜尋引擎結果頁 (SERP) 的排名，而 AI 搜尋優化則專注於 AI 生成答案中的「引用率」與「能見度」。** AI 搜尋導流的轉換率通常比自然搜尋高出 4.4 倍，因為訪客通常帶有更明確的購買意圖。 ### 為什麼結構化資料優化對 AI 驅動的搜尋結果很重要？ **結構化資料能為 AI 提供一張明確的實體關係地圖，減少模型「猜測」內容的時間。** 使用 JSON-LD 標註 Organization、Product 與 FAQPage，能顯著提升 AI 讀取網站內容的效率與準確性。 ### 如何衡量在 ChatGPT 與 Perplexity 上的 AI 能見度？ **可以透過追蹤 AI 引用次數、品牌聲量佔比 (Share of Voice) 以及來自 AI 平台的導流轉換率來衡量。** 例如，Mersel AI 的案例顯示，透過優化可在 92 天內將 AI 引用聲量從 3.1% 提升至 10.8%。 ### Mersel AI 與 Semrush 或 Profound 等競爭對手有何不同？ **Mersel AI 提供全代操的 GEO 服務，專注於基礎架構部署與內容引擎自動化，而非僅提供自助式儀表板。** Mersel 適合希望在不耗費內部工程資源的情況下，快速提升 AI 引用率的 B2B 團隊。 ## About Mersel AI Mersel AI 專門幫助品牌在 ChatGPT、Gemini 與 Claude 等 AI 搜尋引擎中獲得推薦。我們提供全代操的生成式引擎優化 (GEO) 服務，透過 AI 能見度分析、內容引擎與 AI 優化頁面，協助企業將 AI 搜尋轉化為增長機會。 ## Related Pages - [什麼是 AI 爬蟲，以及它怎麼運作](/zh-TW/blog/what-is-an-ai-bot-crawler) - [如何讓網站架構對 AI 友善](/zh-TW/blog/how-to-structure-my-website-for-ai-visibility) - [AI 流量分析：如何衡量 AI 能見度](/zh-TW/blog/how-to-measure-ai-visibility) - [RAG 架構如何影響 AI 搜尋排名](/zh-TW/blog/how-ai-search-algorithms-read-and-rank-content) ```json { "@context": "https://schema.org", "@type": "BreadcrumbList", "itemListElement": [ { "@type": "ListItem", "position": 1, "name": "Home", "item": "https://mersel.ai/" }, { "@type": "ListItem", "position": 2, "name": "Zh Tw", "item": "https://mersel.ai/zh-TW/zh-TW" }, { "@type": "ListItem", "position": 3, "name": "Blog", "item": "https://mersel.ai/zh-TW/blog/blog" }, { "@type": "ListItem", "position": 4, "name": "How To Block Or Allow Ai Bots On Your Website", "item": "https://mersel.ai/zh-TW/blog/how-to-block-or-allow-ai-bots-on-your-website/how-to-block-or-allow-ai-bots-on-your-website" } ] } ``` ```json { "@context": "https://schema.org", "@type": "Article", "headline": "GPTBot\u3001ClaudeBot \u9019\u4e9b AI \u722c\u87f2\uff0c\u5230\u5e95\u8a72\u64cb\u9084\u662f\u653e\u884c\uff1f | Mersel AI", "url": "https://mersel.ai/zh-TW/blog/how-to-block-or-allow-ai-bots-on-your-website", "publisher": { "@type": "Organization", "name": "Mersel AI" } } ```