近期研究

R-012026.09.1857 個站外平台robots.txt 實測

社群平台幾乎全面封鎖 AI 爬蟲；台灣媒體分成三種立場。

Reddit、LinkedIn、X、Instagram、Threads 對 GPTBot、ClaudeBot、PerplexityBot 一律封鎖，Facebook 僅開放部分路徑。台灣媒體則分成三類：開放或僅以通用規則限制部分路徑；擋下訓練用爬蟲、保留部分搜尋用爬蟲；以及幾乎只對 Google 開放。

• 封鎖
• 部分路徑受限
• 開放（含未設規則、無 robots.txt）

對品牌的意義在媒體購買版位之前，先查看該媒體的 robots.txt。文章刊出之後 AI 讀不讀得到，在選定媒體的那一刻就已經決定。

方法限制：以單一固定 IP、模擬各爬蟲的 User-Agent 實測，無法區分網站封鎖的是真正的爬蟲或冒充者；「部分」多來自對所有爬蟲一體適用的通用規則；巴哈姆特以 www 主站為準。robots 規則並非技術保證，見研究守則 02。

R-022026.09.18同一批 57 個平台新標準檔案

AI 時代的新標準，採用率接近零。

57 個平台之中，提供 llms.txt 的只有 5 個，在 robots.txt 寫入 Content-Signal 的只有 3 個；tdmrep、trust.txt、ai.txt、agent-card、RSL 等格式，一個也沒有。

llms.txt

5 / 57

Content-Signal

3 / 57

api-catalog

1 / 57

tdmrep.json

0 / 57

ai.txt

0 / 57

RSL

0 / 57

對品牌的意義新標準仍在起步階段，現在跟進的成本很低；但 AI 能不能讀到一個網站，首先取決於網站本身的體質，新標準檔案是建立在體質之上的補充。