Crawl Budget
Crawl budget 是搜尋引擎願意在一定時間內抓取你站點的資源。大型站、參數多、重複內容多的站最需要管理。
定義
Crawl budget 是搜尋引擎對站點的抓取資源分配。它受站點健康度(錯誤率、速度)、內容更新頻率、內鏈結構與重複內容影響。小站通常不用太焦慮,但大型站或參數頁很多時需要管理。
為什麼重要
- 避免爬蟲浪費在重複/低價值頁,導致重要頁收錄慢
- 降低錯誤率(4xx/5xx)能提高整站抓取效率
- 更快發現與更新內容,提升索引新鮮度
怎麼做(實作重點)
- 清理重複內容:canonical、noindex、參數策略
- 用 sitemap 只提交重要 canonical URL
- 改善效能與穩定性:降低錯誤與提高 TTFB
相關連結
常見問題
關於這個詞彙的常見問答。