429 Too Many Requests
429 表示請求過多(限流)。若錯誤地對搜尋引擎爬蟲回 429,會降低爬取並影響索引更新。
定義
429 Too Many Requests 通常用於 rate limiting。它能保護服務不被濫用,但若對 Googlebot/Bingbot 等爬蟲大量回 429,搜尋引擎會降低抓取速率,重要頁更新與收錄可能變慢。
為什麼重要
- 避免爬蟲被誤判為攻擊而被限流
- 大量 429 會造成 crawl waste 與索引延遲
- 需要在安全與可爬取性之間取得平衡
怎麼做(實作重點)
- 針對爬蟲流量設定更合理的限流與快取策略
- 監控伺服器 log 與 Search Console 抓取統計
- 如果必須限流,確保重要頁仍能穩定回 200
相關連結
教學
常見問題
關於這個詞彙的常見問答。