User-Agent

定義

User-Agent 是 HTTP 請求中的 header，用來描述請求端是什麼客戶端（瀏覽器、App、爬蟲）。在 SEO 上，robots.txt 常用 User-agent 分別對不同爬蟲設定爬取規則；log 分析也會用它判斷流量來源。

為什麼重要

• robots.txt 規則依 user-agent 生效
• 用 log 分析可以找到爬蟲行為與錯誤頁
• 能幫助你判斷被誰抓取、抓了什麼

怎麼做（實作重點）

• 在 robots.txt 針對不同 user-agent 設定 Allow/Disallow
• 不要以為『自稱』的 user-agent 一定可信（安全/存取控制另做）
• 用伺服器 log 追蹤重複抓取與錯誤狀態碼

相關連結