RFC 9309: Robots Exclusion Protocol

從這份來源繼續閱讀相關指南、公司資料及實用問答。

IETF閱讀原始來源

採用此來源的內容

1 篇內容

  1. AI 爬蟲存取並非單一開關

    分開處理搜尋發現、可能用於模型訓練的內容，以及由用戶觸發的造訪。各供應商提供的控制及其效果各有不同。

閱讀對應 JSON 資料