搜尋與 AI
Token 是什麼？
模型內容計量單位 · Token
發布於
Token 是模型處理內容時使用的單位。文字會先被切成 Token；一個 Token 不固定等於一個中文字或一個英文單字。
為什麼文章長度會影響模型用量？
同一段文字會依模型使用的 tokenizer 切分成不同單位，因此字數不等於 Token 數。Hugging Face 的 tokenizer 說明介紹了單字、字元與子詞等切分方式。
搜尋費用與模型 Token 費用要分開看
把搜尋得到的網頁全文交給模型，通常會增加輸入量；改用摘錄則可減少需要處理的內容。Claude 的 Token 計數文件說明如何在請求前估算用量與成本。減少 Token 不保證回答品質更好；搜尋 API 呼叫費、模型費與其他處理費也可能分開計算。
參考資料
最近查核：