搜索与 AI
Token 是什么？
模型内容计量单位 · Token
Token 是模型处理内容时使用的单位。文字会先被切成 Token；一个 Token 不固定等于一个中文字或一个英文单词。
为什么文章长度会影响模型用量？
同一段文字会依模型使用的 tokenizer 切分成不同单位，因此字数不等于 Token 数。Hugging Face 的 tokenizer 说明介绍了单词、字符与子词等切分方式。
搜索费用与模型 Token 费用要分开看
把搜索得到的网页全文交给模型，通常会增加输入量；改用摘录则可减少需要处理的内容。Claude 的 Token 计数文档说明如何在请求前估算用量与成本。减少 Token 不保证回答质量更好；搜索 API 调用费、模型费与其他处理费也可能分开计算。
参考资料
最近查核：