LLM 是什么？

定义

LLM 是 Large Language Model 的缩写。研究者开始用这个词，是为了称呼规模特别大的预训练语言模型（Zhao et al.）。常见用途包括回答问题、写摘要和生成像人写的文字（Anthropic 术语表）。

“大”是跟谁比

“大”是相对早期的小型语言模型而言，指参数更多、能利用更长的上下文（Google 机器学习速成课程）。Zhao et al. 的综述提到，模型放大到一定规模后，不只表现变好，还会出现小模型没有的能力。

业界没有“超过多少参数才算 LLM”的公认门槛。举个时间点明确的例子，2020 年发表的 GPT-3 有 1750 亿个参数（Brown et al.），这是它当时的规模，不代表现在的模型都在这个量级。

LLM 和 token 的关系

LLM 读写文字的单位是 Token。文字会先被切成一串 token 再交给模型处理（Anthropic 术语表）。一个 token 可能是一个词、词的一部分，或单个字符（Google 机器学习速成课程）。

生成回答时，LLM 做的事是预测下一个 token 或下一串 token，再把预测结果接回前文，继续往下预测。所以同一段话会切成几个 token，要看用的是哪个模型、写的是哪种语言。中文一个 token 大约等于几个字，目前各家没有统一的官方数字，可以先记住它因模型和语言而异。

预测出来的不等于核实过的

LLM 学到的是数据中的模式与关联，所以不能把每次输出都当成已核对的事实。看起来合理的叙述仍可能出现 AI 幻觉。

模型、聊天产品与搜索不是同一层

LLM 是模型本身。聊天界面可以另外接上搜索、计算或文件工具，所以一个回答有没有查过网络，要看当次产品开了哪些功能、有没有用到工具（Microsoft Copilot 说明），光看有没有用 LLM 判断不出来。AI 搜索则是把信息检索和生成回答结合起来。