在 2022 年之前,如果你想快速回忆你最喜欢的书中的某个特定段落或你刚看过的电影中的一句台词,而又不想让作品本身摆在你面前,你可能会求助于搜索引擎。你会用精心设计的搜索输入提示它,解析返回的结果,访问似乎包含你的答案的 SparkNotes 或 IMDB 链接,并在几分钟内找到你在页面上寻找的文本。现在,你只需打开 ChatGPT,输入“最著名的终结者台词是什么?”或“写出《双城记》的开场白”,几秒钟内就能得到你的逐字答案。 大型语言模型 (LLM) 最简单的用途之一是作为知识数据库。LLM 已经在大量丰富的信息数据集上进行了训练,ChatGPT 等界面使检索变得容易。例如,当你提示 ChatGPT 返回电影或书籍的内容时,你只是在利用模型回忆它在训练过程中接触到的信息的能力。但是,如果它没有接受《终结者》剧本的训练,或者它的权重不重视狄更斯的作品,该怎么办?为了为最简单的用例(例如基本信息检索)提供最准确和最相关的结果,LLM 需要复杂的索引和检索机制,以便精确地访问广泛的信息。 了解 LLM 内容生成和培训 LLM 内容是通过称为下一个标记预测的过程生成的,该过程可确保...