Space and Time 将主要的区块链数据加载到关系数据模型中，以便于分析。为了使数据探索更加容易，Space and Time Studio 有一个交互式数据模型浏览器。

交互式数据模型浏览器 要开始探索数据模型，请转到交互式数据模型浏览器（下面链接到特定的链）并单击顶部菜单中的“数据集”。从那里，您可以点击不同的区块链数据模型、您自己的数据集或社区共享数据。

要在模型中搜索数据元素，请使用浏览器左上角的“搜索”栏：

区块链数据模型 以下链接将直接带您进入不同的区块链数据模型页面：

• Bitcoin

• Ethereum

• zkSync

• Polygon

• Sui

• Aptos

• Sei

Coming Soon:

• Avalanche

• BNB Chain

• Base

• Arbitrum

• Optimism

那么链下数据呢？ 您还可以将自己的链下数据加载到 Space and Time 中。这样您就可以将应用程序生成的数据与区块链数据结合起来，并在单个查询中为您的游戏生成 DeFi 选项或动态 NFT。

大型语言模型 (LLM) 最简单的用途之一是作为知识数据库。LLM 已经在大量丰富的信息数据集上进行了训练，ChatGPT 等界面使检索变得容易。例​​如，当你提示 ChatGPT 返回电影或书籍的内容时，你只是在利用模型回忆它在训练过程中接触到的信息的能力。但是，如果它没有接受《终结者》剧本的训练，或者它的权重不重视狄更斯的作品，会怎么样呢？为了为最简单的用例（例如基本信息检索）提供最准确和最相关的结果，LLM 需要复杂的索引和检索机制，以便精确地访问广泛的信息。

了解 LLM 内容生成和训练 LLM 内容是通过称为下一个标记预测的过程生成的，该过程可确保响应符合上下文、多种多样，并且在某种程度上反映出类似人类的理解。以下是下一个标记预测的工作原理，分步说明：

输入处理：当您输入提示或问题时，该输入将转换为标记：单词或单词片段。 上下文理解：模型查看您给它的标记，并根据其训练尝试理解上下文，其中包括从手头的主题到您可能使用的语气的所有内容。 下一个标记预测：使用所理解的上下文，模型然后预测最有可能的下一个标记是什么。它不仅仅是根据紧接的上一个单词进行猜测；它还考虑了到那时为止的整个对话上下文。 标记选择：一旦预测了一系列可能的下一个标记，它就会选择一个。此选择基于概率——根据模型训练的数据，最有可能出现的标记。但值得注意的是，这里也有一些随机性，这有助于生成更多样、听起来更自然的响应。 输出生成：然后将选定的标记转换回人类可读的文本。如果响应不完整（通常在一个标记之后就不完整），则重复该过程。新标记被添加到序列中，模型根据此更新的上下文预测下一个标记。 迭代细化：预测下一个标记并将其添加到序列的过程重复进行，直到模型到达停止点。这可能是当响应达到一定长度时，模型预测一个表示句子或段落结束的标记，或者当它满足提示中嵌入的指令时。 LLM 训练中压缩的局限性 当 LLM 预测一个 token 时，它实际上是在检索和利用嵌入在其权重中的压缩知识来产生适合上下文的输出。通过这种方式，LLM 训练反映了数据库压缩。正如数据库经过优化以快速调用经常访问的数据一样，LLM 旨在从其权重中检索信息（特定的插值记忆）。此功能使其能够对在训练期间遇到的熟悉材料的查询产生精确的响应，就像在数据库中查询索引良好的信息一样。但是，当模型遇到不太熟悉或晦涩难懂的内容时，就会出现局限性。例如，当您向 LLM 询问圣经中的特定段落时，它会逐字逐句地引用它们，但它无法逐字逐句地引用它在训练期间没有冗余“见证”的任何概念，因为与该概念相关的权重太小了。从这个意义上讲，LLM 也类似于数据库。正如数据库可能只返回明确存储在其中的数据一样，LLM 可能难以生成训练期间未广泛见过的主题的内容。

当然，LLM 超出了这个类比的范围，因为它们内部有一个世界模型，使它们能够“理解”纯粹超出查找范围的事物。然而，这种过度简化有助于我们理解 LLM 训练生成内容方式的一些关键限制。

LLM 训练的进一步限制 此外，下一个标记预测系统还有其他固有的限制，这些限制源于其生成文本的基本方法：

上下文窗口大小：主要常数之一

raints 是模型的上下文窗口大小——模型在进行预测时可以考虑的最大文本量（以标记为单位）。对于许多模型（包括早期版本的 GPT），此窗口不足以在长时间的对话或文档中保持上下文，这可能导致较长的文本或复杂的讨论失去连贯性，这些讨论需要保持紧接在前面的标记之外的上下文。 泛化与特异性：虽然这些模型是在庞大的数据集上训练的，但它们从这种训练中进行泛化的能力有时会导致它们产生通用或模糊相关的内容。它们可能无法生成高度具体或细致入微的响应，而这些响应需要详细理解或训练数据之外的最新知识。 缺乏外部知识访问：下一个标记预测模型仅限于其训练数据集中包含的信息。它们无法在训练后访问或整合新信息，这意味着它们很快就会过时或缺乏当前上下文，例如最近的事件、发现或热门话题。 重复性和可预测性：下一个标记预测的算法性质有时会导致重复或可预测的文本生成。由于模型通常偏向于在给定上下文的情况下统计上更有可能遵循的标记，因此它可能会陷入循环或偏向常用短语，从而降低输出的可变性。 检索增强生成 (RAG) 解释 如前所述，LLM 根据它们在训练期间分配给数据不同方面的权重来生成响应。这些权重反映了模型对输入数据的各种元素的重要性或重要性的看法。如果用户的提示包含训练数据中未显著表示的元素，则模型可能无法生成准确或相关的响应。

当对话超出 LLM 的上下文窗口时，或者当提示超出 LLM 自己的训练数据集中重要权重的限制（意味着它无法准确回忆起用户正在寻找的答案）时，模型通常依赖于外部向量搜索数据库，这使其能够搜索相关上下文或可以附加到用户提示的新数据。此过程称为检索增强生成 (RAG)。

“向量搜索走向成功” RAG 过程通过向量搜索数据库实现：这是一种将数据存储和管理为向量的高级数据库。这些向量表示高维空间中的数据，其中每个维度捕获数据含义的某些方面，从而可以表示复杂的关系和属性。在文本和语言的背景下，向量搜索数据库使用诸如嵌入之类的技术将文本转换为数值向量。这种转换使系统能够通过计算此多维空间中相应向量之间的距离来测量不同文本之间的语义相似性。

在 RAG 期间，查询（即用户对 LLM 的输入）和存储的数据（例如文章、文档或句子）都使用文本嵌入转换为向量。这些嵌入将文本数据转换为数值向量，其中相似的含义被映射到向量空间中的近似点。然后，数据库计算查询向量和存储数据的向量之间的距离，以确定文本含义之间的关联程度。数据库检索向量最接近查询向量的数据点（文本内容），即语义上与输入最相似的数据点。这些数据点在上下文和含义方面被视为“最近邻居”。

这些最近邻居提供上下文相关的附加信息，而基础 LLM 可能无法在其自己的训练数据中访问这些信息，这可以显著提高 LLM 输出的准确性、相关性、丰富性和多样性。Sam Altman 等人提倡“向量搜索成功”方法——依靠 RAG 来开发代理，而不是单独进行模型微调。

RAG 作为微调的替代方案 微调 LLM 涉及根据特定数据集的额外训练调整模型的权重，以提高特定任务的性能或提高对某些领域的理解。这个过程不仅比创新的速度慢，这意味着微调后的模型几乎和更新一样快地过时，而且它也没有解决新数据的问题。

相比之下，RAG 使模型能够实时访问外部数据库，以检索与当前查询相关的最新信息。即使底层模型最近没有更新或微调，它仍然可以生成包含最新数据的响应。模型可以保持更长时间的相关性，因为它们可以适应新数据和变化