联合创始人兼首席技术官

2024 年，企业已开始从 2022 年底最初由 ChatGPT 驱动的兴奋转向实际应用。企业现在专注于创建生产级人工智能应用程序，利用专有数据执行检索增强生成（RAG）等任务，甚至对大型语言模型（LLM）进行定制训练或微调。这种转变反映了人工智能更深入地融入核心业务流程，超越了2023 年新兴技术成熟度曲线所确定的“期望过高的峰值” ：

图 0：新兴技术的Gartner技术成熟度曲线

在这里，当期望达到最高时，我们开始目睹企业快速实验的负面后果。就法学硕士和生成式人工智能而言，针对业界最大的人工智能公司的一系列诉讼就证明了这一点。品牌信任度已经不够了。原告要求得到有关支持当今专有法学硕士创建和使用的流程的答案：

• 使用哪些数据集来训练或微调特定的法学硕士？这些数据集是否包含任何受版权保护的内容或受保护的知识产权 (IP)？

• 在训练之前或在填充要在提示中检索的矢量搜索数据库之前是否删除了个人身份信息 (PII) 等敏感数据？

• 是否使用正确的 LLM 二进制文件和权重处理用户请求？当使用第三方托管的 LLM 服务时，您能相信第三方没有以任何方式操纵响应吗？

• 是否有任何敏感 IP 由于 RAG 流程而被意外发送至第三方 LLM 服务？

• 我们如何建立管理流程来管理和批准使用企业数据集的代码库或人工智能代理流程中的提示？

• 我们如何证明某条内容对于组织来源来说是真实的并验证其出处（例如新闻出版商、财务报告或个人健康记录）？哪些加密“水印”可用于内容的来源？

‍

竞争动态促使公司放弃这些检查，转而支持更快的 POC 或产品发布，这最终意味着在许多情况下，甚至公司也不知道这些问题的答案。随着诉讼的进展，公众将意识到，为了解决有关专有法学硕士的未解答问题，必须在流程中添加可验证性/可审计性。

这使我们迎来了可验证的 LLM的曙光，我们相信这一概念将很快成为大型组织中 LLM 使用的基石。可验证的法学硕士的核心思想是支持其创建和后续使用的流程可以通过加密方式证明或复制。一般来说，这提供了几个好处：

• **可信度：**用户和监管者可以更好地理解或验证模型用于构建答案的来源和方法。对于现代企业来说，这将使法学硕士能够部署到以前因信任风险而避免的新用例中。

• **提高准确性和可靠性：**通过可验证性，用户可以根据原始引用的来源或数据交叉检查法学硕士提供的信息。这可以提高所提供信息的准确性和可靠性，因为模型的输出来自可跟踪的信息轨迹，而不是不透明的屏蔽数据池。

• **定制和改进：**了解法学硕士如何得出结论可以让开发人员和研究人员更好地改进模型。它提供了对模型思维过程的洞察，这对于调试和增强性能至关重要。

• **内容的真实性：**证明内容是由人类手动创建的，或者至少证明它已被来自信誉良好的来源认证为真实的。

‍

图 1：提供端到端可验证的 LLM 系统：从防篡改和经过消毒的训练数据集开始，然后最终证明正确的模型使用并对生成的内容加水印。

本报告的其余部分将致力于了解这些流程以及我们今天可用的解决方案，以使其可验证。

在过去的几年里，大多数生成式人工智能的进步都来自于 OpenAI、Anthropic 等专业组织开发的专有法学硕士。为了迎合尽可能多的受众，这些法学硕士被设计为高度通用化，这意味着用户可以依赖几乎适用于任何用例。然而，这种普遍性使得这些模型的开发成本极高（OpenAI 首席执行官 Sam Altman估计，GPT-4 模型的开发成本超过 1 亿美元）。通过将开发外包给这些专业的第三方，组织可以避免高昂的研发 (R&D) 成本，而只需支付使用 LLM（运行推理）的费用。虽然这种方法已被证明对当今的大多数用例都有吸引力，但它要求组织信任法学硕士提供商的“品牌”，并相信他们负责任地开发了自己的模型。

专有法学硕士模型的替代方案是利用现有的开源框架并对其进行调整以满足组织内部的特定需求。尽管开源模型可以免费使用，但这种方法确实需要时间和工程工作来实现。此外，开源模型的性能通常落后于专有模型，但这种性能差距可能正在慢慢缩小。

选择采用开源法学硕士的组织可以完全控制其实施。在数据集完整性方面，企业对其数据集保持完全控制以进行训练或微调。缺乏第三方参与还确保组织始终保留对其自己服务器上的数据的完全控制，并可以实施任何控制措施以防止数据集被操纵。在执行 LLM 请求时，组织可以确保请求正常运行，因为它控制着 LLM 堆栈的所有方面。

企业法学硕士用户与普通用户不同，普通用户只是想要求法学硕士生成晚餐食谱或回答有关中世纪历史的问题。企业用户有更复杂的请求，这些请求依赖于各种外部数据源，例如学术期刊、财务报告（例如，来自高盛），或加入来自企业数据仓库的源数据，以为专有法学硕士提供更多背景。

组织可以与法学硕士提供商签订私人协议，以使用专有数据微调模型。同样，一种越来越流行的技术是在发出推理请求时使用 RAG。这使得组织可以在提交请求时为广义法学硕士提供附加信息。在这两种情况下，组织必须信任第三方 LLM 提供商来维护其补充数据集的神圣性。这包括确保：

• 第三方不会在其服务器上的数据集中添加或删除条目。

• 数据集在从企业服务器到第三方服务器的传输过程中不会被操纵。

• 补充数据集保持私有，并与法学硕士提供者的其他用户分开。

关于微调，值得注意的是，我们发现企业级微调的兴趣越来越少，而毫不奇怪的是，人们对带有矢量搜索数据库的 RAG 的关注越来越多。一个潜在的原因是该行业发展如此之快，通常当组织完成专有或开源模型的微调时，就会提供新的模型版本或更好的替代方案。

专有的法学硕士培训领域正日益面临法律挑战，最近的九位数诉讼就证明了这一点，一家组织起诉一家领先的法学硕士提供商，指控其在提供商的模型中使用了受保护的知识产权。此类诉讼凸显了该行业采用确保负责任地开发法学硕士的标准的必要性，既可以应对法律复杂性，又可以维持消费者的信任。为了应对这些挑战，空间和时间等创新解决方案正在引起人们的关注。

Space and Time 是一种利用零知识 (ZK) 证明的新型数据库，提供了一种以加密方式保证大型数据集不被篡改的方法。它还验证检索该数据子集的查询未被操纵。通过在训练期间对模型本身内的数据集使用 Space and Time 的加密承诺，组织可以证明 Space and Time 中的防篡改数据集与实际用于训练模型的数据集相同，并且此后没有添加或删除任何内容。该技术使诉讼律师或审计师能够利用 SQL 和矢量搜索检索对用于培训的内容进行审查。审核者可以执行经过 ZK 验证的查询来检索矢量嵌入的最近邻居，这些邻居可能与诉讼中声称的专有 IP 相匹配。如果这种嵌入不存在或与权利要求不同，它会极大地加强法学硕士提供者的辩护。LLM 提供商可以向当局证明，他们的模型没有接受过任何敏感客户数据或可能受版权保护的外部知识产权的培训。

与专有法学硕士的互动可以比作与“黑匣子”的互动。隐藏训练数据集、模型二进制文件、权重和算法等关键组件，以保护知识产权和商业机密。这种模糊性使得用户无法确认他们收到的输出是否确实是从他们的特定输入生成的。此外，存在潜在风险，即专有提供商选择使用较便宜的模型来处理请求，这可能会损害用户体验的质量。

目前，尽管许多初创公司正在开始这项研发工作（特别是在 Web3 领域），但还没有一种实用的加密方法来准确验证 LLM 输出的正确性。即使密码学的未来进步能够在没有一周证明时间的情况下验证 LLM 输出（以当前的零知识机器学习 (zkML) 工具为基准），这种技术的实施可能会非常昂贵，从而限制了其在非常专业的领域的使用具有离线证明时间的场景。因此，利用专有第三方法学硕士的组织必须对其提供商给予相当大的信任，依赖他们使用正确的模型（而不是更便宜、更小的版本）、正确的权重/参数和正确的训练数据集来处理请求。

图 2：目前，对于证明 LLM 推理的步骤不存在实用的密码解决方案。

随着企业越来越多地将矢量搜索数据库和法学硕士纳入其运营中，许多开发人员发现自己正在陌生的领域中航行。这种经验的缺乏已经导致了安全疏忽。一个常见的错误是，开发人员无意中将专有或敏感的 PII 从安全、符合 SOC2 的数据仓库或对象存储转移到矢量搜索数据库中以用于 RAG 目的。此类事故会导致无意中通过互联网与第三方 LLM 提供商共享受保护的 IP 或客户 PII，从而违反 SOC2 合规性并带来重大安全风险。

为了应对这些挑战，企业必须建立严格的流程，以确保开发人员在将数据集成到 RAG 的矢量搜索数据库之前从数据集中删除任何 IP 和 PII。展望未来，我们预计需要创新的加密工具来验证和“证明”矢量搜索数据库中不存在敏感内容，或者自动检测和清理该内容。此类机制将在防止无意的数据泄露、第三方提供商访问不应访问的内容以及为在企业环境中利用法学硕士营造安全的环境方面发挥至关重要的作用。

图3：浪链企业级RAG参考架构。

最后，一旦经过验证的法学硕士被负责任地开发和使用，敏感或被篡改的内容得到净化，对生成内容（法学硕士和其他生成模型的输出）的加密水印的需求将会不断增长。在互联网充斥着人工智能生成内容的时代，区分真实内容和捏造内容成为消费者面临的重大挑战。这种困境延伸到各个领域，包括新闻文章、区块链交易或 NFT、物联网传感器数据和相机捕获的图像，突出显示了生成模型存在恶意行为者伪造内容风险的几个领域。

法学硕士和其他生成技术的出现简化了这些不良行为者在网络上制造令人信服的伪造品的过程。作为回应，未来的愿景是网络浏览器本身可以与新兴的内容水印标准集成。这种整合将通过明确区分可验证真实或人类生成的内容与人工智能生成的内容来帮助保护消费者。然而，实现这一愿景远非一帆风顺。即使高质量的 LLM 提供商在其输出中实施水印，恶意行为者也可以通过在本地运行自己的模型来规避这一点，生成没有任何水印的内容。鉴于目前水印的稀缺性，浏览器警告用户无水印内容可能不可信的提议面临着标记绝大多数互联网内容的巨大挑战。

随着企业继续将专有和开源法学硕士集成到其业务流程中，验证培训数据集、培训和微调流程以及模型输出完整性的能力对于降低风险、保护知识产权和个人身份信息将变得越来越重要，并确保负责任的使用。尽管上述提出的解决方案本身带来了挑战（例如实施的成本和复杂性），但我们相信，前瞻性的密码研究最终将带来更安全的互联网——保护消费者免受欺诈内容的侵害，保护企业免受诉讼或诉讼。第三方 LLM 使用所固有的安全风险。从实验性法学硕士到可验证法学硕士的演变标志着朝着更加负责任和透明的人工智能未来的关键转变，其中数字内容的真实性至关重要，人工智能系统的可信度不仅是假设的，而且是经过验证的。

联合创始人兼首席技术官

Scott Dykstra 是 Space and Time 的联合创始人兼首席技术官，也是包括 Sotero 在内的多家数据库和 Web3 技术初创公司的战略顾问。斯科特拥有围绕复杂的绿地挑战和研究驱动的开发建立和扩展大型工程团队的长期历史。Scott 专长于企业级分析，此前曾担任 Teradata 云解决方案副总裁，他花了近八年的时间将 Teradata 从本地部署转向下一代基于云的 SaaS。Scott 是一位富有远见的产品领导者，拥有 Web3、数据仓库、云和衍生品交易领域的产品开发专业知识。Scott 痴迷于美丽的用户体验/用户界面。作为一名彻头彻尾的企业家，《时空》是斯科特作为研究驱动型初创公司高管的第二次成功尝试。

https://www.spaceandtime.io/blog/verifiable-llms-for-the-modern-enterprise

联合创始人兼首席技术官

2024 年，企业已开始从 2022 年底最初由 ChatGPT 驱动的兴奋转向实际应用。企业现在专注于创建生产级人工智能应用程序，利用专有数据执行检索增强生成（RAG）等任务，甚至对大型语言模型（LLM）进行定制训练或微调。这种转变反映了人工智能更深入地融入核心业务流程，超越了2023 年新兴技术成熟度曲线所确定的“期望过高的峰值” ：

图 0：新兴技术的Gartner技术成熟度曲线

在这里，当期望达到最高时，我们开始目睹企业快速实验的负面后果。就法学硕士和生成式人工智能而言，针对业界最大的人工智能公司的一系列诉讼就证明了这一点。品牌信任度已经不够了。原告要求得到有关支持当今专有法学硕士创建和使用的流程的答案：

• 使用哪些数据集来训练或微调特定的法学硕士？这些数据集是否包含任何受版权保护的内容或受保护的知识产权 (IP)？

• 在训练之前或在填充要在提示中检索的矢量搜索数据库之前是否删除了个人身份信息 (PII) 等敏感数据？

• 是否使用正确的 LLM 二进制文件和权重处理用户请求？当使用第三方托管的 LLM 服务时，您能相信第三方没有以任何方式操纵响应吗？

• 是否有任何敏感 IP 由于 RAG 流程而被意外发送至第三方 LLM 服务？

• 我们如何建立管理流程来管理和批准使用企业数据集的代码库或人工智能代理流程中的提示？

• 我们如何证明某条内容对于组织来源来说是真实的并验证其出处（例如新闻出版商、财务报告或个人健康记录）？哪些加密“水印”可用于内容的来源？

‍

竞争动态促使公司放弃这些检查，转而支持更快的 POC 或产品发布，这最终意味着在许多情况下，甚至公司也不知道这些问题的答案。随着诉讼的进展，公众将意识到，为了解决有关专有法学硕士的未解答问题，必须在流程中添加可验证性/可审计性。

这使我们迎来了可验证的 LLM的曙光，我们相信这一概念将很快成为大型组织中 LLM 使用的基石。可验证的法学硕士的核心思想是支持其创建和后续使用的流程可以通过加密方式证明或复制。一般来说，这提供了几个好处：

• **可信度：**用户和监管者可以更好地理解或验证模型用于构建答案的来源和方法。对于现代企业来说，这将使法学硕士能够部署到以前因信任风险而避免的新用例中。

• **提高准确性和可靠性：**通过可验证性，用户可以根据原始引用的来源或数据交叉检查法学硕士提供的信息。这可以提高所提供信息的准确性和可靠性，因为模型的输出来自可跟踪的信息轨迹，而不是不透明的屏蔽数据池。

• **定制和改进：**了解法学硕士如何得出结论可以让开发人员和研究人员更好地改进模型。它提供了对模型思维过程的洞察，这对于调试和增强性能至关重要。

• **内容的真实性：**证明内容是由人类手动创建的，或者至少证明它已被来自信誉良好的来源认证为真实的。

‍

图 1：提供端到端可验证的 LLM 系统：从防篡改和经过消毒的训练数据集开始，然后最终证明正确的模型使用并对生成的内容加水印。

本报告的其余部分将致力于了解这些流程以及我们今天可用的解决方案，以使其可验证。

在过去的几年里，大多数生成式人工智能的进步都来自于 OpenAI、Anthropic 等专业组织开发的专有法学硕士。为了迎合尽可能多的受众，这些法学硕士被设计为高度通用化，这意味着用户可以依赖几乎适用于任何用例。然而，这种普遍性使得这些模型的开发成本极高（OpenAI 首席执行官 Sam Altman估计，GPT-4 模型的开发成本超过 1 亿美元）。通过将开发外包给这些专业的第三方，组织可以避免高昂的研发 (R&D) 成本，而只需支付使用 LLM（运行推理）的费用。虽然这种方法已被证明对当今的大多数用例都有吸引力，但它要求组织信任法学硕士提供商的“品牌”，并相信他们负责任地开发了自己的模型。

专有法学硕士模型的替代方案是利用现有的开源框架并对其进行调整以满足组织内部的特定需求。尽管开源模型可以免费使用，但这种方法确实需要时间和工程工作来实现。此外，开源模型的性能通常落后于专有模型，但这种性能差距可能正在慢慢缩小。

选择采用开源法学硕士的组织可以完全控制其实施。在数据集完整性方面，企业对其数据集保持完全控制以进行训练或微调。缺乏第三方参与还确保组织始终保留对其自己服务器上的数据的完全控制，并可以实施任何控制措施以防止数据集被操纵。在执行 LLM 请求时，组织可以确保请求正常运行，因为它控制着 LLM 堆栈的所有方面。

企业法学硕士用户与普通用户不同，普通用户只是想要求法学硕士生成晚餐食谱或回答有关中世纪历史的问题。企业用户有更复杂的请求，这些请求依赖于各种外部数据源，例如学术期刊、财务报告（例如，来自高盛），或加入来自企业数据仓库的源数据，以为专有法学硕士提供更多背景。

组织可以与法学硕士提供商签订私人协议，以使用专有数据微调模型。同样，一种越来越流行的技术是在发出推理请求时使用 RAG。这使得组织可以在提交请求时为广义法学硕士提供附加信息。在这两种情况下，组织必须信任第三方 LLM 提供商来维护其补充数据集的神圣性。这包括确保：

• 第三方不会在其服务器上的数据集中添加或删除条目。

• 数据集在从企业服务器到第三方服务器的传输过程中不会被操纵。

• 补充数据集保持私有，并与法学硕士提供者的其他用户分开。

关于微调，值得注意的是，我们发现企业级微调的兴趣越来越少，而毫不奇怪的是，人们对带有矢量搜索数据库的 RAG 的关注越来越多。一个潜在的原因是该行业发展如此之快，通常当组织完成专有或开源模型的微调时，就会提供新的模型版本或更好的替代方案。

专有的法学硕士培训领域正日益面临法律挑战，最近的九位数诉讼就证明了这一点，一家组织起诉一家领先的法学硕士提供商，指控其在提供商的模型中使用了受保护的知识产权。此类诉讼凸显了该行业采用确保负责任地开发法学硕士的标准的必要性，既可以应对法律复杂性，又可以维持消费者的信任。为了应对这些挑战，空间和时间等创新解决方案正在引起人们的关注。

Space and Time 是一种利用零知识 (ZK) 证明的新型数据库，提供了一种以加密方式保证大型数据集不被篡改的方法。它还验证检索该数据子集的查询未被操纵。通过在训练期间对模型本身内的数据集使用 Space and Time 的加密承诺，组织可以证明 Space and Time 中的防篡改数据集与实际用于训练模型的数据集相同，并且此后没有添加或删除任何内容。该技术使诉讼律师或审计师能够利用 SQL 和矢量搜索检索对用于培训的内容进行审查。审核者可以执行经过 ZK 验证的查询来检索矢量嵌入的最近邻居，这些邻居可能与诉讼中声称的专有 IP 相匹配。如果这种嵌入不存在或与权利要求不同，它会极大地加强法学硕士提供者的辩护。LLM 提供商可以向当局证明，他们的模型没有接受过任何敏感客户数据或可能受版权保护的外部知识产权的培训。

与专有法学硕士的互动可以比作与“黑匣子”的互动。隐藏训练数据集、模型二进制文件、权重和算法等关键组件，以保护知识产权和商业机密。这种模糊性使得用户无法确认他们收到的输出是否确实是从他们的特定输入生成的。此外，存在潜在风险，即专有提供商选择使用较便宜的模型来处理请求，这可能会损害用户体验的质量。

目前，尽管许多初创公司正在开始这项研发工作（特别是在 Web3 领域），但还没有一种实用的加密方法来准确验证 LLM 输出的正确性。即使密码学的未来进步能够在没有一周证明时间的情况下验证 LLM 输出（以当前的零知识机器学习 (zkML) 工具为基准），这种技术的实施可能会非常昂贵，从而限制了其在非常专业的领域的使用具有离线证明时间的场景。因此，利用专有第三方法学硕士的组织必须对其提供商给予相当大的信任，依赖他们使用正确的模型（而不是更便宜、更小的版本）、正确的权重/参数和正确的训练数据集来处理请求。

图 2：目前，对于证明 LLM 推理的步骤不存在实用的密码解决方案。

随着企业越来越多地将矢量搜索数据库和法学硕士纳入其运营中，许多开发人员发现自己正在陌生的领域中航行。这种经验的缺乏已经导致了安全疏忽。一个常见的错误是，开发人员无意中将专有或敏感的 PII 从安全、符合 SOC2 的数据仓库或对象存储转移到矢量搜索数据库中以用于 RAG 目的。此类事故会导致无意中通过互联网与第三方 LLM 提供商共享受保护的 IP 或客户 PII，从而违反 SOC2 合规性并带来重大安全风险。

为了应对这些挑战，企业必须建立严格的流程，以确保开发人员在将数据集成到 RAG 的矢量搜索数据库之前从数据集中删除任何 IP 和 PII。展望未来，我们预计需要创新的加密工具来验证和“证明”矢量搜索数据库中不存在敏感内容，或者自动检测和清理该内容。此类机制将在防止无意的数据泄露、第三方提供商访问不应访问的内容以及为在企业环境中利用法学硕士营造安全的环境方面发挥至关重要的作用。

图3：浪链企业级RAG参考架构。

最后，一旦经过验证的法学硕士被负责任地开发和使用，敏感或被篡改的内容得到净化，对生成内容（法学硕士和其他生成模型的输出）的加密水印的需求将会不断增长。在互联网充斥着人工智能生成内容的时代，区分真实内容和捏造内容成为消费者面临的重大挑战。这种困境延伸到各个领域，包括新闻文章、区块链交易或 NFT、物联网传感器数据和相机捕获的图像，突出显示了生成模型存在恶意行为者伪造内容风险的几个领域。

法学硕士和其他生成技术的出现简化了这些不良行为者在网络上制造令人信服的伪造品的过程。作为回应，未来的愿景是网络浏览器本身可以与新兴的内容水印标准集成。这种整合将通过明确区分可验证真实或人类生成的内容与人工智能生成的内容来帮助保护消费者。然而，实现这一愿景远非一帆风顺。即使高质量的 LLM 提供商在其输出中实施水印，恶意行为者也可以通过在本地运行自己的模型来规避这一点，生成没有任何水印的内容。鉴于目前水印的稀缺性，浏览器警告用户无水印内容可能不可信的提议面临着标记绝大多数互联网内容的巨大挑战。

随着企业继续将专有和开源法学硕士集成到其业务流程中，验证培训数据集、培训和微调流程以及模型输出完整性的能力对于降低风险、保护知识产权和个人身份信息将变得越来越重要，并确保负责任的使用。尽管上述提出的解决方案本身带来了挑战（例如实施的成本和复杂性），但我们相信，前瞻性的密码研究最终将带来更安全的互联网——保护消费者免受欺诈内容的侵害，保护企业免受诉讼或诉讼。第三方 LLM 使用所固有的安全风险。从实验性法学硕士到可验证法学硕士的演变标志着朝着更加负责任和透明的人工智能未来的关键转变，其中数字内容的真实性至关重要，人工智能系统的可信度不仅是假设的，而且是经过验证的。

联合创始人兼首席技术官

Scott Dykstra 是 Space and Time 的联合创始人兼首席技术官，也是包括 Sotero 在内的多家数据库和 Web3 技术初创公司的战略顾问。斯科特拥有围绕复杂的绿地挑战和研究驱动的开发建立和扩展大型工程团队的长期历史。Scott 专长于企业级分析，此前曾担任 Teradata 云解决方案副总裁，他花了近八年的时间将 Teradata 从本地部署转向下一代基于云的 SaaS。Scott 是一位富有远见的产品领导者，拥有 Web3、数据仓库、云和衍生品交易领域的产品开发专业知识。Scott 痴迷于美丽的用户体验/用户界面。作为一名彻头彻尾的企业家，《时空》是斯科特作为研究驱动型初创公司高管的第二次成功尝试。

https://www.spaceandtime.io/blog/verifiable-llms-for-the-modern-enterprise