

Share Dialog
Share Dialog

Subscribe to xiaodongchen

Subscribe to xiaodongchen
<100 subscribers
<100 subscribers
前言
数据聚合的笼统的大框架概念,数据聚合是指将来自不同来源、格式和性质的数据进行收集、清洗、整合和存储的过程,以便进行进一步的分析和应用。其核心目的是将分散的、孤立的数据整合成一个集中、统一的数据资源池,从而提高数据的可用性和价值。
数据聚合的过程 数据收集:从各种数据源中收集数据,包括内部数据、外部公开数据、社交媒体数据等。 数据清洗:对收集到的数据进行清洗,去除重复、错误、无效的数据,确保数据的准确性和可靠性。 数据整合:将清洗后的数据按照一定的规则和标准进行整合,使其格式化和结构化。 数据存储:将整合后的数据存储在数据库或数据仓库中,以便后续分析和利用。 数据分析:利用数据分析工具和方法对存储的数据进行分析,提取有价值的信息。 数据聚合的意义 提高数据可用性:通过数据聚合,可以将分散的数据整合成一个集中、统一的数据资源池,使得数据的查询、获取和使用更加便捷。 提升决策效率:通过对聚合后的数据分析,可以更好地了解业务情况、市场趋势、客户需求等,为预言机的决策提供有力支持。 促进数据共享:数据聚合可以打破信息孤岛,促进数据的共享和交流,提高数据的利用效率。 数据聚合的应用场景 商业领域:企业可以通过数据聚合了解市场趋势、客户需求、竞品情况等,以制定更有效的营销策略。 科研领域:为科研人员提供更丰富、更全面的数据资源,促进科研进展。
进入正文
下文将讲述,什么是数据聚合及其在区块链中的作用。
在这里,数据聚合意味着将来自多个来源的数据组合在一起,以获得一个更准确的值。
在去中心化的世界中,预言机的主要功能是将资产的价格传输给需要的人群。这是重要的数据,因为资产价格的错误变化会导致重大资金损失,随着 DeFi 平台的扩展,确保数据不可篡改和准确至关重要,区块链预言机确保将真实世界的数据与智能合约安全地集成。
RedStone 预言机采用独特的方法,将非标准数据存储在 Arweave 上并将其传送到所有兼容 EVM 的链。
预言机作为一种中间件,实现了区块链和链下系统(例如数据提供商、云提供商、物联网设备和支付系统)之间的通信。包括以太坊在内的各种区块链上的智能合约可以使用预言机提供的数据来决定是否执行协议或命令。因此,使用智能合约的平台和企业直接依赖预言机从外部世界获取数据。
然而,中心化和第三方预言机并不符合区块链技术和去中心化的价值。外部数据的不确定性和不同步性使得节点之间难以达成共识。
此外,直接访问不安全的外部环境所带来的风险也使得很多项目望而却步,这就是所谓的预言机问题。区块链的去中心化特性使其无法从任何外部系统提取或推送数据。区块链节点必须保存在隔离的沙箱中,因此无法直接访问传统服务或在内部生成数据。
RedStone 通过提供灵活且经济实惠的预言机解决方案,缓解了区块链项目面临的问题。
其模块化设计适用于 DeFi,类似于区块链的 L2,使其能够向多个 EVM 和非 EVM 生态系统、Rollup 以及各种应用链提供推送和拉取预言机数据服务。
RedStone 的数据由提供商加密签名,可以在任何支持基本加密原语的链上进行验证。
RedStone 利用了 Arweave 的新一代区块链存储,以低成本保存大量数据,使其能够以更高的更新频率处理更多数据。
与传统预言机不同,RedStone 的数据存储在 Arweave 上,而节点和合作伙伴网络以去中心化公共缓存的形式将它们提供给 DeFi 项目。EVM-Connector 允许仅在需要时将这些数据注入目标链,确保数据的完整性和安全性。
此外,RedStone 允许多个数据提供商进入区块链生态系统,每个数据提供商可以应用不同的聚合规则,提供针对 DeFi 协议需求量身定制的服务。RedStone 的设计还确保了数据的完整性,数据提供商需要质押 RedStone 代币作为抵押品,以确保他们能够继续运营并提供高质量的数据。
如何在链上解包、验证和聚合数据
首先,从调用数据中提取附加的数据包。然后,采取安全措施,包括验证签名是否由受信任的提供商创建,并验证时间戳,确认信息正确无误。之后,对于每个请求的数据馈送,RedStone 会计算收到的唯一签名者的数量,提取每个唯一签名者的值,并计算聚合值。所有值的中间值 (median) 是提供的默认值。该逻辑在链上环境中执行,其执行已使用低级汇编代码进行优化,以将 gas 消耗降至最低。为了提高 RedStone 预言机系统的安全性,我们创建了链上聚合机制。此机制增加了一个额外的要求,即确保所依赖的最小数量的不同数据馈送。然后,在返回到 Consumer Contract 之前,将聚合来自不同提供者的值。默认情况下,RedStone 使用中值计算进行聚合。这样,即使一小部分提供商已损坏(例如 10 个中的 2 个),也不会对聚合值产生重大影响。
通过其创新的方法,RedStone 不仅为现有的预言机解决方案提供了一个安全、灵活和高效的替代方案,还为 DeFi 和智能合约等应用场景带来了可靠的真实世界数据支持。随着区块链生态系统的不断发展,RedStone 将继续在预言机领域保持领先地位。
重点来了
那么,您如何确保预言机引入协议的资产价格不会错误地变化呢?嗯,这取决于 oracle 的质量,它由两个标准定义:数据可用性和数据正确性。
它是怎么工作的,区块链预言机向区块链上的智能合约提供数据,使它们能够根据该信息执行特定操作。要使预言机正常工作,它必须首先从各种外部来源收集数据,然后以智能合约可以理解的方式对其进行格式化。此过程称为 “数据聚合”。一旦数据被聚合,它就会成为发送到智能合约进行处理的 “事件”。
前面说了Oracle 服务提供的数据质量取决于两个主要标准如下:
数据可用性 :具体来说,要使预言机值得信赖,这意味着 Oracle 数据应始终可供最终用户(或智能合约)使用,并且应按承诺的频率进行更新,也就是说在需要时将其发送给消费者,在这方面RedStone 做得更好,RedStone Oracles 可以轻松实现这一点,Oracle 从多个数据源获取其资产价格,拥有180+个数据源 **,**有来自 CEX,DEX,API 和链上数据 , 这确保了预言机始终拥有大量可用的数据源,即使其中一些数据源已过时或由于某种原因不可用。
数据正确性 :它可能以不同的方式定义,通常取决于数据类型。客观数据的正确性可以很容易地验证,但对于不太客观的数据,定义正确性可能要难一点。不正确的数据可能会导致灾难性的情况,例如去中心化金融协议的资金损失。因此,为了获得最准确的资产价格,我们不仅需要像 RedStone Oracles 一样使用这 180+ 个数据源,还需要将它们作为唯一数据进行平均,这就是几种方法发挥作用的地方。
安全事故:在 2022 年,Mango Markets 由于其 MNGO 代币的流动性低而遭受了 $117M 的损失。这种低流动性使攻击者能够人为地抬高 MNGO 价格,并将其用作抵押品来借入其他加密货币,从而利用预言机不准确的价格估计。在这种情况下,RedStone 会使用流动性加权平均价格 (LWAP) 方法,这本可以防止这种攻击。
说一下常见的聚合算法
第一个聚合算法是计算平均值。它非常简单,看起来可能很“公平”,但实际上它有一个明显的缺点,因为它无法抵抗哪怕是一小部分损坏的源代码的操纵。例如,假设您想从 5 个不同的交易所获得 ETH/USD 价值,其中 4 个声称当前价格在 3500 美元左右,但其中一个坚持认为只有 5 美元,那么平均值是 2800美元,偏差太大,不能被认为是正确的。这就是为什么通常将平均值计算以及其他聚合方法与四分位距过滤器相结合的原因,这有助于过滤掉异常值和市场操纵。

还是上边图画中举例子,这边有5个价格,分别是5 3495 3500 3510 3520,这5个价格奇数形式我们采用中间的价格是3500,如果是偶数形式,添加一个4000,那么我们采用中间俩个相加再除以2的价格,也就是(3500+3510)/2=3505。
中位数方法完全忽略了异常值,这使得输出数据比平均方法准确得多。

下一个也是最好的聚合方法之一是成交量加权平均价格计算。这是一种基于交易的价格确定,它考虑了不同来源的不同交易量。来源的交易量越多 其价格价值的权重就越大。有时,VWAP 还与四分位距滤波器结合使用以过滤掉异常值,以增强安全性
值得一提的是,由于去中心化交易所上的流动性计算简单,还可以计算来自多个去中心化交易所的流动性加权平均价格 (LWAP),这与 VWAP 具有相似的优势。

价格聚合的另一种常用方法是基于加权平均价格,其权重由时间标准定义。这对于仅基于去中心化交易所计算价格值特别有用。许多 DEX 甚至提供自己的基于 TWAP 的预言机解决方案。但除了基于 DEX 的预言机之外,这种方法还可用于在数据源数量有限的情况下使市场操纵变得更加困难。RedStone 使用 TWAP 使低流动性资产的定价数据更加稳定可靠。

结尾:理想的价格值实际上取决于请求的订单(金额、买入/卖出类型),并且应该考虑到每个可用交易所的订单簿和所有相关费用。它承认实现完美的复杂性,但强调了在了解潜在风险的同时选择适合用例的聚合方法的重要性。根据定义,足够好的价格价值并不需要是理想的。上述聚合算法的一些组合可能适用于 DeFi 领域的大多数用例。尽管如此,在构建依赖于预言机定价数据的 DeFi 协议并为您的情况选择最佳聚合方法(或方法)之前,了解所有潜在风险非常重要。
全文结束
官方网站
官方文档
https://docs.redstone.finance/docs/introduction
官方博客
https://blog.redstone.finance/
官方推特
官方Discord
我的推特
前言
数据聚合的笼统的大框架概念,数据聚合是指将来自不同来源、格式和性质的数据进行收集、清洗、整合和存储的过程,以便进行进一步的分析和应用。其核心目的是将分散的、孤立的数据整合成一个集中、统一的数据资源池,从而提高数据的可用性和价值。
数据聚合的过程 数据收集:从各种数据源中收集数据,包括内部数据、外部公开数据、社交媒体数据等。 数据清洗:对收集到的数据进行清洗,去除重复、错误、无效的数据,确保数据的准确性和可靠性。 数据整合:将清洗后的数据按照一定的规则和标准进行整合,使其格式化和结构化。 数据存储:将整合后的数据存储在数据库或数据仓库中,以便后续分析和利用。 数据分析:利用数据分析工具和方法对存储的数据进行分析,提取有价值的信息。 数据聚合的意义 提高数据可用性:通过数据聚合,可以将分散的数据整合成一个集中、统一的数据资源池,使得数据的查询、获取和使用更加便捷。 提升决策效率:通过对聚合后的数据分析,可以更好地了解业务情况、市场趋势、客户需求等,为预言机的决策提供有力支持。 促进数据共享:数据聚合可以打破信息孤岛,促进数据的共享和交流,提高数据的利用效率。 数据聚合的应用场景 商业领域:企业可以通过数据聚合了解市场趋势、客户需求、竞品情况等,以制定更有效的营销策略。 科研领域:为科研人员提供更丰富、更全面的数据资源,促进科研进展。
进入正文
下文将讲述,什么是数据聚合及其在区块链中的作用。
在这里,数据聚合意味着将来自多个来源的数据组合在一起,以获得一个更准确的值。
在去中心化的世界中,预言机的主要功能是将资产的价格传输给需要的人群。这是重要的数据,因为资产价格的错误变化会导致重大资金损失,随着 DeFi 平台的扩展,确保数据不可篡改和准确至关重要,区块链预言机确保将真实世界的数据与智能合约安全地集成。
RedStone 预言机采用独特的方法,将非标准数据存储在 Arweave 上并将其传送到所有兼容 EVM 的链。
预言机作为一种中间件,实现了区块链和链下系统(例如数据提供商、云提供商、物联网设备和支付系统)之间的通信。包括以太坊在内的各种区块链上的智能合约可以使用预言机提供的数据来决定是否执行协议或命令。因此,使用智能合约的平台和企业直接依赖预言机从外部世界获取数据。
然而,中心化和第三方预言机并不符合区块链技术和去中心化的价值。外部数据的不确定性和不同步性使得节点之间难以达成共识。
此外,直接访问不安全的外部环境所带来的风险也使得很多项目望而却步,这就是所谓的预言机问题。区块链的去中心化特性使其无法从任何外部系统提取或推送数据。区块链节点必须保存在隔离的沙箱中,因此无法直接访问传统服务或在内部生成数据。
RedStone 通过提供灵活且经济实惠的预言机解决方案,缓解了区块链项目面临的问题。
其模块化设计适用于 DeFi,类似于区块链的 L2,使其能够向多个 EVM 和非 EVM 生态系统、Rollup 以及各种应用链提供推送和拉取预言机数据服务。
RedStone 的数据由提供商加密签名,可以在任何支持基本加密原语的链上进行验证。
RedStone 利用了 Arweave 的新一代区块链存储,以低成本保存大量数据,使其能够以更高的更新频率处理更多数据。
与传统预言机不同,RedStone 的数据存储在 Arweave 上,而节点和合作伙伴网络以去中心化公共缓存的形式将它们提供给 DeFi 项目。EVM-Connector 允许仅在需要时将这些数据注入目标链,确保数据的完整性和安全性。
此外,RedStone 允许多个数据提供商进入区块链生态系统,每个数据提供商可以应用不同的聚合规则,提供针对 DeFi 协议需求量身定制的服务。RedStone 的设计还确保了数据的完整性,数据提供商需要质押 RedStone 代币作为抵押品,以确保他们能够继续运营并提供高质量的数据。
如何在链上解包、验证和聚合数据
首先,从调用数据中提取附加的数据包。然后,采取安全措施,包括验证签名是否由受信任的提供商创建,并验证时间戳,确认信息正确无误。之后,对于每个请求的数据馈送,RedStone 会计算收到的唯一签名者的数量,提取每个唯一签名者的值,并计算聚合值。所有值的中间值 (median) 是提供的默认值。该逻辑在链上环境中执行,其执行已使用低级汇编代码进行优化,以将 gas 消耗降至最低。为了提高 RedStone 预言机系统的安全性,我们创建了链上聚合机制。此机制增加了一个额外的要求,即确保所依赖的最小数量的不同数据馈送。然后,在返回到 Consumer Contract 之前,将聚合来自不同提供者的值。默认情况下,RedStone 使用中值计算进行聚合。这样,即使一小部分提供商已损坏(例如 10 个中的 2 个),也不会对聚合值产生重大影响。
通过其创新的方法,RedStone 不仅为现有的预言机解决方案提供了一个安全、灵活和高效的替代方案,还为 DeFi 和智能合约等应用场景带来了可靠的真实世界数据支持。随着区块链生态系统的不断发展,RedStone 将继续在预言机领域保持领先地位。
重点来了
那么,您如何确保预言机引入协议的资产价格不会错误地变化呢?嗯,这取决于 oracle 的质量,它由两个标准定义:数据可用性和数据正确性。
它是怎么工作的,区块链预言机向区块链上的智能合约提供数据,使它们能够根据该信息执行特定操作。要使预言机正常工作,它必须首先从各种外部来源收集数据,然后以智能合约可以理解的方式对其进行格式化。此过程称为 “数据聚合”。一旦数据被聚合,它就会成为发送到智能合约进行处理的 “事件”。
前面说了Oracle 服务提供的数据质量取决于两个主要标准如下:
数据可用性 :具体来说,要使预言机值得信赖,这意味着 Oracle 数据应始终可供最终用户(或智能合约)使用,并且应按承诺的频率进行更新,也就是说在需要时将其发送给消费者,在这方面RedStone 做得更好,RedStone Oracles 可以轻松实现这一点,Oracle 从多个数据源获取其资产价格,拥有180+个数据源 **,**有来自 CEX,DEX,API 和链上数据 , 这确保了预言机始终拥有大量可用的数据源,即使其中一些数据源已过时或由于某种原因不可用。
数据正确性 :它可能以不同的方式定义,通常取决于数据类型。客观数据的正确性可以很容易地验证,但对于不太客观的数据,定义正确性可能要难一点。不正确的数据可能会导致灾难性的情况,例如去中心化金融协议的资金损失。因此,为了获得最准确的资产价格,我们不仅需要像 RedStone Oracles 一样使用这 180+ 个数据源,还需要将它们作为唯一数据进行平均,这就是几种方法发挥作用的地方。
安全事故:在 2022 年,Mango Markets 由于其 MNGO 代币的流动性低而遭受了 $117M 的损失。这种低流动性使攻击者能够人为地抬高 MNGO 价格,并将其用作抵押品来借入其他加密货币,从而利用预言机不准确的价格估计。在这种情况下,RedStone 会使用流动性加权平均价格 (LWAP) 方法,这本可以防止这种攻击。
说一下常见的聚合算法
第一个聚合算法是计算平均值。它非常简单,看起来可能很“公平”,但实际上它有一个明显的缺点,因为它无法抵抗哪怕是一小部分损坏的源代码的操纵。例如,假设您想从 5 个不同的交易所获得 ETH/USD 价值,其中 4 个声称当前价格在 3500 美元左右,但其中一个坚持认为只有 5 美元,那么平均值是 2800美元,偏差太大,不能被认为是正确的。这就是为什么通常将平均值计算以及其他聚合方法与四分位距过滤器相结合的原因,这有助于过滤掉异常值和市场操纵。

还是上边图画中举例子,这边有5个价格,分别是5 3495 3500 3510 3520,这5个价格奇数形式我们采用中间的价格是3500,如果是偶数形式,添加一个4000,那么我们采用中间俩个相加再除以2的价格,也就是(3500+3510)/2=3505。
中位数方法完全忽略了异常值,这使得输出数据比平均方法准确得多。

下一个也是最好的聚合方法之一是成交量加权平均价格计算。这是一种基于交易的价格确定,它考虑了不同来源的不同交易量。来源的交易量越多 其价格价值的权重就越大。有时,VWAP 还与四分位距滤波器结合使用以过滤掉异常值,以增强安全性
值得一提的是,由于去中心化交易所上的流动性计算简单,还可以计算来自多个去中心化交易所的流动性加权平均价格 (LWAP),这与 VWAP 具有相似的优势。

价格聚合的另一种常用方法是基于加权平均价格,其权重由时间标准定义。这对于仅基于去中心化交易所计算价格值特别有用。许多 DEX 甚至提供自己的基于 TWAP 的预言机解决方案。但除了基于 DEX 的预言机之外,这种方法还可用于在数据源数量有限的情况下使市场操纵变得更加困难。RedStone 使用 TWAP 使低流动性资产的定价数据更加稳定可靠。

结尾:理想的价格值实际上取决于请求的订单(金额、买入/卖出类型),并且应该考虑到每个可用交易所的订单簿和所有相关费用。它承认实现完美的复杂性,但强调了在了解潜在风险的同时选择适合用例的聚合方法的重要性。根据定义,足够好的价格价值并不需要是理想的。上述聚合算法的一些组合可能适用于 DeFi 领域的大多数用例。尽管如此,在构建依赖于预言机定价数据的 DeFi 协议并为您的情况选择最佳聚合方法(或方法)之前,了解所有潜在风险非常重要。
全文结束
官方网站
官方文档
https://docs.redstone.finance/docs/introduction
官方博客
https://blog.redstone.finance/
官方推特
官方Discord
我的推特
No activity yet