数据可用性在区块链的分离

https://www.databricks.com/glossary/hadoop-distributed-file-system-hdfs

https://www.cnblogs.com/meet/p/5435979.html

https://en.wikipedia.org/wiki/Apache_Hadoop#History

存算分离的逻辑

     谷歌的三篇论文引发了大数据分布式存储和计算平台的发展，也就是直接导致了Hadoop的诞生。Hadoop在大数据中的地位不用言说，是现在主流平台的直接起源。

     比特币代表了数十年密码学和分布式系统研究的结果。分布式技术作为现在所有链的技术底座，我从这个角度来看，比特币发扬了BigTable，以太坊发扬了MapReduce，现在缺少HDFS这样的角色。数据可用性（DA）的分离是符合这种自然分工的结果。理由如下

     1/ 比特币网络上的区块链数据库，只存储有价值的货币交易数据。到以太坊状态机的诞生，处理的不仅仅是货币交易数据了，凡是交易，可计算、可重复、可得到结果的过程都可以用智能合约来封装，一次封装无数使用，智能合约带来的状态数据爆炸是有一天会发生。

     2/HDFS作为海量的分布式存储框架是海量计算的前提。它的结构在于通过NameNode和DadaNode两类节点来分布式存储数据，HDFS将文件分割成一个个的block块，同时备份每一个block块有三个复制品，这样可以实现分布性系统的高容错，并且实现在廉洁硬件上的部署。在Hadoop架构中，存算分离是其核心思想。

https://w3hitchhiker.substack.com/p/da

     3/区块链的数据可用性我总结一下是一种可信任的数据的持久化机制，主网需要随时访问并下载。这里的访问并不是访问存在很久的历史数据，而是最新最近的数据。在区块链中数据可用性不仅仅是存储数据，还需要验证数据，DA想打造的是区块链的文件可用性的底座，这也是一种以太坊的扩容方案。

     4/长期来看，DA体现是“存算分离”的思想，它服务的是所有的区块链，无论是L1、L2、L3……

如何实现独立的DA

https://foresightnews.pro/article/detail/16257

https://mirror.xyz/godotsancho.eth/vapZhsPJ9pS9ShGcpq_fL_rE5zWNiUrN9KjbkG1lnIM

Celestia 和 Polygon Avail

Celestia:

  • Celestia 为其他 Layer1、Layer2 提供可插拔的数据可用层和共识，基于 Cosmos Tendermint 共识及 Cosmos SDK构建

  • Celestia 是 Layer1 协议，兼容 EVM 链及 Cosmos 应用链，未来将支持所有类型的 Rollup，这些链可直接使用 Celestia 作为数据可用层，区块数据将通过 Celestia 存储、调用、校验，再回到自有协议清算。

  • Celestia 也支持原生Rollup，可直接在其上构建 Layer2，但不支持智能合约，所以无法直接构建 dApp

数据可用性的抽象，也就是模块化公链最早是由Celestia首先提出，Avail 的思路与 Celestia 基本相同，不同之处在于如何生成扩展矩阵以及轻节点如何验证数据。Avail与Celestia大同小异不再讨论。

DA的两个竞争对手：EIP-4488 和 EIP-4844

EIP-4488 :

  • 提议将 calldata 的 gas 消耗量从每字节 16 减少到 3

  • calldata 占用的上限，大约为 1.4MB

EIP-4488 可以立即降低 Rollups 的成本，这使目前需要的变化最小化。但 Rollups 会继续增长，而且不可能无限期地增加 calldata 的空间，因为这会给以太坊网络带来安全风险。这也决定了它是一个短期的权宜之计。

EIP-4844 :建议引入一种新的交易格式，称为 "blob 携带交易（blob-carrying transactions，blob: binary large objects）"。blob 包含大量的数据，成本比 calldata 低得多。EVM 不访问这些数据，只关心这些数据的承诺。验证一个 blob 只需要验证其可用性。这种交易格式与未来的全分片交易格式完全兼容。blob 存储在信标链上，其中存储数据和交易所用的 gas 是单独计算上限和定价的。

EIP-4844 是一个积极的过渡计划，它也是由以太坊主网提供的数据可用性。然而，它不能简单地等同于现有的计划。blob 是一个独立的数据可用性层的原型，在技术上和经济上都为独立的 DA 空间做了准备。当全分片实现后，blob 可以迁移到分片链上，这时需要对信标链做一些改动，但 Rollups 需要的改动很小。可以说，分片之后，以太坊将实现自己相对独立的数据可用性层，类似于 Celestia 和 Avail。

我的判断力

     存算分离的推理是在区块链技术面向全世界至少10亿人类用户体量上的可行性分析的结果。在区块链模块化的趋势之下，数据可用性可以说是一个底座。这样的底座，我认为不会是只有一家，提供区块链上的Iaas。