我们的社会正处于前所未有的信息大爆炸时代,计算机、智能设备、电视、家居安全系统、可穿戴设备、汽车、甚至机器人都时时刻刻在生产和使用着数据。随着AI和物联网(IoT)的发展,庞大的设备群又会产生海量的数据。未来将是数据成为主要生产要素的数字时代,呈指数级增长的数据量对于当前的数据存储体系提出了更高的要求,服务包括数据存储、管理、检索。

传统的中心化云存储是一种将存储资源放到云上供人存取的存储解决方案。以互联网云存储作为服务的商业模式由来已久,亚马逊网络服务公司早在2006年就推出了Amazon Web Services (AWS),将自己的服务器和存储空间租借给用户,降低了开发者创建并管理服务器基础设施的开销。目前,互联网云服务市场已经十分巨大,2021年市场规模达到了2000亿美元。国外的亚马逊、微软、谷歌,以及国内的阿里巴巴等公司代表了中心化云存储的头部企业。
2021年各云服务市场的市场份额情况如下:

其中,亚马逊网络服务公司常年保持行业龙头地位,2021年收入已经达到了620亿美元,约占云服务市场份额的33%。排名第二的是微软,今年来增长惊人,市场份额已经从2017年的13%提升到2021年的21%。就亚马逊网络公司来说,其中四个核心部门分别是:云计算、云存储、网络和软件,各个部门的收入增长情况如下:

图中数据显示,增长最快的板块是软件服务,2021年第三季度的收入达到近70亿美元。云计算、云存储、网络服务的增长曲线和收入比较接近,在30亿美元左右,较2018年的收入水平已经翻倍。综上,在大数据时代,云存储的市场增长空间仍十分广阔。
随着时间推进,中心化云存储的服务不断改进,价格不断降低。但由于中心化存储将数据集中化、涉及的数据量更大,使得数据更容易收到攻击和泄露。中心化存储数据的安全性、隐私性和可持续性都存在一定风险,使得行业逐渐陷入瓶颈。
数据的安全包含两层含义:第一层是“可以保证数据隐私不泄露”,第二层是“可以保证数据的完整不丢失”。
在当前的中心化存储模式下,用户将敏感数据全部上传,不但使用户失去了对自己数据的掌控权,还将数据泄露的风险转移到云存储运营商一侧。如果这些隐私信息发生数据丢失、损坏、泄露、或被盗用,可能导致个人、企业乃至整个社会的重大损失,并使云存储运营商名誉扫地。
同时,云存储本身也不过是一种商业模式,中心化的云存储运营商可能因各种市场或自身经营的问题跑路或是停止服务,而用户却无法对服务商的行为有任何约束和索赔的行为。这就造成用户往往倾向于将数据存储在规模更大、更有信用的服务商处,使头部公司的数据集中化程度越来越高,这也造成了数据一旦丢失将存在更大面积丢失的情况。
在可持续性方面,当前中心化存储的模式存在一定服务商的限制。随着无人驾驶和物联网(IoT)的普及,大量的只能设备将接入网络并产生指数级增长的实时数据。在这种情况下,中心化的数据存储显然不能满足网络存储的需求。未来数据存储系统不仅要索道数据的存储、共享、读取,还要做到高效、准确的数据传输和分析,这对中心化的数据存储结构造成了极大的挑战。
综上,数据中心化存储模式的脆弱性在一定程度上不利于大数据时代的发展。为了从根本上解决传统中心化存储频繁的数据泄露、服务的限制、运营商停运等问题,去中心化/分布式存储这一概念逐渐兴起。
去中心化存储网络(Decentralized Storage Network,DSN)是一种以区块链为底层技术,通过分布式存储将文件或文件集分片存储在供应方提供的存储空间上的存储商业模式。去中心化存储之所以重要,是因为它解决了上述WEB2.0中心化云存储的种种痛点,并且更顺应大数据时代发展的需求,能以更低成本、更高效率地存储非结构化的边缘数据,赋能IOT和自动驾驶等技术。同时,去中心化存储还是WEB3发展的基石。
上文分析道,传统互联网采用的中心化存储数据全部在应用平台服务器上,目前面临着如用户数据安全、所有权、隐私保护和可持续性等诸多问题。而去中心化存储的优势正在于数据可跨多位置复制并在多出被访问,减少了黑客通过单一节点攻击的安全性问题,能够有效进行数据确权和隐私保护,并使用户可以完全控制自己的数据。这样的安全性和隐私性是中心化网络所不具备的。此外,以Arweave为首的项目专注数据的永久存储问题,为重要数据存储的长期稳定性做贡献。可以说,中心化存储所面临的挑战正式去中心化存储迎来的机遇。
结构化数据指代传统的关系数据库里存放的内容,而图片、音频、视频、文档等以普通文件形式存放的数据就是非结构化数据。根据IDC报告,未来的数据中,75%增量都是非结构化的边缘数据。不同于集中式云存储服务,分布式存储可以讲数据存储从远距离的云服务器端,迁移到离数据更近的边缘存储设备或边缘数据中心就近存储,具有更低的网络通信开销、交互延迟和带宽成本,更高的自适应能力与可扩展性,适合处理数据量大、速度快的存储。
去中心化的数据存储,尤其是在针对非结构化的数据上,有着明显的成本优势。因为分布式存储通过节点和代币奖励的形式改变了生产关系,让终端用户以很低的价格使用存储、索引等服务。例如,用IPFS网络存储的NFT几乎没什么成本。相对的,传统互联网的网盘业务,如百度网盘,其实有非常高的中心化运营成本。所以,从成本方面来看,去中心化存储时有明显的竞争优势的。
去中心化存储时WEB3.0领域最早出现也是最受关注的基础设施之一。最早的去中心化存储方案Storj和IPFS协议在20117年就已经上线。如果没有分布式存储,就不存在去中心化的网络,更不会存在web3.0。那些只有去中心化服务,却没有底层去中心化存储支持的项目,严格意义上不能算是一个web3项目。所以说,去中心化存储时赋能web长期发展的基石,意义重大。
综上,去中心化存储既解决了传统中心化存储的问题,服务了大数据时代下传统行业的数据存储需求,又赋能了新兴的web3.0。作为加密领域的重要基础设施,去中心化存储赛道的商业模式明确清晰,市场规模呈显著增长趋势,对于旷工和投资者来说,整个市场是有利可图的。随着WEB3生态的发展,以及对隐私和用户数据所有权的重视,去中心化存储领域将带来显著回报。

去中心化存储发展的不同阶段,解决了不同的问题:
Storj、Sia用只能合约实现了P2P的供需匹配,适用于大规模数据的存储,但其本质是存储资源的对接,缺乏有效的内容寻址方法,不利于文件共享,如电影、音频等。
IPFS实现了文件寻址,是对互联网底层协议的重大革新。Filecoin、Crust等项目通过激励层构建了IPFS存储网络,从而提供稳定的去中心化存储服务。
Arweave通过穿心的共识机制实现文件的永久存储。
2021年上线的Ceramic数据库存储协议能满足高频数据需求。Stratos则退出区块链、存储、计算三位一体的web3去中心化基础架构。
然而,即便经历了5年的发展,去中心化存储仍然处于初始阶段。目前,Filecoin全网有效存储量是59.6PB,Arweave踪存储量达到76.3TB。根据web3 Index数据统计,Arweave过去90天存储费用为18.5万美元,Storj为5.5万美元。可见,不论是存储规模还是性能,去中心化存储目前都与中心化存储相差甚远。然而,基于去中心化存储的种种优势,未来赛道还有极大的增长空间,并将爆发出更多的可能性。


















