未来的去中心化存储场景会包括完整的互操作性、数据可用性、安全性以及通过中间件和 API 提供用户 / 开发者友好的链下计算。

原文标题：《2022 年末总结：去中心化存储的现状与未来》

撰文：Jason

TL; DR

• 将非核心数据从主链上分离并存入 DSN（Decentralized Storage Network）已经成为了解决扩容、提升互操作性和隐私保护的主流方案。
• Filecoin 在矿工网络和存储成本上拥有极大的优势，但是 Arweave 的永久性存储可以给 NFT 或社交类应用提供更加可靠的解决方案。
• L1 扩展存储网络可以提供相比 DSN 互操作性更高的新方案，但是仍然需要时间验证模式。
• 未来的去中心化存储场景会包括完整的互操作性、数据可用性、安全性以及通过中间件和 API 提供用户 / 开发者友好的链下计算。

去中心化存储的发展历程

数据存储板块一直以来都是科技界发展的基石和重点关注领域。从基于亚马逊、微软、阿里巴巴等提供了中心化云存储服务以来，云存储市场已经基本形成了 1000 亿美元以上 (2021 年 ) 的市场规模且头部效应明显（亚马逊 40%，微软 22%，阿里云 10%，数据来源 Gartner）。而随着 Web3 的爆发，一批去中心化存储的供应商开始满足传统云存储市场满足不了的需求。虽然目前大多数的 dApp 仍然部署在 AWS 上，而以太坊的节点在 merge 前也有超过 50% 在 AWS 上运行[1]，但是Web3 项目却逐渐发现了将后端和元数据与去中心化存储连接的重要性和必然性。根据 Ethereum.org 的定义，去中心化存储是一个由 p2p 网络构成的，每个运营者拥有整体数据的一部分并可以通过算法复原的数据分享系统[2]。去中心化存储虽然可以解决诸多问题，例如数据隐私性保护、抗审查等，但目前的去中心化系统发展还不成熟且有诸多亟待解决的问题。经过（主）链上存储方案的不断尝试，DSN（Decentralized Storage Network）是目前的主流解决方案，这种方案可以最大程度上将存储容量提升到接近于无限，并且对数据的安全性和隐私性有所保障。

表 1 区块链数据存储方案比较

具体链上扩容方案可以参考文章：https://zhuanlan.zhihu.com/p/48078642

来源: Puzzle Ventures

笔者认为，链下的存储层终将会成为 Web3 生态中的重要基础设施，并通过热存储、冷存储的方式解决任何协议层、运行层的数据存储问题。

来源: Puzzle Ventures

在未来，「不可能三角」中的扩容问题可以通过将存储层完全剥离但维持互操作性的方式来解决，并通过建立于冷存储层之上的中间件、API 等服务提升数据计算、调用、推送的效率。

去中心化存储的发展现状：分类与规模

去中心化存储本质上服务于 Web3 生态的应用层，因此在解决方案上更加倾向于满足终端用户的需求，也就是用更高效、更低成本的方式执行数据存储、计算与调用的需求。从分类上来看，Arweave、Filecoin和Storj已经形成了独立的三个头部去中心化存储网络，其中 Filecoin 和 Storj 是更加去中心化的 P2P 存储网络，而 Arweave 是更紧密组织的存储节点网络。另一方面，不同类型的存储聚合网络因为满足用户费用优化、存储方便等需求，逐渐成为更有吸引力的 gateway，但仍然架构在 Arweave 或 Filecoin 之上。另外，以EthStorage为代表的 L1 扩展网络则专注于可直接调用主链 DA 层且提供额外的算力的设计，与 L1 深度链接。

（注：图中所列项目以现存项目和新项目为主，不包含往期项目）

来源: Puzzle Ventures

另外还有建立于底层存储网络之上或独立的计算网络和协调型中间件也是去中心化存储生态的补充部分，但以生态 dApp 为主，本文不重点讨论。

从发展规模角度来看，Filecoin无论在收入、FDV 还是市场份额角度来看都遥遥领先，并且用户存储使用度仍然在不断增加。然而，三百多万美元的季度收入无论在 Web2 还是 Web3 领域都不能算多，并且还是在几乎垄断的情况下。所以整个去中心化存储赛道仍然有着很大的发展空间。

表 2 去中心化存储 Q3 2022 收入与规模

来源: Messari, Web3 Index, CoinGecko

而Arweave和Storj的季度收入还处于十万美元级别，也就是日收入一千多美元，还远远没有达到其应有的市场规模。原因一方面与熊市整体市场萎靡相关，另一方面则是因为目前的 DSN 存储方案还没有达到与 Web3 完美契合的拐点。在未来，整个 DSN 市场一方面需要更多的中间件、聚合器去提供更多的用户流量，另一方面也需要对自身的成本与价值不断调整优化。

主流方案：Filecoin 与 Arweave 的比较

1 功能性

在现阶段，Filecoin 和 Arweave 采用的不同技术架构也带来在功能性上的不同。根据 Fundamental Labs[3]的研究报告，我们把功能性的评估框架定义为：存储范围的灵活性、存储的永久性、避免冗余能力、数据存储的激励性、存储数据的普遍性、数据的可获得性。从某种程度上来说，Arweave 和 Filecoin 是一对互补的方案：Arweave 更专注于数据存储的永久性和稳定性，更适合 metadata 和历史数据等；而 Filecoin 则可以提供更灵活的存储方案（存储时间、种类），更适合个人和非关键数据的存储。

来源：Fundamental Labs

从最新的技术发展进程来看，Filecoin version 17「Shark」主要建立了存储协议的可编程性，也就是在存储层上增加了智能合约的互动层，并计划于明年二月推出 FEVM 系统。Filecoin 上的数据可用性和活跃度将有所提升，并可以支持更多元化的互操作性，这也是 Filecoin 相比 Arweave 的灵活性优势。而 Arweave 仍然在数据安全性、节点激励稳定性（endowment）和存储入口上着力发展，对于永久性存储这一理念持续「充值信仰」。因此，虽然很难断言哪一种方案更有优势，但无论如何这两个去中心化存储协议已经在各项功能上发展的比较完善来满足去中心化存储的基本需求。

2 费用

同样，Filecoin 和 Arweave 在费用方面也很难直观的比较，本文旨在尽可能合理的方式来对两者的费用形成一定的感知。为了形成数据可比性，本文采用同等存储大小在 200 年的存储时间内的价格作为比较对象（Arweave 一般认为可以支持存储 200 年）。

表 3 云存储费用比较（数据截取于 2022 年 12 月）

来源：Amazon.com, Arweavefees.com, File.app, Filfox.info

从表 3 中可以看出，AWS 最基础的 S3 Standard套餐的价格约为 $0.023 per GB per month，则存储 200 年需要 $55.2 per GB，而相对更适合长期冷存储的Glacier Deep Archive方案可以把价格压低至 $2.38 per GB，但是每年的归档次数有限制。而Arweave 随着 AR token 的价格波动会产生不同的价格，2022 年 12 月的价格是 $1.42 per GB，也就是说存储 5 年左右就可以和 S3 standard 的存储成本持平。另一方面，Filecoin 的价格计算较为复杂，因为不同的矿工给到的价格有差别且 FIL token 价格、存储时间和数据调用的频率都会对价格造成影响。但无论如何Filecoin 的存储成本相比 Arweave 和 S3 来说已经便宜了好几个数量级，可以几乎被认为是零成本存储。

但价格是最主要的因素吗？Arweave 的永久性存储对于 Web3 的意义是更加重大的。例如 NFT 如果丢失了元数据和图片数据就会瞬间失去价值而变成一个点不开的连接，而在 Filecoin 的存储协议中，由于过于去中心化的管理方式会造成 Garbage Collection 的风险，也就是其存储文件的节点中如果对某些文档没有标星的话会有被误删的风险。同时，当 Filecoin 存储的时间到期时需要更新存储方，这个过程中也容易形成风险。反观 Arweave，通过 AR 的激励机制鼓励节点存储数据到 200 年，并且针对 AR 未来的贬值也做出了相应的补偿激励，同时在存储过程中会通过周期性的随机检查来确保节点仍然完整的存储数据。这些措施都是为了确保每一个节点都能通过完整的存储数据来获得激励，也保障了被存储数据的安全性和可靠性。在已经黑客事件频发的 Web3 世界中，数据存储的可靠性带来的价值不是用简单的存储价格来衡量的。

3 生态

去中心化存储的生态包括矿工 / 节点和生态 dApps。

表 4 Filecoin 与 Arweave 的生态数据比较

来源：Filscan.io, Messari

Filecoin 由于社区建设较早且关注度较高，目前的存储力在 18.9EB 左右，是 Arweave 的 17 万倍。但是 Arweave 在 3 年多的发展时间内已经形成了比 Filecoin 高 2.5 倍的存储力增长率，而且 Filecoin 的增长率实际上已经趋近于稳定的直线。从市值的角度来说，Arweave 目前的 FDV 是 Filecoin 的 40% 左右，我们可以判断 Arweave 在未来会快速追赶 Filecoin 的存储力生态。

根据 Filecoin 今年 11 月发布的未来计划[4]，Filecoin 未来会致力于满足 computation 和更大范围的 data onboarding 这两个需求，从而真正成为 Web3 世界的 Layer 0。从存储力扩展的角度来说，Filecoin 通过向 FIL+ 和 ESPA Bootcamps 这样的激励计划来促进更多的矿工来参与节点建设。而在 data onboarding 和 computation 上，Filecoin 会关注一些具体的细分市场，例如 NFT 元数据、Web2 数据源等等，然后通过 Filecoin Virtual Machine 建立链上的算力，让这些数据可以更加方便地被使用。从最新的一些Filecoin提案中（FIP-0044，FIP-0045）也可以看出data onboarding 是目前的发展重点。

反观Arweave, 最新的 2.6 版本[5]中主要的关注点是降本增效，也就是通过迭代硬件等方式降低整体存储成本和存储价格，同时提升数据存储、调用的效率。所以 Arweave 实际上是希望通过建立更好的基础环境来吸引更多的开发者和用户，同时通过生态项目来满足例如 gateways, computation 等进一步的用例。所以 Filecoin 的逻辑是提供大一统、专注于存储业务且依赖于矿工生态的去中心化存储网络；而 Arweave 更像是一个标准的 Web3 生态，通过提供完善的底层架构和激励机制营造一个适合开发和用户友好的环境，实现用户数量和 dApp 数量的有机增长。从生态项目角度来说，Arweave 上已经孵化出了包括 Bundlr, Kyve, ArDrive, KwilDB 等一批针对技术优化、存储入口、应用扩展方向的优质项目，并且大部分项目负责人都是年轻的创业者为主，发展潜力较大。Filecoin 的生态项目数量上有着基数大的优势，Filecoin 生态更像是一个开源环境，可以满足更广阔的存储相关需求但并没有重点的发展方向。

新方案：聚合网络与 L1 拓展网络

1 聚合网络

聚合网络的概念实际上早在 Filecoin 上线之初就有了，例如 Coldstack 等早期项目。然而 Coldstack 并没有获得巨大成功，究其原因主要是纯粹的、Uber 式的聚合器并不能真正提升存储效率，而且除此之外无法提供进一步的价值。存储协议的聚合网络的确可以解决用户存储效率和成本上的痛点，但是做法却可以有多种。首先，这些聚合网络得比 Filecoin 和 Arweave 自身的 gateway 要做的好才能获得市场认可。随着 Filecoin 往 FVM 链上计算的方向发展，很可能会挤掉一批建立在 Filecoin 之上，提供额外 computation 能力的聚合网络。其次，不同的聚合协议要解决 Filecoin 或 Arweave 本身很难实现的问题，而不是做大一统的聚合流量入口（至少早期切入点不是），因为大一统的流量入口最终将会由 Filecoin 和 Arweave 自身把控。

Jackal就是建立在 Filecoin 之上且专注于提升数据隐私性和安全性的聚合器方案。它提供了一套给已存文件进一步 AES-256 加密的方案，并通过 Cosmos 建立 PoS 共识的 L1 链来管理和收费，相当于在 Filecoin 之上又建立了一层私有云存储协议。同时，Jackal 还将通过其 Proof-of-Persistence 算法来提供 3 倍的文件拷贝，并在存储价格上进行优化。Redundancy 和 cost 并不是去中心化存储的核心问题，但是数据隐私和安全的提升是 Filecoin 本身在短时间内较难做到的。4EVERLAND是另一个聚合了 Filecoin, Arweave 和 Dfinity 作为底层存储层的云计算平台，主要专注于给 dApp 提供去中心化存储、计算和网络的核心能力，打造底层去中心化存储层和应用层之间的连接层。从目前来看，Web hosting 和 Bucket 是其主要的两个产品，hosting 在 4EVERLAND 全球 200 多个网关加速的情况下可以完成前端托管，而 Bucket 则是一个聚合 gateway。这两个产品都从用户友好性上大幅提升了去中心化存储的实际使用度，并且解决了例如多币种付费、数据面板等细节层面的优化问题。

2 L1 存储扩展网络

L1 存储扩展网络本质上和现有的 Layer 2 相同，都是提升 L1 性能和可扩展性的解决方案的总称。而 EthStorage则是第一个以存储扩展为核心的 Layer2 解决方案，主要包括三大类的功能：Proof of Publication, External Data Retention, Access Protocol。Proof of Publication 即通过其特制的 KZG Commitment 和 Reed-Solomon Code 来实现存储数据的 CRUD 功能，而 Filecoin 和 Arweave 目前只能做到 CRD。在增加了 Update 功能以后，再结合 Access Protocol 这样的可直接渲染以太坊合约上面托管的资源的 Web3 URL 功能，就可以轻松实现例如 Web3 Email、Web3 Blog、Web3 Drive 等链上活动，这些尝试都有助于未来的 Web3 大规模应用。

另一方面，由于其 EVM 兼容和链上存储的特性，相比 Filecoin 和 Arweave 来说交互路径更短，所以可组合性也更高。举例来说，EthStorage 可以将 NFT 的元数据链上存储在 EVM 环境中，并可通过智能合约完成 NFT 组合等需要可编程性才可以实现的新玩法，改善用户体验，而链上数据（大规模的）的可编程性在未来也会衍生出更多的新 Defi、Gamefi、Socialfi 应用。目前来看，L1 存储扩展网络和 DSN 网络是互补且竞争的，要在 EVM 生态中生存并且将其存储范式演化成官方标准，需要时间来验证。

未来发展的可能性

总的来说，Filecoin 和 Arweave 发展至今已经成为了去中心化存储的代表性项目，也代表着去中心化存储的 0 到 1 过程基本完成。在发展理念上，将非链上核心数据拆分到存储层已经成为了以太坊扩容的主要手段。与此同时，存储聚合网络和 L1 扩展网络作为补充和延展，可以更高效、低成本的满足用户的具体需求，而基础的 DSN 网络还有很多需要解决的问题：生态应用偏少、存储与计算分离、Web2 onboarding 较难等问题都阻碍了 DSN 迈向下一波增长。在未来，本文判断以下几种类型的项目有可能成为下一波增长的引擎：

1. DSN 聚合器：建立在不同 / 相同 DSN 网络上的聚合入口，并提供费用最优化的选择、统一代币支付、数据可用 / 调用服务等提升用户友好性的工具。类似项目：Lighthouse, 4EVERLAND
2. 链下计算：虽然 Filecoin 已经在链上的去中心化计算布局，但纯粹的链上计算并不能满足更复杂的计算要求。结合链上数据和链下计算的综合性解决方案可可以通过完成更复杂的计算来提升数据的使用价值，扩展用例。类似项目：KwilDB, Tableland
3. L1 存储扩展网络：L1 存储和算力扩展的优势是可以直接与 L1 生态产生深度连接，即使满足类似 social、gaming 这样数据存储需求较大的项目，同时还可以在获得官方认可后快速大规模实现 integration。类似项目：EthStorage
4. 第三方数据安全网络：对现有的 DSN 中存储的数据进行安全保护，对存储节点进行审查、备份和阻挡黑客攻击，提供相关赔偿保险方案。类似项目：Jackal

参考文献：

[1]https://cointelegraph.com/news/3-cloud-providers-accounting-for-over-two-thirds-of-ethereum-nodes-data

[2]https://ethereum.org/en/developers/docs/storage/

[3]https://6pjecoitbb3mbacc67rvmct3gbugplnty5ptok4rgunlo24tvq.arweave.net/89JBORMIdsCAQvfjVgp7MGhnrbPHXzcrk_TUat2uTrA

[4]https://filecoin.io/blog/posts/the-filecoin-masterplan/

[5]https://arweave.news/arweave-2-6-major-upgrade-more-data-less-energy/