![Cover image for 1.5[Intermediate] Iceberg-Trino 如何解决链上数据面临的挑战](https://img.paragraph.com/cdn-cgi/image/format=auto,width=3840,quality=85/https://storage.googleapis.com/papyrus_images/5f9d4430fcd78103e346b51a95d59f17df5ed3a8d9b08ea412a1d2ba116f9247.jpg)
1.5[Intermediate] Iceberg-Trino 如何解决链上数据面临的挑战
此文章是 #Web3 data 系列 的其中一个章节。链上数据处理面临的挑战区块链数据公司,在索引以及处理链上数据时,可能会面临一些挑战,包括:海量数据。随着区块链上数据量的增加,数据索引将需要扩大规模以处理增加的负载并提供对数据的有效访问。因此,它导致了更高的存储成本;缓慢的指标计算和增加数据库服务器的负载。复杂的数据生产流程。区块链技术是复杂的,建立一个全面和可靠的数据索引需要对底层数据结构和算法有深刻的理解。这是由区块链实现方式的多样性所决定的。举一个具体的例子,以太坊中的 NFT 通常是在遵循 ERC721 和 ERC1155 格式的智能合约中进行创建的,而像Polkadot 上通常是直接在区块链运行时间内构建的。对于用户来说,不管是任何形式的存在,这些数据应该被视为 NFT 的交易,需要被存储,并且处理为可读状态,方便分析以及进行计算。集成能力。为了给用户提供最大的价值,区块链索引解决方案可能需要将其数据索引与其他系统集成,如分析平台或 API。这很有挑战性,需要在架构设计上投入大量精力。随着区块链技术的使用越来越广泛,存储在区块链上的数据量也在增加。这是因为更多的人在...

区块链游戏概览:回顾 2023,展望 2024
作者:lesley@footprint.network 数据来源:区块链游戏年报关键要点今年,比特币(BTC)市值从上年的低谷中强劲回升,相较之下,区块链游戏市场的增长虽然较为平淡,但年末也迎来了显著的上升势头。今年的游戏中,仅有 6% 的游戏拥有超过 1,000 个活跃钱包,相比去年的 10% 有所减少。2023 年,尽管整体交易量比 2022 年的高点有所下降,交易次数却相对稳定。2023 年,区块链游戏行业正在发展,而 AI 也在深刻改变着这一行业。Layer 2 区块链也发展迅速,但 BNB 链等老牌区块链仍占据市场。市场正在期待顶尖区块链游戏的出现,GambleFi 或许将迎来增长,但仍需面对监管挑战。在用户获取上,利用 Telegram 和 X(Twitter)等社交平台平台来触达庞大用户群体已成为一种趋势区块链游戏是 Web3 领域对于大众普及的重要催化剂,在简化复杂概念、让人们理解区块链技术上发挥着重要作用。与其他领域不同,传统游戏里早已存在的游戏货币和道具概念,使区块链游戏成为普罗大众更易理解和接受的 Web3 普及方案。 尽管 2023 年区块链游戏市场交易量...

如何使用Footrace 钱包监控功能和设置自定义的交易警报
本文将介绍如何使用 Footrace 监控 CEX 的钱包地址并设置自定义警报。 2022-06-12 本文将介绍如何使用 Footrace 监控 CEX 的钱包地址并设置自定义警报。 什么是 Footrace? Footrace (Foot Trace) 是一个多链的钱包追踪监控平台,可以监控CEX、DEX、鲸鱼、聪明钱、或任何你想关注的地址的钱包。 Footrace 帮助投资者保护他们的投资并监控异常的市场和资金流动。您可以设置自定义警报,通过电子邮件、电报、Discord、SMS 等向您发送重要的资金流通知和警报。Footrace 中心化交易所监控页Footrace目前监控了 122 交易所的资金流活动及其钱包余额。包括了中心化和去中心化交易所的地址数据。由于这些交易所和基金可能会添加新的钱包地址,用户可以使用Footrace的钱包地址的功能来添加 Footrace 缺少的任何钱包地址。Footrace 地址提交工具 如何开始监控?钱包余额在监控交易所时,钱包余额是需要仔细关注的指标之一。具有大量钱包余额的交易所通常意味著有大量的客户,并反映出市场对此加密货币交易所的高度信...
Footprint Analytics 是一个全面的区块链数据分析平台,简化了 Web3 项目的分析和社区管理,实现可持续增长。


![Cover image for 1.5[Intermediate] Iceberg-Trino 如何解决链上数据面临的挑战](https://img.paragraph.com/cdn-cgi/image/format=auto,width=3840,quality=85/https://storage.googleapis.com/papyrus_images/5f9d4430fcd78103e346b51a95d59f17df5ed3a8d9b08ea412a1d2ba116f9247.jpg)
1.5[Intermediate] Iceberg-Trino 如何解决链上数据面临的挑战
此文章是 #Web3 data 系列 的其中一个章节。链上数据处理面临的挑战区块链数据公司,在索引以及处理链上数据时,可能会面临一些挑战,包括:海量数据。随着区块链上数据量的增加,数据索引将需要扩大规模以处理增加的负载并提供对数据的有效访问。因此,它导致了更高的存储成本;缓慢的指标计算和增加数据库服务器的负载。复杂的数据生产流程。区块链技术是复杂的,建立一个全面和可靠的数据索引需要对底层数据结构和算法有深刻的理解。这是由区块链实现方式的多样性所决定的。举一个具体的例子,以太坊中的 NFT 通常是在遵循 ERC721 和 ERC1155 格式的智能合约中进行创建的,而像Polkadot 上通常是直接在区块链运行时间内构建的。对于用户来说,不管是任何形式的存在,这些数据应该被视为 NFT 的交易,需要被存储,并且处理为可读状态,方便分析以及进行计算。集成能力。为了给用户提供最大的价值,区块链索引解决方案可能需要将其数据索引与其他系统集成,如分析平台或 API。这很有挑战性,需要在架构设计上投入大量精力。随着区块链技术的使用越来越广泛,存储在区块链上的数据量也在增加。这是因为更多的人在...

区块链游戏概览:回顾 2023,展望 2024
作者:lesley@footprint.network 数据来源:区块链游戏年报关键要点今年,比特币(BTC)市值从上年的低谷中强劲回升,相较之下,区块链游戏市场的增长虽然较为平淡,但年末也迎来了显著的上升势头。今年的游戏中,仅有 6% 的游戏拥有超过 1,000 个活跃钱包,相比去年的 10% 有所减少。2023 年,尽管整体交易量比 2022 年的高点有所下降,交易次数却相对稳定。2023 年,区块链游戏行业正在发展,而 AI 也在深刻改变着这一行业。Layer 2 区块链也发展迅速,但 BNB 链等老牌区块链仍占据市场。市场正在期待顶尖区块链游戏的出现,GambleFi 或许将迎来增长,但仍需面对监管挑战。在用户获取上,利用 Telegram 和 X(Twitter)等社交平台平台来触达庞大用户群体已成为一种趋势区块链游戏是 Web3 领域对于大众普及的重要催化剂,在简化复杂概念、让人们理解区块链技术上发挥着重要作用。与其他领域不同,传统游戏里早已存在的游戏货币和道具概念,使区块链游戏成为普罗大众更易理解和接受的 Web3 普及方案。 尽管 2023 年区块链游戏市场交易量...

如何使用Footrace 钱包监控功能和设置自定义的交易警报
本文将介绍如何使用 Footrace 监控 CEX 的钱包地址并设置自定义警报。 2022-06-12 本文将介绍如何使用 Footrace 监控 CEX 的钱包地址并设置自定义警报。 什么是 Footrace? Footrace (Foot Trace) 是一个多链的钱包追踪监控平台,可以监控CEX、DEX、鲸鱼、聪明钱、或任何你想关注的地址的钱包。 Footrace 帮助投资者保护他们的投资并监控异常的市场和资金流动。您可以设置自定义警报,通过电子邮件、电报、Discord、SMS 等向您发送重要的资金流通知和警报。Footrace 中心化交易所监控页Footrace目前监控了 122 交易所的资金流活动及其钱包余额。包括了中心化和去中心化交易所的地址数据。由于这些交易所和基金可能会添加新的钱包地址,用户可以使用Footrace的钱包地址的功能来添加 Footrace 缺少的任何钱包地址。Footrace 地址提交工具 如何开始监控?钱包余额在监控交易所时,钱包余额是需要仔细关注的指标之一。具有大量钱包余额的交易所通常意味著有大量的客户,并反映出市场对此加密货币交易所的高度信...
Share Dialog
Share Dialog
Footprint Analytics 是一个全面的区块链数据分析平台,简化了 Web3 项目的分析和社区管理,实现可持续增长。

Subscribe to Footprint Analytics

Subscribe to Footprint Analytics
<100 subscribers
<100 subscribers
此文章是 #Web3 data 系列 的其中一个章节。
加密货币分析平台使人们能够除了跟踪代币和 NFT 价格,可以更深入地了解链、协议和项目的情况。然而,并非所有平台和工具都是类似的。
在广度和可使用性、系统性能和灵活性、价格和功能等之间总是有一个权衡。为了帮助分析师选择最适合他们需求的平台,我对三大加密货币分析平台进行了试用比较。它们分别是:
Dune Analytics
Footprint Analytics
Flipside
分析师在选择最适合自己的工具时,可以考虑11个核心指标
公链的覆盖面
灵活性和易用性
时效
性能
价格
可视化选项
数据表类型
细分领域,如 NFT 数据,GameFi
技术栈
线下数据获取能力
API接入形式
本文中,我将跟大家,探讨前3大著名数据分析平台--Dune Analytics、Footprint Analytics和Flipsid--在这些领域的差异性。

许多分析师已经写过许多关于分析工具的综合比较文章。在这篇文章中,我将只关注加密货币行内工具--即那些专门为解决区块链分析的问题而构建的工具。
此外,我不会逐一解决每个软件的问题,而是会逐个对比项进行比较。如果你或你的团队专注于一个特定的问题,如寻找最实惠的工具或具有最多 NFT 功能的工具,你可以直接跳到该部分。
覆盖率是指一个工具所索引的公链的数量,例如以太坊、Solana、Boba Network 等。然而,它也可以包括深度--公链覆盖的历史数据量。
数据工程师和区块链分析师 Primo Data 创造了最佳的最新可视化,比较了不同分析平台的公链覆盖情况。
在前三大加密货币分析平台中,Footprint Analytics 的覆盖面最广,在43条公链中,目前已经覆盖20条。Flipside排名第二,有15条,而Dune Analytics只有8条。
如果你只需要分析几个主要代币或链中的一个,如 BTC、Solana 或以太坊(这三个都提供),那么覆盖范围并不重要。
然而,在其他领域,如 GameFi,覆盖范围变得至关重要,因为许多项目都会使用他们自己的小型垂直链,如 DFK 链,Ronin 和 Wax。它的覆盖面之广使 Footprint Analytics 成为 GameFi 分析的首选平台--例如,它是唯一一个提供这三种链的底层数据以及抽象数据表的平台。
** **由于 web3 的开源性质,建立一个区块链 ETL 仓库并提供给用户随意探索相对容易。困难点在于数据解析与分析,对于绝大多数的分析师(特别是从web 2 进入 web3 的人员)来说,过渡原始的数据是无法使用的,非常依赖于现有的社区面板。另一方面,过度简化的数据指标面板,使得更高级的团队无法创建定制的、有目的的分析,无法分析数据背后产生的原因。
所有的平台最终都建立在关系型数据库之上,这意味着 SQ L被用作主要工具。要使用 Flipside 和 Dune,需要有 SQL 的知识而 Footprint 则在 SQL 之上设计了一个额外的抽象层(一种 SQL 查询生成器),也就是一个拖拉分析的界面。虽然只能通过用户界面建立简单的SQL 查询(目前不支持多语句查询,相关的子查询,窗口函数),但这是对整个生态系统的一个很好的补充,因为分析师进入的门槛变低了。
时效指的是更新数据的时间长度。
分析师 Carson Brown 在10月份的一篇深度比较文章中,对各平台的数据延时延迟进行了比较。根据他测试的结果, Dune 是3个平台中的佼佼者,而 Footprint Analytics 则在这方面相对落后,延时1个小时左右。
延时显然是一个严重的问题,11月7日,Footprint宣布了一些重要的升级措施。在升级后再次查询每个平台上的最新以太坊区块,得出以下结果。

性能指的是用户查询数据的速度。特别是对于职业分析师或那些需要高效计算指标的人来说,平台的速度是至关重要的。
我们对每个平台使用相同的简单查询--获得过去30天的 Gass Fee 总和,并跟踪了响应时间。

目前,Flipside 是响应速度最快的工具,其次是 Footprint Analytics。Dune 排在第三位,调用时间为17秒。

Dune 和 Footprint 都有为初学者提供的免费版本。还有为高级水平提供的付费账户。Footprint 的免费版本也支持数据 API。


Flipside 目前并没有收费方案。它作为项目之间的中间人(例如,Uniswap/SushiSwap/等),在提供分析的基础设施之上提供赏金,赏金与分析师之间进行划分,55分成。
这3个平台都提供了基本的制图能力。但是,如果用户想从不同的角度以及动态和静态的形式来观察数据,Footprint 提供了更多的选择。以下是对比表:

好的区块链分析的数据模型应该满足以下标准:
**减少表连接的数量。**用户应该能够快速找到要加入的分析对象。
**减少理解的成本。**这要求分析方法相对普用--举一个例子,这包括不需要独立搜索必要的智能合约地址;或者对原始交易数据进行清晰聚合。
**优化索引。**这是必要的,以确保该表能被快速查询到。
**不重复信息。**在多个表中重复信息会导致不一致和错误。
**确保数据的完整性。**通过使用外键和其他数据库工具来实现,以确保没有异常值的存在。
**尽可能地保持数据模型的简单。**这是必要的,以确保它可以很容易地被扩展和维护。
以上三个平台都支持原始交易,并能在原始数据上进行全面分析。另外,它们都有存储解码数据的表格。然而,如果你需要得到一个快速的答案,也就是业务指标的统计结果表,那么这样的表只有 Footprint 才有。

如果你对 NFT 分析感兴趣,那么在选择平台之前,评估每条公链和市场的覆盖范围是有必要的。以下查询返回相应的数值。

正如你所看到的,Flipside 支持最多的市场空间。另一方面,Footprint 有业务指标,如清洗交易(https://twitter.com/Footprint_Data/status/1578707786455666688#m),与其他指标一样,这些指标目前都支持 API 查询获取。
从根本上说,以上平台都建立在关系型数据库上。当涉及到数据库中数十亿甚至可能数万亿的行时,人们需要一个可扩展的基础设施。
这三个平台都有 SQL 作为主要的查询语言,这意味着一个查询可以在平台之间以最小的改动进行迁移。然而,Footprint 在 SQL 之上采取了另一种抽象,允许无代码拖拉查询。

在分析链上数据时,能够与结合链下数据进行比较是非常重要的。Dune 和 Footprint 实现了在各自的平台内立即上传自己的表格进行分析的功能。
Footprint 还可以参考查询表(如 token_info,protocol_info),以便快速查询相关信息,例如,通过其名称找到所需的token。Footprint 对 NFT 元数据的覆盖使 NFT 稀有度分析成为可能。

Dune(查询引擎 v2),Flipside 和 Footprint 都有一个官方的 SQL API,允许用户将任何查询从网站迁移到 API。但这并不是最简单的获取方式,开发者需要预先构建 SQL 查询,再获取对应的数据 API。Footprint 则支持 REST API,人们可以通过简单的一行代码接入来获得数据。
关于数据加载的自动化,只有 Footprint 有一个官方的软件基础设施支持这种情况。这使得用户可以建立完全自动化的数据流程。
目前 Flipside 则支持官方SDK。支持的编程语言是 Python 和 R。

Dune:
https://dune.com/queries/1548542
Flipside:
https://app.flipsidecrypto.com/velocity/queries/90e1d379-ac78-4017-bb6d-54afe4f45e5f
Footprint:
https://www.footprint.network/chart/Latest-block-number-fp-32685
推荐阅读
#GameFi Analysis
#Wallet Analysis
Footprint Analytics 是首家 Crypto 领域支持无代码数据分析平台。平台还提供一个统一的数据 API,让用户可以快速检索超过22条公链生态的 NFT,GameFi 以及 DeFi 数据。
如果您对该课程有任何反馈或建议,您可以通过以下方式联系我们。
Footprint Website: https://www.footprint.network
Discord: https://discord.gg/3HYaR6USM7
Twitter: https://twitter.com/Footprint_Data
此文章是 #Web3 data 系列 的其中一个章节。
加密货币分析平台使人们能够除了跟踪代币和 NFT 价格,可以更深入地了解链、协议和项目的情况。然而,并非所有平台和工具都是类似的。
在广度和可使用性、系统性能和灵活性、价格和功能等之间总是有一个权衡。为了帮助分析师选择最适合他们需求的平台,我对三大加密货币分析平台进行了试用比较。它们分别是:
Dune Analytics
Footprint Analytics
Flipside
分析师在选择最适合自己的工具时,可以考虑11个核心指标
公链的覆盖面
灵活性和易用性
时效
性能
价格
可视化选项
数据表类型
细分领域,如 NFT 数据,GameFi
技术栈
线下数据获取能力
API接入形式
本文中,我将跟大家,探讨前3大著名数据分析平台--Dune Analytics、Footprint Analytics和Flipsid--在这些领域的差异性。

许多分析师已经写过许多关于分析工具的综合比较文章。在这篇文章中,我将只关注加密货币行内工具--即那些专门为解决区块链分析的问题而构建的工具。
此外,我不会逐一解决每个软件的问题,而是会逐个对比项进行比较。如果你或你的团队专注于一个特定的问题,如寻找最实惠的工具或具有最多 NFT 功能的工具,你可以直接跳到该部分。
覆盖率是指一个工具所索引的公链的数量,例如以太坊、Solana、Boba Network 等。然而,它也可以包括深度--公链覆盖的历史数据量。
数据工程师和区块链分析师 Primo Data 创造了最佳的最新可视化,比较了不同分析平台的公链覆盖情况。
在前三大加密货币分析平台中,Footprint Analytics 的覆盖面最广,在43条公链中,目前已经覆盖20条。Flipside排名第二,有15条,而Dune Analytics只有8条。
如果你只需要分析几个主要代币或链中的一个,如 BTC、Solana 或以太坊(这三个都提供),那么覆盖范围并不重要。
然而,在其他领域,如 GameFi,覆盖范围变得至关重要,因为许多项目都会使用他们自己的小型垂直链,如 DFK 链,Ronin 和 Wax。它的覆盖面之广使 Footprint Analytics 成为 GameFi 分析的首选平台--例如,它是唯一一个提供这三种链的底层数据以及抽象数据表的平台。
** **由于 web3 的开源性质,建立一个区块链 ETL 仓库并提供给用户随意探索相对容易。困难点在于数据解析与分析,对于绝大多数的分析师(特别是从web 2 进入 web3 的人员)来说,过渡原始的数据是无法使用的,非常依赖于现有的社区面板。另一方面,过度简化的数据指标面板,使得更高级的团队无法创建定制的、有目的的分析,无法分析数据背后产生的原因。
所有的平台最终都建立在关系型数据库之上,这意味着 SQ L被用作主要工具。要使用 Flipside 和 Dune,需要有 SQL 的知识而 Footprint 则在 SQL 之上设计了一个额外的抽象层(一种 SQL 查询生成器),也就是一个拖拉分析的界面。虽然只能通过用户界面建立简单的SQL 查询(目前不支持多语句查询,相关的子查询,窗口函数),但这是对整个生态系统的一个很好的补充,因为分析师进入的门槛变低了。
时效指的是更新数据的时间长度。
分析师 Carson Brown 在10月份的一篇深度比较文章中,对各平台的数据延时延迟进行了比较。根据他测试的结果, Dune 是3个平台中的佼佼者,而 Footprint Analytics 则在这方面相对落后,延时1个小时左右。
延时显然是一个严重的问题,11月7日,Footprint宣布了一些重要的升级措施。在升级后再次查询每个平台上的最新以太坊区块,得出以下结果。

性能指的是用户查询数据的速度。特别是对于职业分析师或那些需要高效计算指标的人来说,平台的速度是至关重要的。
我们对每个平台使用相同的简单查询--获得过去30天的 Gass Fee 总和,并跟踪了响应时间。

目前,Flipside 是响应速度最快的工具,其次是 Footprint Analytics。Dune 排在第三位,调用时间为17秒。

Dune 和 Footprint 都有为初学者提供的免费版本。还有为高级水平提供的付费账户。Footprint 的免费版本也支持数据 API。


Flipside 目前并没有收费方案。它作为项目之间的中间人(例如,Uniswap/SushiSwap/等),在提供分析的基础设施之上提供赏金,赏金与分析师之间进行划分,55分成。
这3个平台都提供了基本的制图能力。但是,如果用户想从不同的角度以及动态和静态的形式来观察数据,Footprint 提供了更多的选择。以下是对比表:

好的区块链分析的数据模型应该满足以下标准:
**减少表连接的数量。**用户应该能够快速找到要加入的分析对象。
**减少理解的成本。**这要求分析方法相对普用--举一个例子,这包括不需要独立搜索必要的智能合约地址;或者对原始交易数据进行清晰聚合。
**优化索引。**这是必要的,以确保该表能被快速查询到。
**不重复信息。**在多个表中重复信息会导致不一致和错误。
**确保数据的完整性。**通过使用外键和其他数据库工具来实现,以确保没有异常值的存在。
**尽可能地保持数据模型的简单。**这是必要的,以确保它可以很容易地被扩展和维护。
以上三个平台都支持原始交易,并能在原始数据上进行全面分析。另外,它们都有存储解码数据的表格。然而,如果你需要得到一个快速的答案,也就是业务指标的统计结果表,那么这样的表只有 Footprint 才有。

如果你对 NFT 分析感兴趣,那么在选择平台之前,评估每条公链和市场的覆盖范围是有必要的。以下查询返回相应的数值。

正如你所看到的,Flipside 支持最多的市场空间。另一方面,Footprint 有业务指标,如清洗交易(https://twitter.com/Footprint_Data/status/1578707786455666688#m),与其他指标一样,这些指标目前都支持 API 查询获取。
从根本上说,以上平台都建立在关系型数据库上。当涉及到数据库中数十亿甚至可能数万亿的行时,人们需要一个可扩展的基础设施。
这三个平台都有 SQL 作为主要的查询语言,这意味着一个查询可以在平台之间以最小的改动进行迁移。然而,Footprint 在 SQL 之上采取了另一种抽象,允许无代码拖拉查询。

在分析链上数据时,能够与结合链下数据进行比较是非常重要的。Dune 和 Footprint 实现了在各自的平台内立即上传自己的表格进行分析的功能。
Footprint 还可以参考查询表(如 token_info,protocol_info),以便快速查询相关信息,例如,通过其名称找到所需的token。Footprint 对 NFT 元数据的覆盖使 NFT 稀有度分析成为可能。

Dune(查询引擎 v2),Flipside 和 Footprint 都有一个官方的 SQL API,允许用户将任何查询从网站迁移到 API。但这并不是最简单的获取方式,开发者需要预先构建 SQL 查询,再获取对应的数据 API。Footprint 则支持 REST API,人们可以通过简单的一行代码接入来获得数据。
关于数据加载的自动化,只有 Footprint 有一个官方的软件基础设施支持这种情况。这使得用户可以建立完全自动化的数据流程。
目前 Flipside 则支持官方SDK。支持的编程语言是 Python 和 R。

Dune:
https://dune.com/queries/1548542
Flipside:
https://app.flipsidecrypto.com/velocity/queries/90e1d379-ac78-4017-bb6d-54afe4f45e5f
Footprint:
https://www.footprint.network/chart/Latest-block-number-fp-32685
推荐阅读
#GameFi Analysis
#Wallet Analysis
Footprint Analytics 是首家 Crypto 领域支持无代码数据分析平台。平台还提供一个统一的数据 API,让用户可以快速检索超过22条公链生态的 NFT,GameFi 以及 DeFi 数据。
如果您对该课程有任何反馈或建议,您可以通过以下方式联系我们。
Footprint Website: https://www.footprint.network
Discord: https://discord.gg/3HYaR6USM7
Twitter: https://twitter.com/Footprint_Data
No activity yet