![Cover image for 1.5[Intermediate] Iceberg-Trino 如何解决链上数据面临的挑战](https://img.paragraph.com/cdn-cgi/image/format=auto,width=3840,quality=85/https://storage.googleapis.com/papyrus_images/5f9d4430fcd78103e346b51a95d59f17df5ed3a8d9b08ea412a1d2ba116f9247.jpg)
1.5[Intermediate] Iceberg-Trino 如何解决链上数据面临的挑战
此文章是 #Web3 data 系列 的其中一个章节。链上数据处理面临的挑战区块链数据公司,在索引以及处理链上数据时,可能会面临一些挑战,包括:海量数据。随着区块链上数据量的增加,数据索引将需要扩大规模以处理增加的负载并提供对数据的有效访问。因此,它导致了更高的存储成本;缓慢的指标计算和增加数据库服务器的负载。复杂的数据生产流程。区块链技术是复杂的,建立一个全面和可靠的数据索引需要对底层数据结构和算法有深刻的理解。这是由区块链实现方式的多样性所决定的。举一个具体的例子,以太坊中的 NFT 通常是在遵循 ERC721 和 ERC1155 格式的智能合约中进行创建的,而像Polkadot 上通常是直接在区块链运行时间内构建的。对于用户来说,不管是任何形式的存在,这些数据应该被视为 NFT 的交易,需要被存储,并且处理为可读状态,方便分析以及进行计算。集成能力。为了给用户提供最大的价值,区块链索引解决方案可能需要将其数据索引与其他系统集成,如分析平台或 API。这很有挑战性,需要在架构设计上投入大量精力。随着区块链技术的使用越来越广泛,存储在区块链上的数据量也在增加。这是因为更多的人在...

区块链游戏概览:回顾 2023,展望 2024
作者:lesley@footprint.network 数据来源:区块链游戏年报关键要点今年,比特币(BTC)市值从上年的低谷中强劲回升,相较之下,区块链游戏市场的增长虽然较为平淡,但年末也迎来了显著的上升势头。今年的游戏中,仅有 6% 的游戏拥有超过 1,000 个活跃钱包,相比去年的 10% 有所减少。2023 年,尽管整体交易量比 2022 年的高点有所下降,交易次数却相对稳定。2023 年,区块链游戏行业正在发展,而 AI 也在深刻改变着这一行业。Layer 2 区块链也发展迅速,但 BNB 链等老牌区块链仍占据市场。市场正在期待顶尖区块链游戏的出现,GambleFi 或许将迎来增长,但仍需面对监管挑战。在用户获取上,利用 Telegram 和 X(Twitter)等社交平台平台来触达庞大用户群体已成为一种趋势区块链游戏是 Web3 领域对于大众普及的重要催化剂,在简化复杂概念、让人们理解区块链技术上发挥着重要作用。与其他领域不同,传统游戏里早已存在的游戏货币和道具概念,使区块链游戏成为普罗大众更易理解和接受的 Web3 普及方案。 尽管 2023 年区块链游戏市场交易量...

如何使用Footrace 钱包监控功能和设置自定义的交易警报
本文将介绍如何使用 Footrace 监控 CEX 的钱包地址并设置自定义警报。 2022-06-12 本文将介绍如何使用 Footrace 监控 CEX 的钱包地址并设置自定义警报。 什么是 Footrace? Footrace (Foot Trace) 是一个多链的钱包追踪监控平台,可以监控CEX、DEX、鲸鱼、聪明钱、或任何你想关注的地址的钱包。 Footrace 帮助投资者保护他们的投资并监控异常的市场和资金流动。您可以设置自定义警报,通过电子邮件、电报、Discord、SMS 等向您发送重要的资金流通知和警报。Footrace 中心化交易所监控页Footrace目前监控了 122 交易所的资金流活动及其钱包余额。包括了中心化和去中心化交易所的地址数据。由于这些交易所和基金可能会添加新的钱包地址,用户可以使用Footrace的钱包地址的功能来添加 Footrace 缺少的任何钱包地址。Footrace 地址提交工具 如何开始监控?钱包余额在监控交易所时,钱包余额是需要仔细关注的指标之一。具有大量钱包余额的交易所通常意味著有大量的客户,并反映出市场对此加密货币交易所的高度信...
Footprint Analytics 是一个全面的区块链数据分析平台,简化了 Web3 项目的分析和社区管理,实现可持续增长。
![Cover image for 1.5[Intermediate] Iceberg-Trino 如何解决链上数据面临的挑战](https://img.paragraph.com/cdn-cgi/image/format=auto,width=3840,quality=85/https://storage.googleapis.com/papyrus_images/5f9d4430fcd78103e346b51a95d59f17df5ed3a8d9b08ea412a1d2ba116f9247.jpg)
1.5[Intermediate] Iceberg-Trino 如何解决链上数据面临的挑战
此文章是 #Web3 data 系列 的其中一个章节。链上数据处理面临的挑战区块链数据公司,在索引以及处理链上数据时,可能会面临一些挑战,包括:海量数据。随着区块链上数据量的增加,数据索引将需要扩大规模以处理增加的负载并提供对数据的有效访问。因此,它导致了更高的存储成本;缓慢的指标计算和增加数据库服务器的负载。复杂的数据生产流程。区块链技术是复杂的,建立一个全面和可靠的数据索引需要对底层数据结构和算法有深刻的理解。这是由区块链实现方式的多样性所决定的。举一个具体的例子,以太坊中的 NFT 通常是在遵循 ERC721 和 ERC1155 格式的智能合约中进行创建的,而像Polkadot 上通常是直接在区块链运行时间内构建的。对于用户来说,不管是任何形式的存在,这些数据应该被视为 NFT 的交易,需要被存储,并且处理为可读状态,方便分析以及进行计算。集成能力。为了给用户提供最大的价值,区块链索引解决方案可能需要将其数据索引与其他系统集成,如分析平台或 API。这很有挑战性,需要在架构设计上投入大量精力。随着区块链技术的使用越来越广泛,存储在区块链上的数据量也在增加。这是因为更多的人在...

区块链游戏概览:回顾 2023,展望 2024
作者:lesley@footprint.network 数据来源:区块链游戏年报关键要点今年,比特币(BTC)市值从上年的低谷中强劲回升,相较之下,区块链游戏市场的增长虽然较为平淡,但年末也迎来了显著的上升势头。今年的游戏中,仅有 6% 的游戏拥有超过 1,000 个活跃钱包,相比去年的 10% 有所减少。2023 年,尽管整体交易量比 2022 年的高点有所下降,交易次数却相对稳定。2023 年,区块链游戏行业正在发展,而 AI 也在深刻改变着这一行业。Layer 2 区块链也发展迅速,但 BNB 链等老牌区块链仍占据市场。市场正在期待顶尖区块链游戏的出现,GambleFi 或许将迎来增长,但仍需面对监管挑战。在用户获取上,利用 Telegram 和 X(Twitter)等社交平台平台来触达庞大用户群体已成为一种趋势区块链游戏是 Web3 领域对于大众普及的重要催化剂,在简化复杂概念、让人们理解区块链技术上发挥着重要作用。与其他领域不同,传统游戏里早已存在的游戏货币和道具概念,使区块链游戏成为普罗大众更易理解和接受的 Web3 普及方案。 尽管 2023 年区块链游戏市场交易量...

如何使用Footrace 钱包监控功能和设置自定义的交易警报
本文将介绍如何使用 Footrace 监控 CEX 的钱包地址并设置自定义警报。 2022-06-12 本文将介绍如何使用 Footrace 监控 CEX 的钱包地址并设置自定义警报。 什么是 Footrace? Footrace (Foot Trace) 是一个多链的钱包追踪监控平台,可以监控CEX、DEX、鲸鱼、聪明钱、或任何你想关注的地址的钱包。 Footrace 帮助投资者保护他们的投资并监控异常的市场和资金流动。您可以设置自定义警报,通过电子邮件、电报、Discord、SMS 等向您发送重要的资金流通知和警报。Footrace 中心化交易所监控页Footrace目前监控了 122 交易所的资金流活动及其钱包余额。包括了中心化和去中心化交易所的地址数据。由于这些交易所和基金可能会添加新的钱包地址,用户可以使用Footrace的钱包地址的功能来添加 Footrace 缺少的任何钱包地址。Footrace 地址提交工具 如何开始监控?钱包余额在监控交易所时,钱包余额是需要仔细关注的指标之一。具有大量钱包余额的交易所通常意味著有大量的客户,并反映出市场对此加密货币交易所的高度信...
Footprint Analytics 是一个全面的区块链数据分析平台,简化了 Web3 项目的分析和社区管理,实现可持续增长。

Subscribe to Footprint Analytics

Subscribe to Footprint Analytics
Share Dialog
Share Dialog
<100 subscribers
<100 subscribers


虽然 2022 年对加密货币行业的每家公司来说都是充满挑战的一年,但我们对在如此短的时间内取得的成就感到自豪,并对未来感到无比兴奋。
去年,是我们为 Footprint Analytics 平台以及社区打下坚实基础的一年。
有别于其他链上数据平台,Footprint Analytics 搭建的丰富数据基础以及多元化的产品模式,使得我们能服务不同类型的用户群体,其中包括了普通的加密货币爱好者,Web3 建设者,风险投资人,GameFi 协议开发者,NFT 项目等。我们为那些具有丰富的数据科学/编码经验的人以及没有任何代码经验的人提供服务。
进入 2023 年,我们的目标是帮助整个区块链社区使用数据分析,帮助人们做出更明智的决策,并创造更好的 Web3 体验。我们将在本文中,介绍 Footprint Analytics ——我们认为它是目前最全面、最容易使用、性能最好的区块链数据平台——是如何帮助他们实现目标的。
在数据覆盖方面,2022 年,我们总共解析了 19 条链。加上我们在 2021 年解析的 5 条,我们的平台上现在覆盖了 24 条公链。Footprint 是区块链领域任何数据分析工具中,数据覆盖度最广泛的平台。知名的竞争对手花了数年时间才完成 Solana 的数据解析。众所周知,这是一条复杂而棘手的公链。而 Footprint 只花了几个月,就完成了 Solana 链的解析以及不同领域(包括 GameFi, NFT)的数据抽象。由于我们工程师的不懈努力,你现在可以在不知道如何写代码的情况下,使用 Footprint Analytics 探索和查询 Solana 交易和协议。
关于易用性和灵活性,我们仍然坚持我们最初的愿景,即创建一个易于使用、无需编码的分析工具。因此,我们将我们的使用案例扩展到了开发者和那些建设网站或平台的人。推出我们统一的 Web3 数据 API, 是我们在 2022 年最引人注目的事件之一。这个工具允许开发人员只需整合一行代码,即可轻松访问 NFT、DeFi 和 GameFi 项目的最广泛的数据仓库。它简化了对区块链数据的访问和利用,使所有技能水平的开发者都能更方便地使用它。
以下是来自 Footprint Analytics 的其中一位用户反馈:
"我们几乎使用了所有的 Token 和 NFT APIs。我们看到 Footprint 具有使用 SQL 和支持跨链获得特定的关系型数据的优势。”Agave 的首席执行官兼联合创始人 Isaac Dubuque说到。
"以前,我们不得不从其他数据供应商那里创建一个内部 ELT,以实现这一点。有了 Footprint,我们将能够完全专注于研究和报告。在过去,把所有的数据源结合起来是很混乱的。现在,我们可以只使用 Footprint 一个平台,就可以获得不同领域不同维度的数据。"
最后,关于性能。我们已经大大改善了我们的数据延迟时间,从过去的 t-1 天到只有 5 分钟。我们还扩大了我们的历史数据支持,从 90 天到支持全部历史查询。此外,我们已经扩大了我们支持的数据类型,从抽象的银级别数据和具有业务意义的金级别指标到包括链的底层数据,支持用户进行更多的数据个性化处理以及自由指标探索。
随之带来的成果是,我们在不断地成长。从年初的不到 300 人,到 2022 年年底,Footprint Analytics 已经吸引了 6,000 名分析师加入我们的社区。我们平台的社区制作的图表数量同比增长了900%。
这些分析师、图表和仪表盘已经被行业内最著名的机构所采用和使用。
CoinMarketCap and Footprint Analytics: 2022 GameFi Industry Report
Coingecko and Footprint Analytics: What Is NFT Wash Trading and Examples of How It Works
Beosin and Footprint Analytics: Global Web3 Security Report 2022
为了激起人们对区块链数据分析的兴趣,我们在 2023 年计划的进一步创新方式,是对分析师进行货币激励。例如,我们希望使报表创作者能够设置图表访问价格,方便分析沉淀私域流量以及完成流量变现。我们计划推出一个 Footprint 实用积分币,使创作者得到奖励并有可能获利。我们称其为 "Analyze to earn"。
在新的一年,将有许多挑战,但我们相信我们的团队总能有解决方案。我们的技术背景,跨 web2 和 web3 的经验,以及在索引和处理不同领域的商业数据方面的专业知识,让我们有能力去克服区块链数据的公司所面临的最重大的障碍。
举例来说,虽然任何人都可以建立一个区块链 ETL,但创建一个处理大量数据的仓库和处理流程,将其与分析平台或 API 等其他系统集成,并在所有不同和不断变化的协议、市场、合同和功能中进行可靠的索引,是一个巨大的挑战。
认识到 Google BigQuery(我们的架构 1.0)在存储成本和并发性方面的局限性以及 OLAP 解决方案(我们的架构 2.0)的有限应用,我们的团队探索了不同的解决方案。
我们从早期的两个架构中吸取教训,并从 Uber、Netflix 和 Databricks 等大数据项目中学习,我们在 2022 年,从头开始重新设计了整个架构,用 Iceberg + Spark & Flink + Trino 将数据的存储、计算和查询分成三个不同的部分。Footprint Analytics 架构升级 3.0 后,用户可以探索到更多不同的用法和应用,这也支持我们的 API 能够更好地为用户提供服务。
数据即服务。我们将为更多的开发者,用户提供统一跨链跨领域的 API 服务并且将拓展垂直细分领域的解决方案,比如 GTM/CRM 工具,让 Footprint 不止是数据提供商,还是数据解决方案的提供者。
辛勤工作努力的结果,让我们拥有一个遍布全球的分析师和开发人员社区,使用我们全面的、用户友好的、强大的工具。
进入 2023 年,我们已经拥有了一个分布在世界 8 个城市成熟的全球化团队。他们跨越了营销、工程、研究、社区管理和销售等角色。现在,我们更有能力去迎接来自不同方面的挑战,我们相信 2023 年将会是整个区块链行业了解 Footprint Analytics 的拐点。
虽然 2022 年对加密货币行业的每家公司来说都是充满挑战的一年,但我们对在如此短的时间内取得的成就感到自豪,并对未来感到无比兴奋。
去年,是我们为 Footprint Analytics 平台以及社区打下坚实基础的一年。
有别于其他链上数据平台,Footprint Analytics 搭建的丰富数据基础以及多元化的产品模式,使得我们能服务不同类型的用户群体,其中包括了普通的加密货币爱好者,Web3 建设者,风险投资人,GameFi 协议开发者,NFT 项目等。我们为那些具有丰富的数据科学/编码经验的人以及没有任何代码经验的人提供服务。
进入 2023 年,我们的目标是帮助整个区块链社区使用数据分析,帮助人们做出更明智的决策,并创造更好的 Web3 体验。我们将在本文中,介绍 Footprint Analytics ——我们认为它是目前最全面、最容易使用、性能最好的区块链数据平台——是如何帮助他们实现目标的。
在数据覆盖方面,2022 年,我们总共解析了 19 条链。加上我们在 2021 年解析的 5 条,我们的平台上现在覆盖了 24 条公链。Footprint 是区块链领域任何数据分析工具中,数据覆盖度最广泛的平台。知名的竞争对手花了数年时间才完成 Solana 的数据解析。众所周知,这是一条复杂而棘手的公链。而 Footprint 只花了几个月,就完成了 Solana 链的解析以及不同领域(包括 GameFi, NFT)的数据抽象。由于我们工程师的不懈努力,你现在可以在不知道如何写代码的情况下,使用 Footprint Analytics 探索和查询 Solana 交易和协议。
关于易用性和灵活性,我们仍然坚持我们最初的愿景,即创建一个易于使用、无需编码的分析工具。因此,我们将我们的使用案例扩展到了开发者和那些建设网站或平台的人。推出我们统一的 Web3 数据 API, 是我们在 2022 年最引人注目的事件之一。这个工具允许开发人员只需整合一行代码,即可轻松访问 NFT、DeFi 和 GameFi 项目的最广泛的数据仓库。它简化了对区块链数据的访问和利用,使所有技能水平的开发者都能更方便地使用它。
以下是来自 Footprint Analytics 的其中一位用户反馈:
"我们几乎使用了所有的 Token 和 NFT APIs。我们看到 Footprint 具有使用 SQL 和支持跨链获得特定的关系型数据的优势。”Agave 的首席执行官兼联合创始人 Isaac Dubuque说到。
"以前,我们不得不从其他数据供应商那里创建一个内部 ELT,以实现这一点。有了 Footprint,我们将能够完全专注于研究和报告。在过去,把所有的数据源结合起来是很混乱的。现在,我们可以只使用 Footprint 一个平台,就可以获得不同领域不同维度的数据。"
最后,关于性能。我们已经大大改善了我们的数据延迟时间,从过去的 t-1 天到只有 5 分钟。我们还扩大了我们的历史数据支持,从 90 天到支持全部历史查询。此外,我们已经扩大了我们支持的数据类型,从抽象的银级别数据和具有业务意义的金级别指标到包括链的底层数据,支持用户进行更多的数据个性化处理以及自由指标探索。
随之带来的成果是,我们在不断地成长。从年初的不到 300 人,到 2022 年年底,Footprint Analytics 已经吸引了 6,000 名分析师加入我们的社区。我们平台的社区制作的图表数量同比增长了900%。
这些分析师、图表和仪表盘已经被行业内最著名的机构所采用和使用。
CoinMarketCap and Footprint Analytics: 2022 GameFi Industry Report
Coingecko and Footprint Analytics: What Is NFT Wash Trading and Examples of How It Works
Beosin and Footprint Analytics: Global Web3 Security Report 2022
为了激起人们对区块链数据分析的兴趣,我们在 2023 年计划的进一步创新方式,是对分析师进行货币激励。例如,我们希望使报表创作者能够设置图表访问价格,方便分析沉淀私域流量以及完成流量变现。我们计划推出一个 Footprint 实用积分币,使创作者得到奖励并有可能获利。我们称其为 "Analyze to earn"。
在新的一年,将有许多挑战,但我们相信我们的团队总能有解决方案。我们的技术背景,跨 web2 和 web3 的经验,以及在索引和处理不同领域的商业数据方面的专业知识,让我们有能力去克服区块链数据的公司所面临的最重大的障碍。
举例来说,虽然任何人都可以建立一个区块链 ETL,但创建一个处理大量数据的仓库和处理流程,将其与分析平台或 API 等其他系统集成,并在所有不同和不断变化的协议、市场、合同和功能中进行可靠的索引,是一个巨大的挑战。
认识到 Google BigQuery(我们的架构 1.0)在存储成本和并发性方面的局限性以及 OLAP 解决方案(我们的架构 2.0)的有限应用,我们的团队探索了不同的解决方案。
我们从早期的两个架构中吸取教训,并从 Uber、Netflix 和 Databricks 等大数据项目中学习,我们在 2022 年,从头开始重新设计了整个架构,用 Iceberg + Spark & Flink + Trino 将数据的存储、计算和查询分成三个不同的部分。Footprint Analytics 架构升级 3.0 后,用户可以探索到更多不同的用法和应用,这也支持我们的 API 能够更好地为用户提供服务。
数据即服务。我们将为更多的开发者,用户提供统一跨链跨领域的 API 服务并且将拓展垂直细分领域的解决方案,比如 GTM/CRM 工具,让 Footprint 不止是数据提供商,还是数据解决方案的提供者。
辛勤工作努力的结果,让我们拥有一个遍布全球的分析师和开发人员社区,使用我们全面的、用户友好的、强大的工具。
进入 2023 年,我们已经拥有了一个分布在世界 8 个城市成熟的全球化团队。他们跨越了营销、工程、研究、社区管理和销售等角色。现在,我们更有能力去迎接来自不同方面的挑战,我们相信 2023 年将会是整个区块链行业了解 Footprint Analytics 的拐点。
No activity yet