此文章是 #Web3 data 系列 的其中一个章节。

数据质量是指数据的准确性、完整性、可靠性和一致性。这些特征对于数据的有效性和可用性至关重要。如果数据质量不高，可能会导致决策失误、成本增加、浪费资源。因此，维护数据质量是非常重要的。

Footprint Analytics 对链上数据的校验标准，分为以下几个纬度：

Footprint Analytics 使用 Great Expectations 框架对链上数据校验。Great Expectations 是一个开源的数据质量和数据流程管理工具，提供了一系列工具和功能，可以帮助用户定义数据质量期望值，并在数据处理过程中检查数据是否符合这些期望值。

Footprint Analytics 使用 Great Expectations 进行数据校验，将异常测试数据结果实时发送到 slack 预警，团队可以在第一时间对数据问题进行修复；同时在 Footprint 生成对应的数据测试结果报告，方便团队对数据质量进行分析。

Footprint Analytics Great Expectations 项目结构：

├── expectations

├── great_expectations

│   ├── checkpoints  # 生成的 yml

│   ├── expectations  # 生成的 json

│   ├── notebooks

│   │   └── basic_info

│   │   └── nft  # nft 领域

│   │   │   └──nft_transfers_timeliness.py  # 其中一个校验开发脚本

│   ├── output

│   │   └── validations  # 校验结果

│   ├── plugins

│   │   └── expectations  # 自定义规则 Custom Expectation

├── utils

测试结果报告

从此文章的数据生产流程介绍中，我们能了解到，所有到指标计算都是基于原始数据的抽象。因此，对链底层对数据校验是最基础的一步。

以 Ethereum 链为例，公链的底层数据表有：

• ethereum_traces

内部合约调用表，一个交易（Transactions）可以触发更多的内部调用操作，一个内部调用还可能进一步触发更多的内部调用。这些调用执行的信息会被记录到内部合约调用表。内部合约调用表主要包括 block_time、block_number、transaction_hash、status、from_address、to_address、value、trace_type 等字段。

• ethereum_blocks

区块（Block）是区块链的基本构建组件。一个区块包含多个交易记录。区块表记录了每一个区块生成的日期时间 (timestamp)、对应的区块编号 ( number)、区块哈希值、难度值、燃料消耗等信息。除了需要分析整个区块链的区块生成状况、燃料消耗等场景外，我们一般并不需要关注和使用区块表。其中最重要的是区块生成日期时间和区块编号信息，它们几乎都同时保存到了其他所有数据表中，只是对应的字段名称不同。

• ethereum_token_transfers

token转账表保存了区块链上非原生代币的转移详细信息；token转账表中最常用的字段包括block_timestamp、block_number、transaction_hash、from_address、to_address、token_address、value等。

• ethereum_transactions

交易表保存了区块链上发生的每一个交易的详细信息（同时包括成功交易和失败交易）。交易表中最常用的字段包括 block_timestamp、 block_number、from_address、to_address、value、hash 等。

Footprint Analytics 的校验规则如下：

在traces表中以trace_id作为唯一键，数据不能重复

SELECT if((

SELECT count(1)

FROM (

SELECT trace_id, count(1) AS nums

FROM "ethereum_traces"

WHERE block_timestamp >= timestamp '2022-01-01' --节省运行时间，截取 2022-01-01 开始

GROUP BY 1

HAVING count(1) > 1

)

) > 0, 'fail', 'pass')

Footprint Query URL:

https://www.footprint.network/chart/ethereum-trace-uniqueness-fp-34876

traces 表必须有最新日期的数据 SELECT if((

SELECT count(*)

FROM "ethereum_traces"

WHERE block_timestamp >= CURRENT_DATE

) > 0, 'pass', 'fail')

Footprint Query URL: https://www.footprint.network/chart/ethereum-trace-timeliness-fp-34871

traces中，trace_type= 'reward' 且 reward_type='block' 的去重 block 数量应该等于同一时间范围内blocks表的block数量 SELECT if((

SELECT count(DISTINCT block_number) AS trace_blocks_count

FROM "ethereum_traces"

WHERE trace_type = 'reward'

AND reward_type = 'block'

AND block_timestamp < CURRENT_DATE

) = (

SELECT count(*) AS blocks_count

FROM "ethereum_blocks"

WHERE timestamp < CURRENT_DATE

) - 1, 'pass', 'fail') AS trace_blocks_count_result

Footprint Query URL:

https://www.footprint.network/chart/ethereum-trace-trace-blocks-count-check-fp-34872

在 traces 表中，非空 trace_address 中的非空 transaction_hash 数量应该等于同一时间范围内 transactions 表的总记录数 SELECT if((

SELECT count(transaction_hash)

FROM "ethereum_traces"

WHERE trace_address IS NULL

AND transaction_hash IS NOT NULL

AND block_timestamp < CURRENT_DATE

AND block_timestamp >=timestamp '2022-01-01' --节省运行时间，截取2022-01-01开始

) = (

SELECT count(*)

FROM "ethereum_transactions"

WHERE block_timestamp < CURRENT_DATE

AND block_timestamp >=timestamp '2022-01-01' --节省运行时间，截取2022-01-01开始

), 'pass', 'fail')

Footprint Query URL:

https://www.footprint.network/chart/ethereum-trace-transactions-count-check-fp-34874

在blocks表中以number作为唯一键，数据不能重复

SELECT if((

SELECT count(1)

FROM (

SELECT number, count(1) AS nums

FROM "ethereum_blocks"

GROUP BY 1

HAVING count(1) > 1

)

) > 0, 'fail', 'pass')

Footprint Query URL:

https://www.footprint.network/chart/ethereum-blocks-uniqueness-fp-34878

blocks表必须有最新日期的数据 SELECT if((

SELECT count(*)

FROM "ethereum_blocks"

WHERE timestamp >= CURRENT_DATE

) > 0, 'pass', 'fail')

Footprint Query URL:

https://www.footprint.network/chart/ethereum-blocks-timeliness-fp-34879

blocks表中的number必须是连续不中断的 SELECT if((

SELECT expect_total_blocks - total_blocks

FROM (

SELECT max(number) - min(number) + 1 AS expect_total_blocks

, count(DISTINCT number) AS total_blocks

FROM "ethereum_blocks"

)

) = 0, 'pass', 'fail')  --blocks的number应该是连续不中断的

Footprint Query URL: https://www.footprint.network/chart/ethereum-blocks-continuity-fp-34880

blocks 表中最大的 number+1 等于 blocks 表的总行数，因为blocks的number是从0开始，也就是创世块的number=0

SELECT if((

SELECT expect_total_blocks - total_blocks

FROM (

SELECT count(1) AS total_blocks

, max(number) + 1 AS expect_total_blocks

FROM "ethereum_blocks"

)

) = 0, 'pass', 'fail') --blocks的记录数应该等于最大的block number+1

Footprint Query URL:

https://www.footprint.network/chart/ethereum-blocks-blocks-validity-check-fp-34882

blocks中的transaction_count 总和等于同一时间范围内transactions的总行数 SELECT if((

SELECT sum(transaction_count) AS block_transaction_count

FROM "ethereum_blocks"

WHERE timestamp < CURRENT_DATE

) = (

SELECT count(*) AS transaction_count

FROM "ethereum_transactions"

WHERE block_timestamp < CURRENT_DATE

), 'pass', 'fail') --相同时间范围内，blocks中的transaction 总数等于transactions中的总行数

Footprint Query URL:

https://www.footprint.network/chart/ethereum-blocks-transactions-validity-check-fp-34883

token_transfers表以block_timestamp,log_index,transaction_hash 为唯一键，数据不能重复

SELECT if((

SELECT count(1)

FROM (

SELECT block_timestamp,log_index,transaction_hash,count(1) AS nums

FROM "ethereum_token_transfers"

WHERE block_timestamp >=timestamp '2022-01-01' --节省运行时间，截取2022-01-01开始

GROUP BY 1,2,3

HAVING count(1) > 1

)

) > 0, 'fail', 'pass')

Footprint Query URL: https://www.footprint.network/chart/ethereum-token-transfers-uniqueness-fp-35017

token_transfers表必须有最新日期的数据

SELECT if((

SELECT count(*)

FROM "ethereum_token_transfers"

WHERE block_timestamp >= CURRENT_DATE

) > 0, 'pass', 'fail')

Footprint Query URL:

https://www.footprint.network/chart/token-transfers-timeliness-fp-35018

token_transfers每日应该有交易数据，按天为纬度是连续的

SELECT if((

SELECT total_day - diff_day AS block_timestamp_continue_result

FROM (

SELECT date_diff('day', date(min(block_timestamp)), date(max(block_timestamp))) AS diff_day

, count(DISTINCT date(block_timestamp)) AS total_day

FROM "ethereum_token_transfers"

WHERE block_timestamp >= timestamp '2022-01-01’  --节省运行时间，截取2022-01-01开始

)

) = 1, 'pass', 'fail')

Footprint Query URL:

https://www.footprint.network/chart/ethereum-token-transfers-continuity-fp-35020

transactions表以block_timestamp,hash,block_number 为唯一键，数据不能重复

SELECT if((

SELECT count(1)

FROM (

SELECT block_timestamp,hash,block_number,count(1) AS nums

FROM "ethereum_transactions"

WHERE block_timestamp >=timestamp '2022-01-01' --节省运行时间，截取2022-01-01开始

GROUP BY 1,2,3

HAVING count(1) > 1

)

) > 0, 'fail', 'pass')

Footprint Query URL:

https://www.footprint.network/chart/ethereum-transactions-uniqueness-fp-35021

transactions表必须有最新日期的数据

SELECT if((

SELECT count(*)

FROM "ethereum_transactions"

WHERE block_timestamp >= CURRENT_DATE

) > 0, 'pass', 'fail')

Footprint Query URL:

https://www.footprint.network/chart/ethereum-transactions-timeliness-fp-35022

transactions每日应该有交易数据，按天为纬度是连续的

SELECT if((

SELECT total_day - diff_day AS block_timestamp_continue_result

FROM (

SELECT date_diff('day', date(min(block_timestamp)), date(max(block_timestamp))) AS diff_day

, count(DISTINCT date(block_timestamp)) AS total_day

FROM "ethereum_transactions"

WHERE block_timestamp >= timestamp '2022-01-01'  --节省运行时间，截取2022-01-01开始

)

) = 1, 'pass', 'fail')

Footprint Query URL:

https://www.footprint.network/chart/ethereum-transactions-continuity-fp-35023

以上就是 Footprint Analytics 技术团队对底层链的数据进行测试的方法和规则，仍在持续完善更新中，欢迎大家提出优化的建议，一起让Footprint Analytics的数据质量得到更可靠的保证。

推荐阅读

#EVM Analysis

#DeFi Analysis

#NFT Analysis

#GameFi Analysis

#Wallet Analysis

#Footprint for Developer

#Footprint Analytics for SQL Footprint Analytics 是首家 Crypto 领域支持无代码数据分析平台。平台还提供一个统一的数据 API，让用户可以快速检索超过23条公链生态的 NFT，GameFi 以及 DeFi 数据。

如果您对该课程有任何反馈或建议，您可以通过以下方式联系我们。

Footprint Website:  https://www.footprint.network

Discord: https://discord.gg/3HYaR6USM7

Twitter: https://twitter.com/Footprint_Data

此文章是 #Web3 data 系列 的其中一个章节。

数据质量是指数据的准确性、完整性、可靠性和一致性。这些特征对于数据的有效性和可用性至关重要。如果数据质量不高，可能会导致决策失误、成本增加、浪费资源。因此，维护数据质量是非常重要的。

Footprint Analytics 对链上数据的校验标准，分为以下几个纬度：

Footprint Analytics 使用 Great Expectations 框架对链上数据校验。Great Expectations 是一个开源的数据质量和数据流程管理工具，提供了一系列工具和功能，可以帮助用户定义数据质量期望值，并在数据处理过程中检查数据是否符合这些期望值。

Footprint Analytics 使用 Great Expectations 进行数据校验，将异常测试数据结果实时发送到 slack 预警，团队可以在第一时间对数据问题进行修复；同时在 Footprint 生成对应的数据测试结果报告，方便团队对数据质量进行分析。

Footprint Analytics Great Expectations 项目结构：

├── expectations

├── great_expectations

│   ├── checkpoints  # 生成的 yml

│   ├── expectations  # 生成的 json

│   ├── notebooks

│   │   └── basic_info

│   │   └── nft  # nft 领域

│   │   │   └──nft_transfers_timeliness.py  # 其中一个校验开发脚本

│   ├── output

│   │   └── validations  # 校验结果

│   ├── plugins

│   │   └── expectations  # 自定义规则 Custom Expectation

├── utils

测试结果报告

从此文章的数据生产流程介绍中，我们能了解到，所有到指标计算都是基于原始数据的抽象。因此，对链底层对数据校验是最基础的一步。

以 Ethereum 链为例，公链的底层数据表有：

• ethereum_traces

内部合约调用表，一个交易（Transactions）可以触发更多的内部调用操作，一个内部调用还可能进一步触发更多的内部调用。这些调用执行的信息会被记录到内部合约调用表。内部合约调用表主要包括 block_time、block_number、transaction_hash、status、from_address、to_address、value、trace_type 等字段。

• ethereum_blocks

区块（Block）是区块链的基本构建组件。一个区块包含多个交易记录。区块表记录了每一个区块生成的日期时间 (timestamp)、对应的区块编号 ( number)、区块哈希值、难度值、燃料消耗等信息。除了需要分析整个区块链的区块生成状况、燃料消耗等场景外，我们一般并不需要关注和使用区块表。其中最重要的是区块生成日期时间和区块编号信息，它们几乎都同时保存到了其他所有数据表中，只是对应的字段名称不同。

• ethereum_token_transfers

token转账表保存了区块链上非原生代币的转移详细信息；token转账表中最常用的字段包括block_timestamp、block_number、transaction_hash、from_address、to_address、token_address、value等。

• ethereum_transactions

交易表保存了区块链上发生的每一个交易的详细信息（同时包括成功交易和失败交易）。交易表中最常用的字段包括 block_timestamp、 block_number、from_address、to_address、value、hash 等。

Footprint Analytics 的校验规则如下：

在traces表中以trace_id作为唯一键，数据不能重复

SELECT if((

SELECT count(1)

FROM (

SELECT trace_id, count(1) AS nums

FROM "ethereum_traces"

WHERE block_timestamp >= timestamp '2022-01-01' --节省运行时间，截取 2022-01-01 开始

GROUP BY 1

HAVING count(1) > 1

)

) > 0, 'fail', 'pass')

Footprint Query URL:

https://www.footprint.network/chart/ethereum-trace-uniqueness-fp-34876

traces 表必须有最新日期的数据 SELECT if((

SELECT count(*)

FROM "ethereum_traces"

WHERE block_timestamp >= CURRENT_DATE

) > 0, 'pass', 'fail')

Footprint Query URL: https://www.footprint.network/chart/ethereum-trace-timeliness-fp-34871

traces中，trace_type= 'reward' 且 reward_type='block' 的去重 block 数量应该等于同一时间范围内blocks表的block数量 SELECT if((

SELECT count(DISTINCT block_number) AS trace_blocks_count

FROM "ethereum_traces"

WHERE trace_type = 'reward'

AND reward_type = 'block'

AND block_timestamp < CURRENT_DATE

) = (

SELECT count(*) AS blocks_count

FROM "ethereum_blocks"

WHERE timestamp < CURRENT_DATE

) - 1, 'pass', 'fail') AS trace_blocks_count_result

Footprint Query URL:

https://www.footprint.network/chart/ethereum-trace-trace-blocks-count-check-fp-34872

在 traces 表中，非空 trace_address 中的非空 transaction_hash 数量应该等于同一时间范围内 transactions 表的总记录数 SELECT if((

SELECT count(transaction_hash)

FROM "ethereum_traces"

WHERE trace_address IS NULL

AND transaction_hash IS NOT NULL

AND block_timestamp < CURRENT_DATE

AND block_timestamp >=timestamp '2022-01-01' --节省运行时间，截取2022-01-01开始

) = (

SELECT count(*)

FROM "ethereum_transactions"

WHERE block_timestamp < CURRENT_DATE

AND block_timestamp >=timestamp '2022-01-01' --节省运行时间，截取2022-01-01开始

), 'pass', 'fail')

Footprint Query URL:

https://www.footprint.network/chart/ethereum-trace-transactions-count-check-fp-34874

在blocks表中以number作为唯一键，数据不能重复

SELECT if((

SELECT count(1)

FROM (

SELECT number, count(1) AS nums

FROM "ethereum_blocks"

GROUP BY 1

HAVING count(1) > 1

)

) > 0, 'fail', 'pass')

Footprint Query URL:

https://www.footprint.network/chart/ethereum-blocks-uniqueness-fp-34878

blocks表必须有最新日期的数据 SELECT if((

SELECT count(*)

FROM "ethereum_blocks"

WHERE timestamp >= CURRENT_DATE

) > 0, 'pass', 'fail')

Footprint Query URL:

https://www.footprint.network/chart/ethereum-blocks-timeliness-fp-34879

blocks表中的number必须是连续不中断的 SELECT if((

SELECT expect_total_blocks - total_blocks

FROM (

SELECT max(number) - min(number) + 1 AS expect_total_blocks

, count(DISTINCT number) AS total_blocks

FROM "ethereum_blocks"

)

) = 0, 'pass', 'fail')  --blocks的number应该是连续不中断的

Footprint Query URL: https://www.footprint.network/chart/ethereum-blocks-continuity-fp-34880

blocks 表中最大的 number+1 等于 blocks 表的总行数，因为blocks的number是从0开始，也就是创世块的number=0

SELECT if((

SELECT expect_total_blocks - total_blocks

FROM (

SELECT count(1) AS total_blocks

, max(number) + 1 AS expect_total_blocks

FROM "ethereum_blocks"

)

) = 0, 'pass', 'fail') --blocks的记录数应该等于最大的block number+1

Footprint Query URL:

https://www.footprint.network/chart/ethereum-blocks-blocks-validity-check-fp-34882

blocks中的transaction_count 总和等于同一时间范围内transactions的总行数 SELECT if((

SELECT sum(transaction_count) AS block_transaction_count

FROM "ethereum_blocks"

WHERE timestamp < CURRENT_DATE

) = (

SELECT count(*) AS transaction_count

FROM "ethereum_transactions"

WHERE block_timestamp < CURRENT_DATE

), 'pass', 'fail') --相同时间范围内，blocks中的transaction 总数等于transactions中的总行数

Footprint Query URL:

https://www.footprint.network/chart/ethereum-blocks-transactions-validity-check-fp-34883

token_transfers表以block_timestamp,log_index,transaction_hash 为唯一键，数据不能重复

SELECT if((

SELECT count(1)

FROM (

SELECT block_timestamp,log_index,transaction_hash,count(1) AS nums

FROM "ethereum_token_transfers"

WHERE block_timestamp >=timestamp '2022-01-01' --节省运行时间，截取2022-01-01开始

GROUP BY 1,2,3

HAVING count(1) > 1

)

) > 0, 'fail', 'pass')

Footprint Query URL: https://www.footprint.network/chart/ethereum-token-transfers-uniqueness-fp-35017

token_transfers表必须有最新日期的数据

SELECT if((

SELECT count(*)

FROM "ethereum_token_transfers"

WHERE block_timestamp >= CURRENT_DATE

) > 0, 'pass', 'fail')

Footprint Query URL:

https://www.footprint.network/chart/token-transfers-timeliness-fp-35018

token_transfers每日应该有交易数据，按天为纬度是连续的

SELECT if((

SELECT total_day - diff_day AS block_timestamp_continue_result

FROM (

SELECT date_diff('day', date(min(block_timestamp)), date(max(block_timestamp))) AS diff_day

, count(DISTINCT date(block_timestamp)) AS total_day

FROM "ethereum_token_transfers"

WHERE block_timestamp >= timestamp '2022-01-01’  --节省运行时间，截取2022-01-01开始

)

) = 1, 'pass', 'fail')

Footprint Query URL:

https://www.footprint.network/chart/ethereum-token-transfers-continuity-fp-35020

transactions表以block_timestamp,hash,block_number 为唯一键，数据不能重复

SELECT if((

SELECT count(1)

FROM (

SELECT block_timestamp,hash,block_number,count(1) AS nums

FROM "ethereum_transactions"

WHERE block_timestamp >=timestamp '2022-01-01' --节省运行时间，截取2022-01-01开始

GROUP BY 1,2,3

HAVING count(1) > 1

)

) > 0, 'fail', 'pass')

Footprint Query URL:

https://www.footprint.network/chart/ethereum-transactions-uniqueness-fp-35021

transactions表必须有最新日期的数据

SELECT if((

SELECT count(*)

FROM "ethereum_transactions"

WHERE block_timestamp >= CURRENT_DATE

) > 0, 'pass', 'fail')

Footprint Query URL:

https://www.footprint.network/chart/ethereum-transactions-timeliness-fp-35022

transactions每日应该有交易数据，按天为纬度是连续的

SELECT if((

SELECT total_day - diff_day AS block_timestamp_continue_result

FROM (

SELECT date_diff('day', date(min(block_timestamp)), date(max(block_timestamp))) AS diff_day

, count(DISTINCT date(block_timestamp)) AS total_day

FROM "ethereum_transactions"

WHERE block_timestamp >= timestamp '2022-01-01'  --节省运行时间，截取2022-01-01开始

)

) = 1, 'pass', 'fail')

Footprint Query URL:

https://www.footprint.network/chart/ethereum-transactions-continuity-fp-35023

以上就是 Footprint Analytics 技术团队对底层链的数据进行测试的方法和规则，仍在持续完善更新中，欢迎大家提出优化的建议，一起让Footprint Analytics的数据质量得到更可靠的保证。

推荐阅读

#EVM Analysis

#DeFi Analysis

#NFT Analysis

#GameFi Analysis

#Wallet Analysis

#Footprint for Developer

#Footprint Analytics for SQL Footprint Analytics 是首家 Crypto 领域支持无代码数据分析平台。平台还提供一个统一的数据 API，让用户可以快速检索超过23条公链生态的 NFT，GameFi 以及 DeFi 数据。

如果您对该课程有任何反馈或建议，您可以通过以下方式联系我们。

Footprint Website:  https://www.footprint.network

Discord: https://discord.gg/3HYaR6USM7

Twitter: https://twitter.com/Footprint_Data