作者：Wilson Wang

什么是Web3的搜索引擎？在去中心化的区块链世界，如何搜索到你想要的数据？本文将简要分析Web3搜索引擎市场与相关产品。

我们目前最常用的搜索引擎是谷歌，我们先来简单了解一下搜索引擎的工作原理

1. 谷歌使用网络爬虫（Crawler）将全网信息不断收集, 当然这是一个巨大的工程，成千上万的爬虫爬取数剧，并且还需要将数据整合储存到数据库中，另外爬取过程中还需要避免循环链接等等。整个数据采集+存储过程是一套复杂的分布式工程。

2. 当得到全网的信息数据之后，下一步就是索引器（Indexer）去创建索引，为信息创建“索引目录”，方便人们快速通过关键词，找到相关信息。而索引中最重要的数据结构就是，反转列表（inverted list）。在数据中的每一个词，都会有一个反转列表,即记录词出现在了哪几个文档中。

3. 创建索引也同样复杂，需要对收集的数据文档进行解析，其中涉及大量NLP（自然语言）工作，将处理好的关键词分门别类的快速创建索引，而且互联网上的信息变化速度快，需要及时更新。谷歌特地设计了MapReduce利用分布式计算解决创建索引速度的问题。

4. 之后就是将用户的搜索请求转换成SQL Query命令，由查询引擎（Query Engine）通过索引去搜索，计算出信息检索得分（Information Retrival Score），查询引擎将结果根据得分排序后，最后将结果内容回复给用户。

谷歌主导着用户搜索和搜索广告，如果有另外一家公司企图踢掉谷歌的饭碗，那么竞争对手需要为用户提供更好的搜索和比谷歌更好的整体体验，或其他激励手段（因为谷歌搜索是免费的，它不能在价格上被削弱）去替换掉谷歌，这需要足够长的时间使用户改掉习惯性的用谷歌搜索信息。

鉴于谷歌的全方面优势：搜索质量、卓越的用户界面、品牌/习惯使用、搜索广告的主要覆盖面和规模，在大数据和机器学习方面处于领先地位，并且财力雄厚，与谷歌竞争的总成本规模巨大，需要数百亿美元，并且具有很高的失败风险。

所以通过Web3创业去砸谷歌的饭碗实在是太荒唐了，谷歌的各方面积累已经没有人可以挑战他了。

目前来看Web3的主流搜索引擎是各大链的Scan/Explore, 例如Etherscan, Blockchain.com，链上交易行情网站Dexguru，DexTool。由于近期NFT的兴起，市场上面也出现了一些针对NFT的搜索引擎。另外则是一众Web3数据分析网站，比如Nansen，Dune等等；但他们和搜索引擎并不完全相同，但本质上也是帮助用户快速得到想要的信息。

Web3搜索引擎的核心功能是提供链上数据和交易信息，以此来吸引Web3用户的关注。但大部分的公司并没有像谷歌提供复杂的索引功能，也就是说当我们搜索地址的时候，我们看到的依旧是这个地址的原始数据，而没有为地址相关数据排名，信息整合。比如Glassnode拿到的数据是非常原始，并且很容被黑客恶意操作，所以可信度并不高，反观Nansen在这方面的数据处理就相当不错，Nansen在为关键词创建大量的标签，加强地址联系性。

而Dune看起来则走上了另外一条路，Dune似乎想成为Data Provider，提供整合过一定程度的数据给用户，让用户任意去搭建自己的组合（Portfolio），让用户变成了内容创作者，之后Dune再将用户创建好的组合推送给其他用户，像极了内容创作平台。但Dune提供原始数据的服务来看，Dune某种程度也是用户创作时的搜索引擎。

另外一个有意思的Web3搜索引擎是askmirror，是mirror的一个副产品，可以快速的搜索到想要的mirror文章，我觉得mirror + askmirror是目前市场少有真正落地，且有价值的应用。

在Web3中，搜索引擎毫无疑问是顶级生态，是区块链的基础设施，尤其是当前Web3以DEFI，金融应用为主，交易信息居多，高效获取优质数据就意味着在市场上取得极大优势。而在未来，随着去中心化存储，内容的不断丰富，Web3数据的增多，一定会有强力的Web3引擎出现，为用户高效获取想要的链上各样数据和信息。

我的下一篇文章将会简单讨论ConsenSys这家公司，更加深入的解读区块链Web3基础设施建设。

唯易WitEx.io是一家业务丰富的数字资产公司，主要包含交易所、资产管理以及挖矿三大业务，均与业内头部公司保持深度合作关系。

唯易WitEx.io是首家OKX Cloud合作交易平台，主要面向全球用户提供比特币、莱特币、以太币等数字资产的币币和衍生品交易服务。同时，WitEx.io共享OKX的账户安全体系、身份认证体系以及世界顶尖的撮合引擎和交易深度，独享世界最低的现货吃单手续费，为用户带来稳定、极致的交易体验。

https://linktr.ee/witex

作者：Wilson Wang

什么是Web3的搜索引擎？在去中心化的区块链世界，如何搜索到你想要的数据？本文将简要分析Web3搜索引擎市场与相关产品。

我们目前最常用的搜索引擎是谷歌，我们先来简单了解一下搜索引擎的工作原理

1. 谷歌使用网络爬虫（Crawler）将全网信息不断收集, 当然这是一个巨大的工程，成千上万的爬虫爬取数剧，并且还需要将数据整合储存到数据库中，另外爬取过程中还需要避免循环链接等等。整个数据采集+存储过程是一套复杂的分布式工程。

2. 当得到全网的信息数据之后，下一步就是索引器（Indexer）去创建索引，为信息创建“索引目录”，方便人们快速通过关键词，找到相关信息。而索引中最重要的数据结构就是，反转列表（inverted list）。在数据中的每一个词，都会有一个反转列表,即记录词出现在了哪几个文档中。

3. 创建索引也同样复杂，需要对收集的数据文档进行解析，其中涉及大量NLP（自然语言）工作，将处理好的关键词分门别类的快速创建索引，而且互联网上的信息变化速度快，需要及时更新。谷歌特地设计了MapReduce利用分布式计算解决创建索引速度的问题。

4. 之后就是将用户的搜索请求转换成SQL Query命令，由查询引擎（Query Engine）通过索引去搜索，计算出信息检索得分（Information Retrival Score），查询引擎将结果根据得分排序后，最后将结果内容回复给用户。

谷歌主导着用户搜索和搜索广告，如果有另外一家公司企图踢掉谷歌的饭碗，那么竞争对手需要为用户提供更好的搜索和比谷歌更好的整体体验，或其他激励手段（因为谷歌搜索是免费的，它不能在价格上被削弱）去替换掉谷歌，这需要足够长的时间使用户改掉习惯性的用谷歌搜索信息。

鉴于谷歌的全方面优势：搜索质量、卓越的用户界面、品牌/习惯使用、搜索广告的主要覆盖面和规模，在大数据和机器学习方面处于领先地位，并且财力雄厚，与谷歌竞争的总成本规模巨大，需要数百亿美元，并且具有很高的失败风险。

所以通过Web3创业去砸谷歌的饭碗实在是太荒唐了，谷歌的各方面积累已经没有人可以挑战他了。

目前来看Web3的主流搜索引擎是各大链的Scan/Explore, 例如Etherscan, Blockchain.com，链上交易行情网站Dexguru，DexTool。由于近期NFT的兴起，市场上面也出现了一些针对NFT的搜索引擎。另外则是一众Web3数据分析网站，比如Nansen，Dune等等；但他们和搜索引擎并不完全相同，但本质上也是帮助用户快速得到想要的信息。

Web3搜索引擎的核心功能是提供链上数据和交易信息，以此来吸引Web3用户的关注。但大部分的公司并没有像谷歌提供复杂的索引功能，也就是说当我们搜索地址的时候，我们看到的依旧是这个地址的原始数据，而没有为地址相关数据排名，信息整合。比如Glassnode拿到的数据是非常原始，并且很容被黑客恶意操作，所以可信度并不高，反观Nansen在这方面的数据处理就相当不错，Nansen在为关键词创建大量的标签，加强地址联系性。

而Dune看起来则走上了另外一条路，Dune似乎想成为Data Provider，提供整合过一定程度的数据给用户，让用户任意去搭建自己的组合（Portfolio），让用户变成了内容创作者，之后Dune再将用户创建好的组合推送给其他用户，像极了内容创作平台。但Dune提供原始数据的服务来看，Dune某种程度也是用户创作时的搜索引擎。

另外一个有意思的Web3搜索引擎是askmirror，是mirror的一个副产品，可以快速的搜索到想要的mirror文章，我觉得mirror + askmirror是目前市场少有真正落地，且有价值的应用。

在Web3中，搜索引擎毫无疑问是顶级生态，是区块链的基础设施，尤其是当前Web3以DEFI，金融应用为主，交易信息居多，高效获取优质数据就意味着在市场上取得极大优势。而在未来，随着去中心化存储，内容的不断丰富，Web3数据的增多，一定会有强力的Web3引擎出现，为用户高效获取想要的链上各样数据和信息。

我的下一篇文章将会简单讨论ConsenSys这家公司，更加深入的解读区块链Web3基础设施建设。

唯易WitEx.io是一家业务丰富的数字资产公司，主要包含交易所、资产管理以及挖矿三大业务，均与业内头部公司保持深度合作关系。

唯易WitEx.io是首家OKX Cloud合作交易平台，主要面向全球用户提供比特币、莱特币、以太币等数字资产的币币和衍生品交易服务。同时，WitEx.io共享OKX的账户安全体系、身份认证体系以及世界顶尖的撮合引擎和交易深度，独享世界最低的现货吃单手续费，为用户带来稳定、极致的交易体验。

https://linktr.ee/witex