0xshaw

Sep 24

如何攻破防机器人网站-Cloudflare WAF反爬处理

为什么搞这个？事情的起因是，一个小伙伴搞了一个打图狗的程序，想要获取一个第三方的API，总是获取不到数据，但通过浏览器访问API又没问题，于是高价悬赏10u请我们帮忙，我想这个应该很简单，5分钟给你搞定吧。中间尝试用过模拟浏览器的header（头信息），cookie（浏览器本地数据），proxies（代理），webdriver（程序调用浏览器），2个小时过去了也没搞定，结果放弃了。问题在哪?我知道它去到了一个中间页（如图），用浏览器是看不到的，中间页又做了一次表单验证，感兴趣的可以搜一下Cloudflare，具体原理我就不说了。解决办法通过cloudscraper模块三行代码搞定 1、安装cloudscraper模块python3 -m pip install cloudscraper 2、三行代码import cloudscraper scraper = cloudscraper.create_scraper() resp = scraper.get('目标网站').text 欢迎关注Twitter：https://twitter.com/ishawzuo

0xshaw

Sep 24

如何用Alchemy和Ganache Fork主链(eth/bsc)

为什么要fork主链？简单说就是为了降低开发成本，用链上的数据和本地的账户，做一些开发测试等一系列操作。准备工作申请主网的api：去alchemy或者infura注册一个账户，申请主网的api，这里用alchemy举例：注册账户：https://auth.alchemyapi.io/signup创建APP：https://dashboard.alchemy.com/，随便填个名字，选择Ethereum Mainnet，创建。获取API：创建完成后，点VIEW KEY按钮，可以看到。这里用HTTPS的地址Ganache客户端：https://trufflesuite.com/ganache/，下载完直接安装 Ganache CLI（命令行）：https://github.com/trufflesuite/ganache-cli-archive用npm install -g ganache-cli 或 yarn global add ganache-cli 安装都可以 配置Ganache客户端 和 命令行方式选一种就可以Ganache客户端方式：命令行方式： ganache-cli ...