事情的起因是，一个小伙伴搞了一个打图狗的程序，想要获取一个第三方的API，总是获取不到数据，但通过浏览器访问API又没问题，于是高价悬赏10u请我们帮忙，我想这个应该很简单，5分钟给你搞定吧。中间尝试用过模拟浏览器的header（头信息），cookie（浏览器本地数据），proxies（代理），webdriver（程序调用浏览器），2个小时过去了也没搞定，结果放弃了。

我知道它去到了一个中间页（如图），用浏览器是看不到的，中间页又做了一次表单验证，感兴趣的可以搜一下Cloudflare，具体原理我就不说了。

通过cloudscraper模块三行代码搞定

1、安装cloudscraper模块

python3 -m pip install cloudscraper

2、三行代码

import cloudscraper
scraper = cloudscraper.create_scraper()
resp = scraper.get('目标网站').text

欢迎关注Twitter：https://twitter.com/ishawzuo

事情的起因是，一个小伙伴搞了一个打图狗的程序，想要获取一个第三方的API，总是获取不到数据，但通过浏览器访问API又没问题，于是高价悬赏10u请我们帮忙，我想这个应该很简单，5分钟给你搞定吧。中间尝试用过模拟浏览器的header（头信息），cookie（浏览器本地数据），proxies（代理），webdriver（程序调用浏览器），2个小时过去了也没搞定，结果放弃了。

我知道它去到了一个中间页（如图），用浏览器是看不到的，中间页又做了一次表单验证，感兴趣的可以搜一下Cloudflare，具体原理我就不说了。

通过cloudscraper模块三行代码搞定

1、安装cloudscraper模块

python3 -m pip install cloudscraper

2、三行代码

import cloudscraper
scraper = cloudscraper.create_scraper()
resp = scraper.get('目标网站').text

欢迎关注Twitter：https://twitter.com/ishawzuo