在这里推荐几个值得关注的异步爬虫库，给你的爬虫提速。看看有没有你没听过的？
下面这几个库，都是类似 Requests 的用法但是基于异步的设计。
aiohttp 是纯粹的异步框架，同时支持 HTTP 客户端和 HTTP 服务端，可以快速实现异步爬虫。坑比其他框架少。并且 aiohttp 解决了requests 的一个痛点，aiohttp 可以轻松实现自动转码，对于中文编码就很方便了。
Python 自带一个异步的标准库 asyncio，但是这个库很多人觉得不好用，甚至是 Flask 库的作者公开抱怨自己花了好长时间才理解这玩意，于是就有好事者撇开它造了两个库叫做 curio 和 trio，而这里的 ask 则是封装了 curio 和 trio 的一个 http 请求库。
用起来和 Requests 90%相似，新手也可以很快上手。
号称是现在最快的异步请求框架，跑分是最快的。写爬虫、写服务器响应都可以用。
但这个项目一直在重构，这谁受得了。现在页面上还挂着项目正在重构的警告，使用需谨慎啊。
Selenium +webdriver 可以用来模拟用来模拟浏览器请求，Selenium也是同步的、而不是异步设计的。而下面这些库不光是从效率上，还有易用性上也比 Selenium 进化了不少。
Pyppeteer 是异步无头浏览器（Headless Chrome），从跑分来看比 Selenium + webdriver 快，使用方式是最接近于浏览器的自身的设计接口的。它本身是来自 Google 维护的 puppeteer，但是按照 Python 社区的梗，作者进行了封装并且把名字中的 u 改成了 y
特点是异步的设计，接口非常浏览器化，注入 JS 也很方便。
Requests 的作者 Kenneth Reitz 曾经转发称赞过这个库。
Requestium 是 Requests 和 Selenium 封装的产物，并且提供了友好的接口切换，这样就可以根据需求切换了。
值得一提的是，Requestium 有一个 Wait Until 的方便设计，它的作用是确保页面中的某一个元素出现了才会进行下面的代码，这样一来就很轻松的避免了一些诡异的错误。GitHub 页面上有一组示例，是使用 Requestium 以及使用 Requests + Selenium + lxml 的对比，可以很明显看出区别。
HDE 公司用在了实际生产中的项目抽离出来的框架。和 selenium 接口几乎一致，学习成本相对较低。不同在于是异步的设计。不过文档有点糟糕。
前端圈很流行说渐进式框架，那么 Grab 可以说是爬虫界的渐进式框架。想简单用时有简单的用法，想复杂使用时也有复杂的用法。封装的很好，基于生成器异步的设计。
国人作者。概念很新颖，定位成了处理数据工作流的框架，可以用来爬虫、机器学习、量化交易等等。
国人作者。比较接近 Scrapy 的使用方式，异步设计。作者也在知乎但是很低调 @howie
应该是 Golang 里使用量最多的爬虫框架了。Golang 语言本身就对并发支持很好。让你在使用时只考虑业务本身就可以。框架结构化、清晰、代码好读。
JS 圈里的一个奇葩，整个爬虫都基于 Chrome ，并且自带一个调度队列。实际测试速度和稳定性均不俗。
你还在低效努力吗？
用 Python 提升效率，4 小时工作 20 秒完成
《Python 效率 Up 计划》新课发布会，点击免费参加
