Scrapy 是一套基于 Twisted 的异步处理框架,纯 Python 实现的爬虫框架,用户只需要定制开发几个模块就可以轻松的实现一个爬虫,用来抓取网页内容以及各种图片。它也可以用于广泛的目的,从数据挖掘、监控到自动测试等。 Scrapy 2.14.0 现已发布,具体更新内容包括: 亮点: 更多基于协程的 Deferred-based API 替代方案... Scrapy 2.14.0 发布,Python 爬虫框架下载地址