Scrapy
软件描述
Scrapy 是一个用 Python 编写的免费开源网络爬取框架。最初为网页抓取而设计，也可用于通过 API 提取数据或作为通用网络爬虫。它由 Zyte（前身为 Scrapinghub）开发并维护，是一家网络抓取公司。
官方网站
访问软件的官方网站了解更多信息
scrapy.org
什么是 Scrapy?
Scrapy 是一个用 Python 编写的免费开源网络爬取框架。最初为网页抓取而设计，也可用于通过 API 提取数据或作为通用网络爬虫。它由 Zyte（前身为 Scrapinghub）开发并维护，该公司是一家网络抓取开发与服务公司。
🔄 替代方案
102 个选择
QuickScraper
快速抓取API处理代理服务器、浏览器和验证码，您只需一次简单的API调用即可获取任何网站的HTML！
ScrapingBee
ScrapingBee 是一个处理网页抓取挑战的 API，如 JavaScript 渲染、无头 Chrome 操作、绕过验证码和使用代理。它曾名为 ScrapingNinja。该 API 使用最新版 Chrome 管理多个无头实例，可实现……
PromptCloud
PromptCloud 是一家领先的网络数据抓取解决方案提供商，提供洁净的数据、优质的服务、托管基础设施支持以及无与伦比的专业领域知识。
StormCrawler
StormCrawler 是一个用于使用 Apache Storm 构建分布式网络爬虫的开源 SDK。该项目采用 Apache 许可证 v2，包含一组主要用 Java 编写的可重用资源和组件。
Scrapfly
简单而强大的网络抓取API——我们通过简单的REST API提供完全托管的网络抓取服务。其承诺是使用统一工具轻松地将任何网站变为数据库。
Apache Nutch
Apache Nutch 是一个高度可扩展且可伸缩的开源网络爬虫软件项目。
Outscraper
一款功能多样的网页与数据抓取服务，通过用户友好的网络工具和Outscraper API提取谷歌地图、亚马逊、谷歌Play评论等信息。支持实时数据抓取、高级分析，并可与其他平台集成，提供订阅制定价和可靠的数据处理。
