Scrapy

软件描述

Scrapy 是一个用 Python 编写的免费开源网络爬取框架。最初为网页抓取而设计,也可用于通过 API 提取数据或作为通用网络爬虫。它由 Zyte(前身为 Scrapinghub)开发并维护,是一家网络抓取公司。

官方网站

访问软件的官方网站了解更多信息

官方认证

scrapy.org

安全链接HTTPS

什么是 Scrapy?

Scrapy 是一个用 Python 编写的免费开源网络爬取框架。最初为网页抓取而设计,也可用于通过 API 提取数据或作为通用网络爬虫。它由 Zyte(前身为 Scrapinghub)开发并维护,该公司是一家网络抓取开发与服务公司。

🔄 替代方案

102 个选择
QuickScraper

QuickScraper

网络爬虫工具

快速抓取API处理代理服务器、浏览器和验证码,您只需一次简单的API调用即可获取任何网站的HTML!

免费增值 • 专有
查看详情
2.3

ScrapingBee 是一个处理网页抓取挑战的 API,如 JavaScript 渲染、无头 Chrome 操作、绕过验证码和使用代理。它曾名为 ScrapingNinja。该 API 使用最新版 Chrome 管理多个无头实例,可实现……

付费 • 专有
查看详情

PromptCloud 是一家领先的网络数据抓取解决方案提供商,提供洁净的数据、优质的服务、托管基础设施支持以及无与伦比的专业领域知识。

付费 • 专有
查看详情

无需编程或自行搭建工具,即可从网站收集数据的网络爬虫服务。

付费 • 专有
查看详情
StormCrawler

StormCrawler

软件

StormCrawler 是一个用于使用 Apache Storm 构建分布式网络爬虫的开源 SDK。该项目采用 Apache 许可证 v2,包含一组主要用 Java 编写的可重用资源和组件。

免费 • 开源
查看详情
5

简单而强大的网络抓取API——我们通过简单的REST API提供完全托管的网络抓取服务。其承诺是使用统一工具轻松地将任何网站变为数据库。

付费 • 专有
查看详情
Apache Nutch

Apache Nutch

网络爬虫工具

Apache Nutch 是一个高度可扩展且可伸缩的开源网络爬虫软件项目。

免费 • 开源
查看详情

一款功能多样的网页与数据抓取服务,通过用户友好的网络工具和Outscraper API提取谷歌地图、亚马逊、谷歌Play评论等信息。支持实时数据抓取、高级分析,并可与其他平台集成,提供订阅制定价和可靠的数据处理。

免费增值 • 专有
查看详情
上一页下一页
评分5 / 5.0

支持平台

下载与相关链接

安全提示
⚠️

安全提醒

点击下方链接将跳转到第三方网站,请确保来源安全,建议优先从官方网站下载。