ScraperBox

Scrapy

网络爬虫工具, 数据挖掘软件

★5

Scrapy 是一个用 Python 编写的免费开源网络爬取框架。最初为网页抓取而设计，也可用于通过 API 提取数据或作为通用网络爬虫。它由 Zyte（前身为 Scrapinghub）开发并维护，是一家网络抓取公司。

ParseHub

数据挖掘软件, 网络爬虫工具

★4

ParseHub 是一款专为应对现代网页而设计的网络抓取工具。 您可以从任何位置提取数据。ParseHub 支持单页应用、多页应用以及几乎所有其他现代网页技术。 ParseHub 可处理 JavaScript、AJAX、Cookie、会话和重定向。您可。

Flyscrape

网络爬虫工具

Flyscrape 是一个独立且可脚本化的网页爬虫，结合了 Go 语言的速度与 JavaScript 的灵活性。—— 专注于数据提取，而非请求处理。

Lookyloo

网络爬虫工具

Lookyloo 是一个网页界面，允许用户捕获网站页面，然后显示相互调用的域名树。

Portia

网络爬虫工具

Portia 是一款开源的可视化抓取工具，无需任何编程知识即可抓取网站！只需标注您感兴趣的页面，Portia 就会自动生成爬虫，从相似页面中提取数据。

Apify

网络爬虫工具

Apify 是一个网络抓取和自动化平台——它可从网站提取数据、爬取 URL 列表，并自动化网页上的工作流程。将任何网站转变为 API！

Minexa.ai

网络爬虫工具

★4.8

Minexa.ai 是一款下一代工具，通过其他替代方案所不具备的AI驱动解决方案，让网络数据抓取更快、更经济。与那些需要不断调整、在高负载下表现不佳或为自然语言处理额外收费的工具不同，Minexa 能够自动适应……

ScrapingBee

网络爬虫工具

★2.3

ScrapingBee 是一个处理网页抓取挑战的 API，如 JavaScript 渲染、无头 Chrome 操作、绕过验证码和使用代理。它曾名为 ScrapingNinja。该 API 使用最新版 Chrome 管理多个无头实例，可实现……