80legs

Scrapy

网络爬虫工具, 数据挖掘软件

★5

Scrapy 是一个用 Python 编写的免费开源网络爬取框架。最初为网页抓取而设计，也可用于通过 API 提取数据或作为通用网络爬虫。它由 Zyte（前身为 Scrapinghub）开发并维护，是一家网络抓取公司。

ParseHub

数据挖掘软件, 网络爬虫工具

★4

ParseHub 是一款专为应对现代网页而设计的网络抓取工具。 您可以从任何位置提取数据。ParseHub 支持单页应用、多页应用以及几乎所有其他现代网页技术。 ParseHub 可处理 JavaScript、AJAX、Cookie、会话和重定向。您可。

import.io

网络爬虫工具, 数据挖掘软件

★3

import.io 是一个基于网络的平台，可将机器可读网页的强大功能掌握在您手中。使用我们的工具，无需编程，即可在远短于传统方法的时间内创建 API 或抓取整个网站。

Flyscrape

网络爬虫工具

Flyscrape 是一个独立且可脚本化的网页爬虫，结合了 Go 语言的速度与 JavaScript 的灵活性。—— 专注于数据提取，而非请求处理。

Lookyloo

网络爬虫工具

Lookyloo 是一个网页界面，允许用户捕获网站页面，然后显示相互调用的域名树。

Reworkd

网络爬虫工具

Reworkd 可在无需编码或维护的情况下，轻松实现大规模网页数据提取。它自动化了整个网页数据流程，包括扫描网站、生成代码、运行提取器、验证结果并输出数据。

Portia

网络爬虫工具

Portia 是一款开源的可视化抓取工具，无需任何编程知识即可抓取网站！只需标注您感兴趣的页面，Portia 就会自动生成爬虫，从相似页面中提取数据。

Apify

网络爬虫工具

Apify 是一个网络抓取和自动化平台——它可从网站提取数据、爬取 URL 列表，并自动化网页上的工作流程。将任何网站转变为 API！