Apify

Apify
软件描述
Apify 是一个网络爬取和自动化平台——它可以从网站中提取数据、抓取 URL 列表,并自动化网络上的工作流程。将任何网站变为 API!
什么是 Apify?
Apify 是在云端运行无头 Chrome 任务的最简便方式。它配备了一个高级网络爬虫,能够抓取即使是最庞大的网站。使用类似 cron 的服务安排您的任务,并将大量数据存储在专用存储中。
复用他人构建的爬虫和工具,并发布您自己的工具供他人使用。您的源代码可托管在 GitHub、Docker Hub、任意 URL 上,或直接托管在 Apify 平台。使用您服务的用户支付所消耗的资源费用,而非您!
您的 Apify 服务可使用 JavaScript 或任何其他语言编写,只要它们被打包为 Docker 容器即可。通过网页界面或 REST API 管理平台。使用 Webhooks 触发外部服务,或直接从您的代码中触发,或通过 Zapier、Keboola 等集成平台实现。