grab-site

软件描述

grab-site 是一个将网站抓取并存档为 WARC 文件的爬虫。它包含一个用于监控多个抓取任务的仪表板,并支持在抓取过程中更改 URL 忽略模式。

官方网站

访问软件的官方网站了解更多信息

官方认证

github.com

安全链接HTTPS
立即访问

什么是 grab-site?

grab-site 是一个将网站抓取并存档为 WARC 文件的爬虫。它包含一个用于监控多个抓取任务的仪表板,并支持在抓取过程中更改 URL 忽略模式。

🔄 替代方案

22 个选择
5

GNU Wget 是一个免费的软件包,用于通过 HTTP(S) 和 FTP 协议下载文件,这两种协议是目前使用最广泛的互联网协议。它是一个非交互式的命令行工具,因此可轻松从脚本、cron 作业、无 X-Windows 支持的终端等环境中调用。

4

开源软件,允许用户下载完整网站,保留目录和链接结构,以便离线浏览。支持更新、断点续传及主要操作系统。

4

Cyotek WebCopy 是一款免费工具,可将完整或部分网站复制到您的硬盘上,以便离线查看。

5

一款macOS应用程序,可自动从互联网下载网站。它通过异步复制网站的网页、图片、PDF文件、样式表及其他文件到本地硬盘,从而复制网站的目录结构。

5

Fossilo.com 持续将完整网站存档为 PDF 及多种其他格式,以便未来无需任何依赖即可轻松打开和查看。您可在平台内浏览存档内容,或将其下载为独立包。

0

该项目是一个Java Web爬虫(网络爬虫),具备下载(及断点续传)文件的功能。它还支持正则表达式和下载模板,可高度自定义。

5

一个浏览器扩展程序,可将网页捕获到本地设备或后端服务器,以供日后检索、整理、标注和编辑。

3

ScrapBook X 是一个基于 ScrapBook Plus 的 Firefox 插件,同时还整合了最新版 ScrapBook 的多项功能。

下一页