grab-site

软件描述

grab-site 是一个用于将网站归档为 WARC 文件的爬虫工具。它包含一个仪表板,用于监控多个爬取任务,并支持在爬取过程中更改 URL 忽略模式。

官方网站

访问软件的官方网站了解更多信息

官方认证

github.com

安全链接HTTPS

什么是 grab-site?

grab-site 是一个用于将网站归档为 WARC 文件的爬虫工具。它包含一个仪表盘,用于监控多个爬取任务,并支持在爬取过程中更改 URL 忽略模式。

🔄 替代方案

22 个选择

GNU Wget 是一个用于通过 HTTP(S) 和 FTP 协议获取文件的免费软件包,这两种协议是互联网上最广泛使用的协议。它是一个非交互式的命令行工具,因此可以轻松地从脚本、计划任务(cron jobs)、不支持 X-Windows 的终端等环境中调用。

免费 • 开源
查看详情
4.1

允许用户下载完整网站的开源软件,可保存目录和链接结构以供离线浏览。提供更新、断点续传功能以及对主要操作系统的支持。

免费 • 开源
查看详情

Cyotek WebCopy 是一款免费工具,可将整个或部分网站本地复制到您的硬盘上,以便离线查看。

免费 • 专有
查看详情

一个 macOS 应用程序,可自动从互联网下载网站。它通过异步方式复制网站的网页、图片、PDF 文件、样式表及其他文件到您的本地硬盘,从而复制网站的目录结构。

付费 • 专有
查看详情

Fossilo.com 会持续将完整网站存档为 PDF 和多种其他格式,以便未来无需依赖任何组件即可轻松打开和查看。您可以在平台上浏览存档,也可以将其下载为独立包。

付费 • 专有
查看详情

该项目是一个基于 Java 的网络爬虫(网页蜘蛛),具备下载(并支持断点续传)文件的功能,同时支持正则表达式和下载模板,高度可定制化。

免费 • 开源
查看详情
5

一种浏览器扩展程序,可将网页捕获到本地设备或后端服务器,以便日后检索、整理、注释和编辑。

免费 • 开源
查看详情
3.2

ScrapBook X 是一个基于 ScrapBook Plus 并融合了最新版本 ScrapBook 多个功能的 Firefox 插件。

免费 • 开源
查看详情
上一页
下一页