grab-site
软件描述
grab-site 是一个用于将网站归档为 WARC 文件的爬虫工具。它包含一个仪表板,用于监控多个爬取任务,并支持在爬取过程中更改 URL 忽略模式。
官方网站
访问软件的官方网站了解更多信息
github.com
安全链接HTTPS
什么是 grab-site?
grab-site 是一个用于将网站归档为 WARC 文件的爬虫工具。它包含一个仪表盘,用于监控多个爬取任务,并支持在爬取过程中更改 URL 忽略模式。
🔄 替代方案
22 个选择GNU Wget 是一个用于通过 HTTP(S) 和 FTP 协议获取文件的免费软件包,这两种协议是互联网上最广泛使用的协议。它是一个非交互式的命令行工具,因此可以轻松地从脚本、计划任务(cron jobs)、不支持 X-Windows 的终端等环境中调用。
免费 • 开源
查看详情一个 macOS 应用程序,可自动从互联网下载网站。它通过异步方式复制网站的网页、图片、PDF 文件、样式表及其他文件到您的本地硬盘,从而复制网站的目录结构。
付费 • 专有
查看详情
Fossilo
★5
Fossilo.com 会持续将完整网站存档为 PDF 和多种其他格式,以便未来无需依赖任何组件即可轻松打开和查看。您可以在平台上浏览存档,也可以将其下载为独立包。
付费 • 专有
查看详情