Heritrix

Heritrix
软件
软件描述
开源、可扩展的网络爬虫,专为大规模、高质量的网络存档设计,能够保存数字文物,支持模块化插件、分布式爬取、详细监控、任务调度,并以标准化格式导出数据以供长期保存。
官方网站
访问软件的官方网站了解更多信息
官方认证
github.com
安全链接HTTPS
什么是 Heritrix?
Heritrix 是互联网档案馆的开源、可扩展、大规模网络存档质量的网页爬虫项目。
Heritrix(有时拼作 heretrix,或被误拼、误读为 heratrix/heritix/heretix/heratix)是“女继承人”(继承财产的女性)这一古老词汇。由于我们的爬虫旨在为未来的研究人员和世代收集并保存我们文化的数字遗产,因此这个名字显得十分贴切。
主要功能
🔄 替代方案
16 个选择
Mixnode
Mixnode 是一个快速、灵活且可大规模扩展的平台,用于从网络中提取和分析数据。

StormCrawler
StormCrawler 是一个用于使用 Apache Storm 构建分布式网络爬虫的开源 SDK。该项目采用 Apache 许可证 v2,包含一组主要用 Java 编写的可重用资源和组件。

Apache Nutch
Apache Nutch 是一个高度可扩展且可伸缩的开源网络爬虫软件项目。

Manticore search
★2
一款开源搜索引擎服务器,旨在实现快速、可扩展,并具备源自Sphinx搜索项目的强大且精准的全文搜索功能。

Searchspring
Searchspring 为在线零售商提供网站搜索、个性化、商品推广和洞察分析等解决方案,兼容 Shopify、Magento、BigCommerce 和 Miva 等电商平台。

wordpress i-search pro
★5
i-Search Pro 改变了 WordPress 搜索方式。完全兼容 WooCommerce,毫秒级实时显示搜索结果,几乎包含您搜索结果中的所有内容。

FreeFind
免费网站搜索引擎。今天起在您的网站上添加一个免费的网站搜索引擎,不到十分钟即可完成。可选择免费版或专业版网站搜索引擎。


