Apache Nutch

Apache Nutch 是一个高度可扩展且可伸缩的开源网页爬虫软件项目。
Nutch 完全使用 Java 编程语言编写，但数据以与语言无关的格式存储。它具有高度模块化的架构，允许开发者为媒体类型解析、数据获取、查询和聚类创建插件。
抓取器（“机器人”或“网络爬虫”）是为此项目专门从零开始编写的。