DRKSpiderJava

DRKSpider 是一个开源的网站爬虫（网站地图生成器）和链接检查工具。
功能：

• 生成与网站导航结构匹配的网站树。
• 支持搜索引擎优化的网站地图导出：可为 Google、Yahoo 等引擎生成网站地图。
• 提供所发现每个链接的详细信息。
• 多种扫描限制选项。
• 网站扫描结果窗口。
• 导出命令，支持将结果导出为 CSV 格式以便进一步处理。
• 文件菜单中的“首选项”命令，用于保存 DRKSpider 设置。
• 排除词列表，用于排除特定 URL。
• 支持代理服务器。
• 支持互联网系统缓存控制。
• 可控制引荐信息字段。
• 二进制安装包分发（NSIS 安装程序）。
• 在链接属性对话框中集成 W3C HTML 验证工具。
• 支持 SWFRIP 插件以解析 SWF 内容（SWFRIP 源代码）。
• 可对任意树形项目进行网络查询。
• 为搜索引擎优化（SEO）生成网站地图文件。