atomicptr/crab Docker 镜像 - 轩辕镜像

镜像概述

该Docker镜像封装了一个多功能URL爬取工具，旨在从指定来源（如站点地图（sitemap）或URL列表文件）批量获取URL。适用于需要高效、便捷地收集多个URL的场景，提供灵活的爬取能力以满足不同来源的URL获取需求。

核心功能和特性

• 多来源支持：兼容站点地图（sitemap.xml）和URL列表文件作为输入来源
• 批量爬取能力：支持一次性爬取多个URL，提高数据收集效率
• 轻量便捷：通过Docker容器化部署，无需复杂环境配置，开箱即用
• 灵活输出：可将爬取结果输出至文件或标准输出，便于后续处理

使用场景和适用范围

• 网站管理：网站管理员需快速获取站点内所有URL进行审计或更新
• 开发测试：开发者收集目标URL用于接口测试、数据采集或爬虫前置准备
• SEO分析：SEO人员从站点地图中提取URL进行关键词分析或链接检查
• 数据收集：需要批量获取指定来源URL的各类自动化任务场景

使用方法和配置说明

基本使用命令

通过Docker运行容器，指定输入来源类型和路径，即可启动URL爬取：

bash
docker run --rm -v /本地输入输出目录:/data [镜像名称] --source-type <来源类型> --input /data/<输入文件> --output /data/<输出文件>

参数说明

部署示例

示例1：从站点地图爬取URL并输出至文件

假设本地当前目录下有站点地图文件sitemap.xml，需将结果保存至urls.txt：

bash
# 挂载当前目录至容器的/data目录，指定来源类型为sitemap，输入文件为/data/sitemap.xml，输出至/data/urls.txt
docker run --rm -v $(pwd):/data [镜像名称] --source-type sitemap --input /data/sitemap.xml --output /data/urls.txt

示例2：从URL列表文件爬取并输出至标准输出

本地当前目录下有URL列表文件url_list.txt（每行一个URL），直接查看爬取结果：

bash
# 挂载当前目录至/data，指定来源类型为url-list，输入文件为/data/url_list.txt，不指定输出（默认标准输出）
docker run --rm -v $(pwd):/data [镜像名称] --source-type url-list --input /data/url_list.txt

注意事项

• 输入文件需确保格式正确：站点地图需符合XML标准，URL列表文件需每行包含一个有效URL
• 通过-v参数挂载本地目录时，确保本地目录有读写权限，避免容器内文件操作失败
• 可通过--concurrency参数调整并发数，根据网络环境和目标服务器限制合理设置，避免请求过于频繁导致被限制访问