apache/incubator-druid Docker 镜像 - 轩辕镜像

Apache Druid (incubating) Docker镜像文档

镜像概述和主要用途

Apache Druid (incubating) 是一个高性能分析数据存储，专为事件驱动型数据设计。该Docker镜像封装了Apache Druid的核心组件，提供了便捷的部署方式，适用于快速搭建Druid集群或单节点实例，以支持实时和批量数据的高效分析处理。

免责声明：Apache Druid 是Apache软件基金会（ASF）正在孵化的项目，由Apache孵化器赞助。所有新接受的项目都需要经过孵化阶段，直到进一步审查表明其基础设施、通信和决策流程已稳定，达到与其他成功ASF项目一致的水平。孵化状态不一定反映代码的完整性或稳定性，但确实表明该项目尚未得到ASF的完全认可。

核心功能和特性

核心功能

• 实时与批量数据处理：支持实时数据摄入（毫秒级延迟）和批量数据加载，满足不同场景的数据处理需求。
• 高性能查询：优化的列式存储和索引结构，支持亚秒级复杂查询（如聚合、过滤、排序等）。
• 水平扩展能力：基于分布式架构设计，可通过增加节点线性扩展存储容量和处理能力。
• 多数据源支持：兼容Kafka、HDFS、S3、本地文件等多种数据源，灵活接入各类数据。
• 灵活的数据模型：支持复杂维度分析，支持时间序列数据特性，适合事件时间序列分析场景。

特性优势

• 高可用性：通过ZooKeeper实现集群协调，支持节点故障自动恢复，保障服务持续可用。
• 低资源占用：优化的内存管理和磁盘存储策略，平衡性能与资源消耗。
• 丰富的查询接口：支持SQL、JSON-over-HTTP等多种查询方式，兼容主流数据分析工具。
• 社区活跃：Apache社区支持，持续迭代优化，丰富的文档和社区资源。

使用场景和适用范围

主要使用场景

• 事件驱动数据实时分析：如用户行为跟踪、应用埋点数据实时分析，支持实时监控用户行为指标。
• 实时监控与告警：网络流量监控、服务器性能指标监控，实时检测异常并触发告警。
• 日志与审计数据处理：系统日志、安全审计日志的集中存储与高效查询，支持追溯分析。
• 物联网（IoT）数据处理：设备传感器数据实时摄入与聚合分析，支持设备状态监控和预测维护。

适用范围

• 需处理大量事件驱动型数据（如点击流、日志、传感器数据）的企业或团队。
• 对查询延迟有严格要求（亚秒级响应）的实时分析场景。
• 需要同时支持实时数据摄入和历史数据批量分析的业务场景。
• 追求系统可扩展性，需随数据量增长灵活扩容的业务。

使用方法和配置说明

前置依赖

• Docker环境（19.03+）。
• 若部署集群模式，需提前部署ZooKeeper集群（用于Druid集群协调）。
• 元数据库（可选，如MySQL、PostgreSQL，用于存储Druid元数据）。

Docker镜像获取

从Docker Hub拉取官方镜像：

bash
docker pull apache/incubator-druid

单节点快速启动（开发测试用）

使用docker run命令启动单节点Druid实例（内置ZooKeeper和本地元数据库，仅用于开发测试）：

bash
docker run -d \
  --name druid-single \
  -p 8081:8081 \  # Coordinator UI
  -p 8082:8082 \  # Overlord UI
  -p 8083:8083 \  # Broker UI
  -p 8088:8088 \  # Router UI
  -p 8090:8090 \  # Historical节点
  -p 8200:8200 \  # MiddleManager节点
  apache/incubator-druid

启动后，通过http://localhost:8081访问Coordinator UI，验证服务是否正常运行。

集群部署（生产环境）

推荐使用docker-compose部署Druid集群，以下为基础配置示例（需根据实际环境调整）：

docker-compose.yml配置

yaml
version: '3'
services:
  zookeeper:
    image: zookeeper:3.7
    ports:
      - "2181:2181"
    environment:
      - ZOO_MY_ID=1
    volumes:
      - zk-data:/data
      - zk-datalog:/datalog

  coordinator:
    image: apache/incubator-druid
    depends_on:
      - zookeeper
    environment:
      - DRUID_ROLE=coordinator
      - DRUID_XMX=1g
      - DRUID_XMS=1g
      - ZOOKEEPER_HOST=zookeeper
      - ZOOKEEPER_PORT=2181
    ports:
      - "8081:8081"
    volumes:
      - druid-coordinator:/opt/druid/var

  overlord:
    image: apache/incubator-druid
    depends_on:
      - zookeeper
    environment:
      - DRUID_ROLE=overlord
      - DRUID_XMX=1g
      - DRUID_XMS=1g
      - ZOOKEEPER_HOST=zookeeper
      - ZOOKEEPER_PORT=2181
    ports:
      - "8082:8082"
    volumes:
      - druid-overlord:/opt/druid/var

  broker:
    image: apache/incubator-druid
    depends_on:
      - zookeeper
    environment:
      - DRUID_ROLE=broker
      - DRUID_XMX=2g
      - DRUID_XMS=2g
      - ZOOKEEPER_HOST=zookeeper
      - ZOOKEEPER_PORT=2181
    ports:
      - "8083:8083"
    volumes:
      - druid-broker:/opt/druid/var

  router:
    image: apache/incubator-druid
    depends_on:
      - coordinator
      - overlord
      - broker
    environment:
      - DRUID_ROLE=router
      - DRUID_XMX=512m
      - DRUID_XMS=512m
      - ZOOKEEPER_HOST=zookeeper
      - ZOOKEEPER_PORT=2181
    ports:
      - "8088:8088"
    volumes:
      - druid-router:/opt/druid/var

  historical:
    image: apache/incubator-druid
    depends_on:
      - zookeeper
    environment:
      - DRUID_ROLE=historical
      - DRUID_XMX=4g
      - DRUID_XMS=4g
      - ZOOKEEPER_HOST=zookeeper
      - ZOOKEEPER_PORT=2181
    ports:
      - "8090:8090"
    volumes:
      - druid-historical:/opt/druid/var
      - druid-segment-storage:/opt/druid/var/segment-storage  # 持久化Segment数据

  middlemanager:
    image: apache/incubator-druid
    depends_on:
      - zookeeper
    environment:
      - DRUID_ROLE=middlemanager
      - DRUID_XMX=2g
      - DRUID_XMS=2g
      - ZOOKEEPER_HOST=zookeeper
      - ZOOKEEPER_PORT=2181
    ports:
      - "8200:8200"
    volumes:
      - druid-middlemanager:/opt/druid/var

volumes:
  zk-data:
  zk-datalog:
  druid-coordinator:
  druid-overlord:
  druid-broker:
  druid-router:
  druid-historical:
  druid-segment-storage:
  druid-middlemanager:

启动集群：

bash
docker-compose up -d

配置说明

环境变量配置

Druid节点可通过环境变量调整核心配置，常用环境变量如下：

自定义配置文件

若需精细化配置（如调整查询缓存、数据保留策略等），可通过挂载外部配置文件实现。例如，将本地配置目录挂载到容器内：

bash
docker run -d \
  --name druid-coordinator \
 -e DRUID_ROLE=coordinator \
 -v /path/to/custom-config:/opt/druid/conf/druid \
 apache/incubator-druid

配置文件结构需遵循Druid官方规范，具体可参考Druid配置文档。

社区与支持

• 用户邮件列表：通过***获取社区支持。
• 开发讨论：开发相关讨论请发送至***，可通过邮件***订阅。
• Slack社区：加入Apache Slack的#druid频道，通过邀请链接注册。

许可证

本镜像基于Apache License, Version 2.0开源许可协议发布。