apacheignite/ignite Docker 镜像 - 轩辕镜像

Apache Ignite Docker镜像文档

1. 镜像概述和主要用途

Apache Ignite是一个分布式数据库，专为高性能计算设计，具备内存级处理速度。它整合了分布式存储、计算和缓存功能，支持多存储层（内存、磁盘、Intel Optane），可作为独立数据库或现有系统的缓存层，适用于需要高吞吐量、低延迟和强一致性的场景。

2. 核心功能和特性

2.1 多层存储

支持内存、磁盘和Intel Optane作为活动存储层：

• 内存层：使用DRAM或Intel Optane（内存模式）存储数据，满足高速处理需求。
• 磁盘层：可选配置，支持外部数据库持久化或Ignite原生持久化，可使用SSD、HDD或Intel Optane（AppDirect模式）作为存储设备。

2.2 原生持久化

Ignite内置分布式、ACID兼容、SQL合规的磁盘存储：

• 作为多层存储的磁盘层，支持数据量超过内存容量的场景。
• 启用后可实现集群快速重启，无需全量数据重加载。

2.3 ACID合规

• 内存和磁盘数据均满足ACID特性，确保系统强一致性。
• 支持跨网络、多服务器的分布式事务。

2.4 ANSI SQL支持

• 符合ANSI-99标准的SQL引擎，支持水平扩展和容错。
• 提供JDBC/ODBC驱动及多语言（Java、C#、C++、Python等）原生SQL API。
• 支持DML命令（SELECT/UPDATE/INSERT/DELETE）及分布式系统相关的DDL子集。

2.5 机器学习与高性能计算

• 机器学习：提供简单、可扩展的工具集，支持分布式模型训练，减少数据传输成本。
• 高性能计算（HPC）：通过MapReduce范式API实现分布式计算，将普通服务器或云环境转化为高性能计算集群，降低网络开销。

3. 使用场景和适用范围

3.1 高性能分布式数据库

适用于需要高吞吐量、低延迟的在线事务处理（OLTP）场景，支持大规模数据分布式存储与查询。

3.2 分布式缓存层

作为外部数据库（如MySQL、PostgreSQL）的缓存层，提升读取性能，减轻后端数据库压力。

3.3 实时分析系统

通过ANSI SQL支持实时数据查询，适用于实时报表、监控和业务分析场景。

3.4 机器学习训练平台

在数据所在集群直接进行模型训练，避免大规模数据迁移，提升训练效率。

3.5 HPC集群

将 commodity 服务器或云资源组成分布式超级计算机，处理科学计算、工程模拟等计算密集型任务。

4. 使用方法和配置说明

4.1 Docker快速启动

4.1.1 单节点启动

bash
docker run -d \
  --name ignite-node \
  -p ***:*** \          # 客户端连接端口
  -p 47100:47100 \          # 节点间通信端口
  -p 47500:47500 \          # 集群发现端口
  -p 8080:8080 \            # REST API端口
  -e IGNITE_NODENAME=node1 \ # 节点名称
  -e IGNITE_PERSISTENCE_ENABLED=true \ # 启用原生持久化
  -v /host/path/to/data:/opt/ignite/work \ # 持久化数据挂载
  apacheignite/ignite:latest

4.1.2 多节点集群启动（通过发现机制）

bash
# 节点1（集群种子节点）
docker run -d \
  --name ignite-seed \
  -p ***:*** \
  -p 47100:47100 \
  -p 47500:47500 \
  -e IGNITE_NODENAME=seed \
  -e IGNITE_DISCOVERY_ADDRESSES=127.0.0.1:47500 \ # 自身作为发现节点
  apacheignite/ignite:latest

# 节点2（加入集群）
docker run -d \
  --name ignite-node2 \
  -p ***:*** \
  -p 47101:47100 \
  -e IGNITE_NODENAME=node2 \
  -e IGNITE_DISCOVERY_ADDRESSES=127.0.0.1:47500 \ # 指向种子节点
  apacheignite/ignite:latest

4.2 Docker Compose部署

创建docker-compose.yml配置集群：

yaml
version: '3'
services:
  ignite-seed:
    image: apacheignite/ignite:latest
    container_name: ignite-seed
    ports:
      - "***:***"
      - "47100:47100"
      - "47500:47500"
      - "8080:8080"
    environment:
      - IGNITE_NODENAME=seed-node
      - IGNITE_PERSISTENCE_ENABLED=true
      - IGNITE_WORK_DIR=/opt/ignite/work
      - IGNITE_DISCOVERY_ADDRESSES=ignite-seed:47500
    volumes:
      - seed-data:/opt/ignite/work

  ignite-node1:
    image: apacheignite/ignite:latest
    container_name: ignite-node1
    ports:
      - "***:***"
      - "47101:47100"
      - "47501:47500"
      - "8081:8080"
    environment:
      - IGNITE_NODENAME=node1
      - IGNITE_PERSISTENCE_ENABLED=true
      - IGNITE_WORK_DIR=/opt/ignite/work
      - IGNITE_DISCOVERY_ADDRESSES=ignite-seed:47500
    volumes:
      - node1-data:/opt/ignite/work
    depends_on:
      - ignite-seed

networks:
  default:
    driver: bridge

volumes:
  seed-data:
  node1-data:

启动集群：

bash
docker-compose up -d

4.3 配置参数说明

4.3.1 核心环境变量

4.3.2 端口映射说明

5. 参考链接

• 官方网站
• 技术文档
• 多层存储架构
• 原生持久化
• 事务特性
• SQL支持
• 机器学习功能