apachepulsar/pulsar-all Docker 镜像 - 轩辕镜像

Apache Pulsar Docker镜像文档

1. 镜像概述和主要用途

Apache Pulsar 是一款运行在通用硬件上的高可扩展性、低延迟分布式发布/订阅（pub/sub）消息系统。本Docker镜像包含Apache Pulsar的核心组件，以及所有官方连接器（Connectors）和卸载器（Offloaders），可快速构建可靠的分布式消息传递基础设施，支持大规模数据流转和实时消息处理。

2. 核心功能和特性

• 高可扩展性：支持无缝扩展至数千个节点，处理每秒百万级消息吞吐量
• 低延迟消息传递：毫秒级端到端延迟，满足实时数据处理需求
• 完善的消息语义：提供标准发布/订阅（pub/sub）主题模型，支持消息过滤和路由
• 可靠投递保证：支持至少一次（at-least-once）消息投递语义，确保数据不丢失
• 自动游标管理：为订阅者自动维护消息消费进度，简化客户端实现
• 跨数据中心复制：内置跨地域数据同步能力，支持多活部署架构
• 丰富的生态工具：集成所有官方连接器（如Kafka、Cassandra、AWS S3等）和数据卸载器，支持数据导入/导出
• 多语言客户端支持：提供Java、Go、Python、C++等多语言客户端库

3. 使用场景和适用范围

• 分布式系统消息传递：作为微服务架构的核心消息总线，实现服务间解耦通信
• 实时数据流处理：支持流处理平台（如Flink、Spark Streaming）的数据源和结果投递
• 跨数据中心数据同步：通过跨地域复制能力，实现全球分布式系统的数据一致性
• 高吞吐日志/事件收集：处理大规模日志、监控指标、用户行为等事件流数据
• 企业级消息队列替代：作为传统MQ（如RabbitMQ、Kafka）的高性能替代方案

4. 使用方法和配置说明

4.1 本地开发环境（Standalone模式）

Pulsar提供Standalone模式，适合本地开发和测试，可通过Docker容器快速启动：

4.1.1 Docker Run命令

bash
# 启动Pulsar Standalone容器（后台运行）
docker run -d \
  --name pulsar-standalone \
  -p 6650:6650 \  # Pulsar broker TCP端口（客户端连接）
  -p 8080:8080 \  # Pulsar HTTP管理端口（REST API、Dashboard）
  -v pulsar-data:/pulsar/data \  # 挂载数据卷持久化数据
  apachepulsar/pulsar:latest \
  bin/pulsar standalone

参数说明：

• -p 6650:6650：映射Pulsar broker默认TCP端口，供客户端通过Pulsar协议连接
• -p 8080:8080：映射HTTP管理端口，用于访问管理API和Web控制台
• -v pulsar-data:/pulsar/data：挂载数据卷，持久化消息数据和元数据，避免容器重启后数据丢失

4.1.2 验证服务状态

容器启动后，可通过HTTP API验证服务是否正常：

bash
# 检查Pulsar集群状态
curl http://localhost:8080/admin/v2/clusters/local

返回集群信息JSON表示服务正常运行。

4.2 客户端连接示例

Pulsar客户端需连接至broker的6650端口（TCP）或8080端口（HTTP），以下为不同语言客户端的简单示例：

Java客户端：

java
PulsarClient client = PulsarClient.builder()
    .serviceUrl("pulsar://localhost:6650")
    .build();

Producer<String> producer = client.newProducer(Schema.STRING)
    .topic("my-topic")
    .create();

producer.send("Hello Pulsar!");

Python客户端：

python
from pulsar import Client

client = Client('pulsar://localhost:6650')
producer = client.create_producer('my-topic')
producer.send('Hello Pulsar!'.encode('utf-8'))
client.close()

4.3 Docker Compose配置（简单集群示例）

以下为单节点Pulsar服务的docker-compose.yml配置：

yaml
version: '3'
services:
  pulsar:
    image: apachepulsar/pulsar:latest
    container_name: pulsar-standalone
    ports:
      - "6650:6650"   # Broker TCP端口
      - "8080:8080"   # HTTP管理端口
    volumes:
      - pulsar-data:/pulsar/data
    command: bin/pulsar standalone

volumes:
  pulsar-data:  # 持久化数据卷

启动命令：docker-compose up -d

5. Kubernetes部署（扩展方案）

Pulsar可无缝部署至Kubernetes集群，支持托管集群（如Google Kubernetes Engine、Amazon Web Services）和自定义集群。部署详情请参考官方Kubernetes部署文档。

6. 参考资源

• 官方文档：Pulsar Docs
• 问题反馈：GitHub Issues
• 社区支持：
  • Slack频道：Apache Pulsar Slack（通过此链接自助邀请）
  • Stack Overflow：apache-pulsar标签
• 技术博客：Pulsar Blog
• 源代码：GitHub仓库

7. 贡献指南

如需参与Apache Pulsar项目贡献，请参考官方贡献文档。

8. 许可证信息

Apache Pulsar基于Apache License 2.0许可发布：[***]
Docker镜像可能包含其他软件组件（如Bash等基础系统工具），其许可信息请参考各组件官方文档。