dremio/dremio-oss Docker 镜像 - 轩辕镜像

Dremio 社区版 Docker 镜像文档

概述

Dremio 是一款简单且开放的湖仓平台（社区版）。数据团队可通过 Dremio 实现自服务分析，同时灵活使用其高速 SQL 引擎及其他处理引擎操作相同数据。构建镜像的 Dockerfile 及用于在 Kubernetes 集群部署 Dremio 的 Helm Charts 可在 Github 仓库 获取。

快速参考

• 使用与部署文档
• 访问社区网站提问或提交问题
• 丰富的教程资源

维护方

• Dremio Corp

商业支持与企业版

• Dremio 企业版

核心功能与特性

• 自服务分析：支持分析师以亚秒级查询响应时间探索和可视化数据。
• 数据处理能力：数据工程师可直接在数据湖中摄取和转换数据，全面支持 DML 操作。
• 多源数据连接：分析师可将数据湖中的数据与外部数据库数据关联，无需将数据迁移至对象存储即可挖掘价值。
• 开放标准：基于 Apache Iceberg 和 Apache Arrow 等社区驱动标准，支持使用各类处理引擎，消除供应商锁定。
• Apache Arrow 关联：作为 Apache Arrow（列式内存处理平台）的共同创建者，Dremio 广泛使用 Arrow，该技术也是众多开源项目的核心。

使用场景与适用范围

• 数据团队进行自服务数据分析与可视化
• 数据工程师在数据湖中执行数据摄取、转换及 DML 操作
• 分析师需要关联数据湖与外部数据库数据，避免数据迁移
• 组织希望采用开放标准构建数据平台，避免供应商锁定

使用方法与配置说明

单节点部署

通过以下命令启动单节点部署，包含嵌入式 Zookeeper、主协调器和执行器：

bash
docker run -p 9047:9047 -p 31010:31010 -p 32010:32010 -p 45678:45678 dremio/dremio-oss

分布式部署

在 Kubernetes 集群中部署分布式 Dremio，可使用发布的 Helm Charts。

集群中的名称解析

当 Dremio 节点间通信时，需确保节点在 Zookeeper 中注册的名称可被其他节点解析。最简单的方法是使用 IP 地址，并设置以下附加属性：

bash
-Dregistration.publish-host=$LOCAL_CONTAINER_IP

（其中 $LOCAL_CONTAINER_IP 为容器的本地 IP 地址）