daskdev/dask Docker 镜像 - 轩辕镜像

Dask Docker镜像

镜像概述和主要用途

dask-distributed的Docker镜像，包含两类核心镜像：

1. 基础镜像：用于运行Dask调度器和工作节点
2. Jupyter Notebook镜像：作为辅助入口点，方便交互操作

该镜像主要为Dask Helm Chart构建，同时也适用于更多分布式计算场景。

核心功能和特性

• 提供基础运行环境：支持Dask调度器（scheduler）和工作节点（worker）部署
• 集成Jupyter Notebook：提供交互式入口，便于任务提交和集群监控
• 灵活扩展能力：支持通过环境变量安装额外系统包、Conda包和Python包
• 兼容性强：专为Helm Chart优化，同时适配多种分布式计算部署需求

使用场景和适用范围

• Dask分布式集群部署（基于Kubernetes或Docker Compose）
• 分布式计算任务开发、测试与运行
• 需要Jupyter Notebook进行交互式任务编写和集群状态监控的场景
• 作为Dask Helm Chart的基础镜像使用

详细使用方法和配置说明

快速使用/测试

提供辅助docker-compose文件用于测试功能：

bash
docker-compose up

启动后，通过输出中包含token的URL打开Notebook。在新Notebook中运行以下代码测试集群连接：

python
from dask.distributed import Client
client = Client('scheduler:8786')
client.ncores()

预期输出示例：

{'tcp://172.23.0.4:41269': 4}

环境变量

基础镜像和Notebook镜像共支持的环境变量

• $EXTRA_APT_PACKAGES：通过apt安装的额外系统包列表（空格分隔）
• $EXTRA_CONDA_PACKAGES：通过conda安装的额外包列表（空格分隔）
• $EXTRA_PIP_PACKAGES：通过pip安装的额外Python包列表（空格分隔）

Notebook镜像特有环境变量

• $JUPYTERLAB_ARGS：传递给jupyter lab命令的额外参数，具体可参考Jupyter Notebook配置文档

构建镜像

Docker Compose提供便捷的镜像构建方式，确保正确的上下文：

bash
# 构建所有镜像
docker-compose build

# 仅构建单个镜像（如Notebook）
docker-compose build notebook

发布流程

镜像版本的构建和发布通过Travis CI自动完成：

• 当新提交推送到main分支时，会构建带有dev标签的镜像并推送到Docker Hub
• 当Dask发布新版本时，需提交PR更新Dockerfile中的版本号，合并后推送与Dask版本一致的标签，Travis会构建版本标签镜像并更新latest标签

版本更新命令示例：

console
$ git commit --allow-empty -m "bump version to x.x.x"
$ git tag -a x.x.x -m 'Version x.x.x'
$ git push upstream main --tags