dustynv/optimum Docker 镜像 - 轩辕镜像

optimum 镜像文档

镜像概述

optimum镜像是jetson-containers项目中的一部分，基于Hugging Face Optimum库构建，专为Jetson设备优化。该镜像提供了在NVIDIA Jetson平台上高效运行和优化Transformer模型的环境，支持多种JetPack/L4T版本，集成了CUDA、TensorRT等加速技术，适用于自然语言处理（NLP）和大型语言模型（LLM）等任务。

核心功能与特性

• 硬件加速支持：集成CUDA、cuDNN和TensorRT，利用Jetson设备的GPU算力加速模型推理
• 模型优化工具：基于Hugging Face Optimum库，支持ONNX格式转换和优化
• 完整AI框架栈：包含PyTorch 2.2、TorchVision、Transformers等主流AI框架和库
• 多版本兼容：支持JetPack 4.6+（L4T R32.7+）和JetPack 5.1+（L4T R35.x）

依赖项

该镜像构建依赖以下组件：

• build-essential
• cuda
• cudnn
• python
• tensorrt
• cmake
• numpy
• onnx
• onnxruntime
• pytorch:2.2
• torchvision
• huggingface_hub
• rust
• transformers

镜像信息

容器镜像兼容其他次要版本的JetPack/L4T：

• L4T R32.7容器可在其他L4T R32.7版本（JetPack 4.6+）上运行
• L4T R35.x容器可在其他L4T R35.x版本（JetPack 5.1+）上运行

运行容器

使用jetson-containers运行

可使用jetson-containers run和autotag自动选择兼容镜像，或手动指定镜像：

bash
# 自动拉取或构建兼容的容器镜像
jetson-containers run $(autotag optimum)

# 或显式指定上述镜像之一
jetson-containers run dustynv/optimum:r35.2.1

使用docker run手动运行

bash
sudo docker run --runtime nvidia -it --rm --network=host dustynv/optimum:r35.2.1

jetson-containers run会将参数转发给docker run，并添加一些默认配置（如--runtime nvidia、挂载/data缓存、检测设备）
autotag会查找与您的JetPack/L4T版本兼容的容器镜像——本地镜像、从 registry 拉取的镜像或构建新镜像

挂载目录

使用-v或--volume标志将主机目录挂载到容器中：

bash
jetson-containers run -v /主机路径:/容器路径 $(autotag optimum)

运行命令

启动容器时运行指定命令（而非交互式shell）：

bash
jetson-containers run $(autotag optimum) 应用程序 --参数 数值

可传递任何docker run支持的选项，命令会在执行前打印完整构建的命令。

构建容器

若使用上述autotag，需要时会自动构建容器。若要手动构建，先完成系统设置，然后运行：

bash
jetson-containers build optimum

构建过程会将上述依赖项集成到容器中，并进行测试。运行--help查看构建选项。