redhat/granite-3.1-8b-instruct Docker 镜像 - 轩辕镜像
redhat/granite-3.1-8b-instructIBM的Granite 3.1大型语言模型(LLM)，针对本地大型语言模型运行进行了优化
8 收藏0 次下载activeredhat镜像
IBM Granite 3.1 LLM Docker镜像文档
镜像概述和主要用途
本Docker镜像预配置用于运行IBM的Granite 3.1大型语言模型(LLM)，针对本地大型语言模型操作进行了优化，支持128k token上下文长度。镜像包含所有必要的依赖项、库和运行时环境，可实现Granite 3.1模型的无缝部署与交互。
核心功能和特性
- 基础镜像：基于轻量级ubi9基础镜像构建，确保运行环境精简高效
- 模型运行时环境：集成llama.cpp作为模型服务运行时，提供稳定的模型推理能力
- 上下文长度支持：原生支持128k token的超长上下文处理
- 完整依赖集成：内置所有必要的依赖库和运行时组件，无需额外配置即可启动
使用场景和适用范围
- 本地环境下的LLM模型部署与测试
- 开发环境中快速集成Granite 3.1模型进行应用开发
- 需要本地运行大语言模型且对上下文长度有较高要求的场景
- 轻量级LLM服务部署，支持命令行交互和API访问
使用方法和配置说明
CLI模式运行
通过以下命令以命令行交互模式启动镜像：
bashdocker run --ipc=host -it redhat/granite-3.1-8b-instruct
参数说明：
--ipc=host：使用主机的IPC命名空间，优化内存共享性能-it：启用交互式终端，支持命令行交互
OpenAI兼容API服务器模式运行
通过以下命令启动OpenAI兼容的API服务器：
bashdocker run --network=host --ipc=host -it redhat/granite-3.1-8b-instruct -s
参数说明：
--network=host：使用主机网络模式，便于API端口暴露和访问--ipc=host：优化内存共享性能-s：启动模型服务模式，开启OpenAI兼容API接口-it：保持终端交互能力，便于查看服务运行日志
redhat/granite-3-8b-instruct
by Red Hat, Inc.
认证
IBM的Granite 3.0大型语言模型（LLM），优化用于本地大型语言模型操作
32.4K pulls
上次更新：1 年前
redhat/granite-3-3b-a800m-instruct
by Red Hat, Inc.
认证
预配置的Docker镜像，用于运行IBM的Granite 3.0大型语言模型(LLM)，针对本地大型语言模型操作进行了优化
11.2K pulls
上次更新：1 年前
redhat/granite-3-1b-a400m-instruct
by Red Hat, Inc.
认证
IBM's Granite 3.0 large language model (LLM), optimized for local large language model operations
81.6K pulls
上次更新：1 年前
redhat/granite-7b-lab-gguf
by Red Hat, Inc.
认证
Granite-7b-lab模型的4位量化版本Docker镜像，通过4位量化技术降低模型资源占用，实现高效部署，适用于资源受限环境下的大型语言模型应用。
55.8K pulls
上次更新：1 年前
ai/granite-docling
by Docker
认证
Granite Docling是一个多模态图文转文本模型，专为高效文档转换设计，保留Docling核心功能并与Docling Documents无缝集成。
110K+ pulls
上次更新：3 个月前
redhat/instructlab
by Red Hat, Inc.
认证
一个模型无关的开源AI项目，旨在促进对大型语言模型（LLMs）的贡献。
410K+ pulls
上次更新：1 年前
轩辕镜像配置手册
探索更多轩辕镜像的使用方法，找到最适合您系统的配置方式
登录仓库拉取
通过 Docker 登录认证访问私有仓库
Linux
在 Linux 系统配置镜像服务
Windows/Mac
在 Docker Desktop 配置镜像
Docker Compose
Docker Compose 项目配置
K8s Containerd
Kubernetes 集群配置 Containerd
K3s
K3s 轻量级 Kubernetes 镜像加速
宝塔面板
在宝塔面板一键配置镜像
群晖
Synology 群晖 NAS 配置
飞牛
飞牛 fnOS 系统配置镜像
极空间
极空间 NAS 系统配置服务
爱快路由
爱快 iKuai 路由系统配置
绿联
绿联 NAS 系统配置镜像
威联通
QNAP 威联通 NAS 配置
Podman
Podman 容器引擎配置
Singularity/Apptainer
HPC 科学计算容器配置
其他仓库配置
ghcr、Quay、nvcr 等镜像仓库
专属域名拉取
无需登录使用专属域名
需要其他帮助？请查看我们的 常见问题Docker 镜像访问常见问题解答 或 提交工单
镜像拉取常见问题
轩辕镜像免费版与专业版有什么区别？
免费版仅支持 Docker Hub 访问，不承诺可用性和速度；专业版支持更多镜像源，保证可用性和稳定速度，提供优先客服响应。
轩辕镜像支持哪些镜像仓库？
专业版支持 docker.io、gcr.io、ghcr.io、registry.k8s.io、nvcr.io、quay.io、mcr.microsoft.com、docker.elastic.co 等；免费版仅支持 docker.io。
流量耗尽错误提示
当返回 402 Payment Required 错误时，表示流量已耗尽，需要充值流量包以恢复服务。
410 错误问题
通常由 Docker 版本过低导致，需要升级到 20.x 或更高版本以支持 V2 协议。
manifest unknown 错误
先检查 Docker 版本，版本过低则升级；版本正常则验证镜像信息是否正确。
镜像拉取成功后，如何去掉轩辕镜像域名前缀？
使用 docker tag 命令为镜像打上新标签，去掉域名前缀，使镜像名称更简洁。
用户好评
来自真实用户的反馈，见证轩辕镜像的优质服务
oldzhang
运维工程师
Linux服务器
5
"Docker访问体验非常流畅，大镜像也能快速完成下载。"