轻松在本地部署和运行大型语言模型的最简单方式。

Minimal CPU-only Ollama Docker Image

GitHub仓库dusty-nv/jetson-containers中的Ollama LLM包，是为NVIDIA Jetson嵌入式平台设计的容器化解决方案，旨在简化大型语言模型（LLM）的部署与运行流程，支持多种主流LLM模型，充分利用Jetson设备的硬件加速能力，适用于边缘AI计算、智能终端开发等场景，为开发者提供便捷高效的本地化LLM部署工具。

基于ollama/ollama的镜像，集成fastAPI服务器，允许外部系统释放Ollama占用的GPU内存，提供Ollama服务（11434端口）和fastAPI管理接口（5000端口）。