在 NVIDIA Jetson 设备上运行 Ollama

Ollama 在 NVIDIA Jetson 设备 上运行良好，根据标准安装说明应该可以即插即用。

以下内容已在 NVIDIA JetPack 5.1.2 上进行过测试，但在 JetPack 6.0 上也应该可以工作。

• 通过标准的 Linux 命令安装 Ollama（忽略 404 错误）：curl https://ollama.com/install.sh | sh
• 拉取你想要使用的模型（例如：mistral）：ollama pull mistral
• 启动交互式会话：ollama run mistral

就这样！

在 Docker 中运行 Ollama

在 Docker 中运行 GPU 加速应用程序时，强烈建议使用 dusty-nv jetson-containers 仓库。