Ollama 在 Linux 上

快速安装

一行命令安装 Ollama：

curl -fsSL https://ollama.com/install.sh | sh

ArchLinux 安装

Ollama 可以在官方仓库安装：

sudo pacman -S ollama # 基本安装
sudo pacman -S ollama-cuda # 如果你有 Nvidia GPU
sudo pacman -S ollama-rocm # 如果你有 AMD GPU

手动安装

下载 ollama 可执行文件

Ollama 作为独立的二进制文件进行分发。将其下载到你的 PATH 中的某个目录：

sudo curl -L https://ollama.com/download/ollama-linux-amd64 -o /usr/bin/ollama
sudo chmod +x /usr/bin/ollama

将 Ollama 设置为启动服务（推荐）

为 Ollama 创建一个用户：

sudo useradd -r -s /bin/false -m -d /usr/share/ollama ollama

在 /etc/systemd/system/ollama.service 中创建一个服务文件：

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3

[Install]
WantedBy=default.target

然后启动服务：

sudo systemctl daemon-reload
sudo systemctl enable ollama

AMD Radeon GPU 支持

虽然 AMD 已经将 amdgpu 驱动程序提交到了官方 Linux 内核源代码中，但该版本可能较旧，可能不支持所有 ROCm 功能。我们建议您从 https://www.amd.com/zh-cn/support/linux-drivers 安装最新驱动程序以获得 Radeon GPU 的最好支持。

安装 CUDA 驱动程序（可选 - 针对 Nvidia GPU）

下载并安装 NVIDIA CUDA。

ArchLinux 安装 CUDA

sudo pacman -S cuda

通过运行以下命令检查驱动是否安装，该命令应打印关于您的 GPU 的详细信息：

$nvidia-smi
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 550.78                 Driver Version: 550.78         CUDA Version: 12.4     |
|-----------------------------------------+------------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
|                                         |                        |               MIG M. |
|=========================================+========================+======================|
|   0  NVIDIA GeForce RTX 3090        Off |   00000000:0B:00.0  On |                  N/A |
|  0%   47C    P8             30W /  390W |    1393MiB /  24576MiB |      2%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+
|   1  NVIDIA RTX 4000 SFF Ada ...    Off |   00000000:0C:00.0 Off |                  Off |
| 30%   44C    P8             12W /   70W |      22MiB /  20475MiB |      0%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+
                                                                                         
+-----------------------------------------------------------------------------------------+
| Processes:                                                                              |
|  GPU   GI   CI        PID   Type   Process name                              GPU Memory |
|        ID   ID                                                               Usage      |
|=========================================================================================|
|    0   N/A  N/A      1088      G   /usr/lib/Xorg                                 749MiB |

安装 ROCm（可选 - 针对 Radeon 显卡）

安装指南：下载并安装

确保安装 ROCm v6 版本。

启动 Ollama

使用 systemd 启动 Ollama：

sudo systemctl start ollama

更新

通过再次运行安装脚本更新 Ollama：

curl -fsSL https://ollama.com/install.sh | sh

或者下载 ollama 二进制文件：

sudo curl -L https://ollama.com/download/ollama-linux-amd64 -o /usr/bin/ollama
sudo chmod +x /usr/bin/ollama

查看日志

要查看 Ollama 作为启动服务运行的日志，请运行：

journalctl -e -u ollama

卸载

移除 Ollama 服务：

sudo systemctl stop ollama
sudo systemctl disable ollama
sudo rm /etc/systemd/system/ollama.service

从你的 bin 目录中移除 ollama 二进制文件（可能是 /usr/local/bin，/usr/bin 或 /bin）：

sudo rm $(which ollama)

移除已下载的模型和 Ollama 服务用户和组：

sudo rm -r /usr/share/ollama
sudo userdel ollama
sudo groupdel ollama