GPU
NVIDIA
Ollama 支持具有计算能力 5.0+ 的 Nvidia GPU。
检查您的计算兼容性，以查看您的卡是否受支持：https://developer.nvidia.com/cuda-gpus
| 计算能力 | 系列 | 卡 |
|---|---|---|
| 9.0 | NVIDIA | H100 |
| 8.9 | GeForce RTX 40xx | RTX 4090、RTX 4080、RTX 4070 Ti、RTX 4060 Ti |
| NVIDIA Professional | L4、L40、RTX 6000 | |
| 8.6 | GeForce RTX 30xx | RTX 3090 Ti、RTX 3090、RTX 3080 Ti、RTX 3080、RTX 3070 Ti、RTX 3070、RTX 3060 Ti、RTX 3060 |
| NVIDIA Professional | A40、RTX A6000、RTX A5000、RTX A4000、RTX A3000、RTX A2000、A10、A16、A2 | |
| 8.0 | NVIDIA | A100、A30 |
| 7.5 | GeForce GTX/RTX | GTX 1650 Ti、TITAN RTX、RTX 2080 Ti、RTX 2080、RTX 2070、RTX 2060 |
| NVIDIA Professional | T4、RTX 5000、RTX 4000、RTX 3000、T2000、T1200、T1000、T600、T500 | |
| Quadro | RTX 8000、RTX 6000、RTX 5000、RTX 4000 | |
| 7.0 | NVIDIA | TITAN V、V100、Quadro GV100 |
| 6.1 | NVIDIA TITAN | TITAN Xp、TITAN X |
| GeForce GTX | GTX 1080 Ti、GTX 1080、GTX 1070 Ti、GTX 1070、GTX 1060、GTX 1050 | |
| Quadro | P6000、P5200、P4200、P3200、P5000、P4000、P3000、P2200、P2000、P1000、P620、P600、P500、P520 | |
| Tesla | P40、P4 | |
| 6.0 | NVIDIA | Tesla P100、Quadro GP100 |
| 5.2 | GeForce GTX | GTX TITAN X、GTX 980 Ti、GTX 980、GTX 970、GTX 960、GTX 950 |
| Quadro | M6000 24GB、M6000、M5000、M5500M、M4000、M2200、M2000、M620 | |
| Tesla | M60、M40 | |
| 5.0 | GeForce GTX | GTX 750 Ti、GTX 750、NVS 810 |
| Quadro | K2200、K1200、K620、M1200、M520、M5000M、M4000M、M3000M、M2000M、M1000M、K620M、M600M、M500M |
手动选择 GPU
如果你的系统中有多个 NVIDIA GPU，并且希望限制 Ollama 只使用其中的一部分，你可以设置 CUDA_VISIBLE_DEVICES 为逗号分隔的 GPU 列表。可以使用数字 ID，但排序可能会有所不同，因此 UUID 更可靠。你可以通过运行 nvidia-smi -L 来发现你的 GPU 的 UUID。如果你想要忽略 GPU 并强制使用 CPU，可以使用一个无效的 GPU ID（例如，"-1"）。
AMD Radeon
| 家族 | 卡片和加速器 |
|---|---|
| AMD Radeon RX | 7900 XTX 7900 XT 7900 GRE 7800 XT 7700 XT 7600 XT 7600 6950 XT 6900 XTX 6900XT 6800 XT 6800 Vega 64 Vega 56 |
| AMD Radeon PRO | W7900 W7800 W7700 W7600 W7500 W6900X W6800X Duo W6800X W6800 V620 V420 V340 V320 Vega II Duo Vega II VII SSG |
| AMD Instinct | MI300X MI300A MI300 MI250X MI250 MI210 MI200 MI100 MI60 MI50 |
Ollama 支持以下 AMD GPU：
Override
Ollama 利用 AMD 的 ROCm 库，但该库并不支持所有 AMD 显卡。在某些情况下，你可以强制系统尝试使用相似的 LLVM 目标，该目标接近你当前的目标。例如，Radeon RX 5400 是 gfx1034（也称为 10.3.4），但是目前 ROCm 还不支持这个目标。最近的支持是 gfx1030。你可以使用环境变量 HSA_ОVERRIDE_GFX_VERSION，并使用 x.y.z 的语法。例如，如果你想要强制系统在 RX 5400 上运行，你可以在服务器的环境变量中设置 HSA_ОVERRIDE_GFX_VERSION="10.3.0"。如果你有不被支持的 AMD 显卡，你可以尝试使用下面列出的支持类型进行实验。
| **LLVM 目标 ** | ** 示例 GPU** |
|---|---|
| gfx900 | Radeon RX Vega 56 |
| gfx906 | Radeon Instinct MI50 |
| gfx908 | Radeon Instinct MI100 |
| gfx90a | Radeon Instinct MI210 |
| gfx940 | Radeon Instinct MI300 |
| gfx941 | 无数据 |
| gfx942 | 无数据 |
| gfx1030 | Radeon PRO V620 |
| gfx1100 | Radeon PRO W7900 |
| gfx1101 | Radeon PRO W7700 |
| gfx1102 | Radeon RX 7600 |
此时已知支持的 GPU 类型为以下 LLVM 目标。下表显示了映射到这些 LLVM 目标的一些示例 GPU：
AMD 正在致力于增强 ROCm v6，以在未来版本中扩大对 GPU 家族的支持，从而增加对更多 GPU 的支持。
在 Discord 上联系我们，或在 GitHub issues 中提交问题以获取更多帮助。
手动选择 GPU
如果你的系统中有多个 AMD 显卡，并且希望限制 Ollama 只使用其中的一部分，你可以设置 HIP_VISIBLE_DEVICES 为逗号分隔的 GPU 列表。你可以通过运行 rocminfo 来查看设备列表。如果你想忽略显卡并强制使用 CPU，可以使用一个无效的 GPU ID（例如，"-1"）。
容器权限
在某些 Linux 发行版中，SELinux 可能会阻止容器访问 AMD GPU 设备。你可以在主机系统上运行 sudo setsebool container_use_devices=1 命令来允许容器使用设备。
Metal (苹果 GPU)
Ollama 通过 Metal API 在 Apple 设备上支持 GPU 加速。