在 Fly.io GPU 实例上运行 Ollama

Ollama 几乎不需要配置即可在 Fly.io GPU 实例上运行。如果你还没有 GPU 的访问权限，你需要在等候名单上申请访问。一旦你被接受，你会收到一封包含如何开始的说明的电子邮件。

使用 fly apps create 创建一个新应用：

bash

fly apps create

然后在新的文件夹中创建一个名为 fly.toml 的文件，内容如下：

toml

app = "sparkling-violet-709"
primary_region = "ord"
vm.size = "a100-40gb" # see https://fly.io/docs/gpus/gpu-quickstart/ for more info

[build]
  image = "ollama/ollama"

[http_service]
  internal_port = 11434
  force_https = false
  auto_stop_machines = true
  auto_start_machines = true
  min_machines_running = 0
  processes = ["app"]

[mounts]
  source = "models"
  destination = "/root/.ollama"
  initial_size = "100gb"

然后为您的应用创建一个新的私有 IPv6 地址：

bash

fly ips allocate-v6 --private

然后部署你的应用：

bash

fly deploy

最后，你可以通过新的 Fly.io 机器进行交互式访问：

fly machine run -e OLLAMA_HOST=http://your-app-name.flycast --shell ollama/ollama

bash

$ ollama run openchat:7b-v3.5-fp16
>>> 如何烘烤巧克力饼干？
要烘焙巧克力曲奇饼干，请按照以下步骤操作：

1. 预热烤箱至 375°F（190°C），并在烤盘上铺上烘焙纸或硅胶烤垫。

2. 在一个大碗中，将 1 杯软化的无盐黄油、3/4 杯白砂糖和 3/4 杯红糖混合，搅拌至轻盈松软。

3. 向黄油混合物中加入 2 个大鸡蛋，一次一个，每次都充分搅拌。再加入 1 茶匙纯香草精搅拌均匀。

4. 在另一个碗中，混合 2 杯通用面粉、1/2 茶匙小苏打和 1/2 茶匙盐。逐渐将干性材料加入湿性材料中，搅拌至刚刚混合均匀。

5. 把 2 杯巧克力豆（或巧克力块）折叠加入面团中。

6. 用勺子取一汤匙面团，放在准备好的烤盘上，每个面团之间间隔约 2 英寸。

7. 烘烤 10-12 分钟，直到边缘呈金黄色，中心仍略微柔软。

8. 让曲奇在烤盘上冷却几分钟，然后转移到冷却架上完全冷却。

享受你自制的巧克力曲奇饼干吧！

当你这样设置后，使用完毕后它会自动关闭。再次访问时，它会自动重新打开。这是一种在不使用 GPU 实例时节省费用的好方法。如果你希望在 Ollama 实例上保持持久的按需唤醒连接，你可以设置一个通过 WireGuard 连接到你的 Fly 网络。

然后你可以在 http://your-app-name.flycast 访问你的 Ollama 实例。

就是这样简答！

在 Fly.io GPU 实例上运行 Ollama ​

在 Fly.io GPU 实例上运行 Ollama