Ollama 离线安装：在你的电脑上运行 LLM – wiki大全

作者： /

Ollama 离线安装：在你的电脑上运行 LLM

随着大型语言模型（LLM）的兴起，许多用户希望能在本地计算机上运行这些强大的模型，以保护隐私、提高速度或在没有互联网连接的环境中使用。Ollama 是一个出色的工具，它极大地简化了在本地运行 LLM 的过程。本文将详细介绍如何进行 Ollama 的离线安装，确保你能在没有互联网的情况下也能启动并运行你的本地 LLM。

为什么选择 Ollama 进行离线安装？

  • 隐私保护：数据不会离开你的本地设备。
  • 速度与效率：避免网络延迟，推理速度更快。
  • 无网络环境：在飞机、偏远地区或任何没有互联网接入的地方使用 LLM。
  • 完全控制：对模型、配置和运行环境拥有完全的控制权。

离线安装前的准备

在开始离线安装之前，你需要在一台有互联网连接的机器上完成以下准备工作：

  1. 下载 Ollama 安装包：
    前往 Ollama 官方网站 (https://ollama.com/download)，下载适用于你操作系统（macOS, Linux, Windows）的安装程序。将下载好的文件保存到一个 USB 驱动器或可移动存储设备中。

  2. 下载你想要的 LLM 模型：
    Ollama 模型通常由两部分组成：Modelfile 和模型权重文件（通常是 .bin 或 .gguf 格式）。

    • 方法一：通过 Ollama CLI 下载（推荐，但需要联网）：
      在一台已联网并安装了 Ollama 的机器上，运行以下命令下载你需要的模型。例如，下载 Llama 3：
      bash
      ollama pull llama3
      一旦模型下载完成，Ollama 会将其存储在特定的本地目录中。你需要找到这些文件。在 macOS/Linux 上，模型通常位于 ~/.ollama/models。在 Windows 上，路径可能在 C:\Users\<YourUsername>\.ollama\models。找到对应模型（如 llama3 文件夹）并将其整个复制到你的可移动存储设备。
    • 方法二：手动下载模型权重文件和创建 Modelfile：
      如果你无法通过 ollama pull 下载，可以：

      • 访问 Hugging Face 等平台，搜索并下载你需要的 GGML/GGUF 格式的模型权重文件（例如 llama-3-8b-instruct.Q4_K_M.gguf）。
      • 手动创建一个 Modelfile。这个文件告诉 Ollama 如何运行模型。一个基本的 Modelfile 示例如下：
        modelfile
        FROM ./llama-3-8b-instruct.Q4_K_M.gguf
        PARAMETER stop "[INST]"
        PARAMETER stop "[/INST]"
        PARAMETER stop "<<SYS>>"
        PARAMETER stop "</SYS>>"
        SYSTEM """
        You are a helpful AI assistant.
        """
        将 FROM 后面的路径指向你下载的 .gguf 文件。将这个 Modelfile 和 .gguf 文件放在同一个目录下，并复制到可移动存储设备。

离线安装 Ollama

现在，将你的可移动存储设备插入到目标离线计算机上，并按照以下步骤操作：

  1. 安装 Ollama：
    运行你之前下载的 Ollama 安装包。根据操作系统的不同，这可能是一个 .dmg (macOS), .deb/.rpm (Linux) 或 .exe (Windows) 文件。按照屏幕上的指示完成安装。安装过程是本地的，不需要互联网连接。

  2. 导入离线模型：

    • 对于通过 ollama pull 下载并复制的模型文件夹：
      将整个模型文件夹（例如 llama3 文件夹，其中包含 manifest 和 blobs 文件夹）复制到离线计算机上 Ollama 的模型存储目录。

      • macOS/Linux：~/.ollama/models/
      • Windows：C:\Users\<YourUsername>\.ollama\models\
        复制完成后，Ollama 应该能够自动检测到这些模型。

    • 对于手动下载的 .gguf 文件和 Modelfile：

      1. 将 .gguf 模型权重文件和 Modelfile 复制到离线计算机上的一个易于访问的目录，例如 C:\ollama_models\llama3 或 ~/ollama_models/llama3。
      2. 打开终端（macOS/Linux）或命令提示符/PowerShell (Windows)。
      3. 导航到你放置 Modelfile 的目录：
        bash
        cd /path/to/your/ollama_models/llama3
      4. 使用 Ollama 的 create 命令从 Modelfile 创建模型。给你的模型一个自定义的名称（例如 my-llama3）：
        bash
        ollama create my-llama3 -f Modelfile
        Ollama 会读取 Modelfile 并将 .gguf 文件导入到其内部存储中。这个过程是完全离线的。

运行你的离线 LLM

现在你已经成功离线安装了 Ollama 和模型，可以开始使用了！

  1. 启动 Ollama 服务：
    在大多数情况下，安装 Ollama 后，服务会在后台自动运行。如果你不确定，可以尝试运行模型。

  2. 运行你的模型：
    打开终端或命令提示符，然后运行：
    bash
    ollama run my-llama3
    （如果你是复制的官方模型文件夹，则替换为 ollama run llama3）

    首次运行时，Ollama 会进行一些初始化工作。之后，你就可以开始与模型进行交互了：
    “`

    How are you today?
    I’m doing well, thank you for asking! As an AI, I don’t have feelings, but I’m ready to assist you. How can I help you today?
    “`

  3. 通过 API 使用（可选）：
    Ollama 也会启动一个本地 API 服务器（默认为 http://localhost:11434）。你可以在离线环境中通过编程方式与模型交互，这对于开发本地应用程序非常有用。

故障排除和提示

  • 模型路径问题：如果 Ollama 无法找到模型，请仔细检查 .gguf 文件路径在 Modelfile 中是否正确，或者模型文件夹是否复制到了正确的 Ollama 模型存储路径。
  • 磁盘空间：LLM 模型文件通常非常大（几 GB 到几十 GB），请确保你的离线计算机有足够的磁盘空间。
  • 系统资源：运行 LLM 需要大量的 RAM 和一个性能良好的 CPU 或 GPU。如果你的计算机配置较低，模型运行可能会很慢。
  • 更新模型：如果需要更新模型，你仍然需要在有网络连接的计算机上下载新版本，然后重复离线导入步骤。
  • Modelfile 语法：Ollama 的 Modelfile 支持许多高级配置选项（如 GPU 层数、上下文窗口大小等）。查阅 Ollama 官方文档以获取更多信息，并根据你的需求和硬件进行调整。

总结

通过上述详细步骤，你现在应该能够在任何没有互联网连接的计算机上成功安装 Ollama 并运行你偏好的大型语言模型了。这不仅为你提供了一个强大而私密的 AI 助手，也为在各种受限环境中进行创新和开发打开了大门。享受本地 LLM 带来的便利和强大功能吧！

滚动至顶部