Ollama：本地大模型运行指南 – wiki大全

作者： /

Ollama：本地大模型运行指南

引言

随着大型语言模型（LLM）技术的飞速发展，越来越多的用户希望能够在本地环境中运行这些强大的AI模型，以满足数据隐私、降低对云服务依赖或进行个性化定制的需求。Ollama正是一款应运而生的开源工具，它极大地简化了在个人计算机上部署和管理LLM的过程。Ollama将模型权重、配置和数据打包成一个统一的格式，并优化了底层设置，包括GPU的使用，使得用户能够轻松地在本地运行Llama、Phi、Gemma等多种热门模型。

在本地运行LLM具有显著优势：
* 数据隐私：所有数据处理均在本地设备进行，敏感信息不会上传到云端，对于数据保密性要求高的场景尤为重要。
* 降低对云资源的依赖：无需支付昂贵的云服务费用，即使在没有互联网连接的情况下也能使用模型。
* 高度可定制性：Ollama提供了Modelfile机制，允许用户基于现有模型进行深度修改和调整，创建符合特定需求的新模型。

本文将为您详细介绍如何安装Ollama，以及如何利用它下载、运行和自定义本地大模型。

1. Ollama 安装

Ollama支持主流的macOS、Windows和Linux操作系统。

Windows

  1. 访问Ollama官方网站：https://ollama.com/download。
  2. 下载适用于Windows的安装程序（OllamaSetup.exe）。
  3. 双击运行安装程序，按照提示完成安装。
  4. 安装完成后，Ollama将作为本地服务在后台运行，并自动设置为随系统启动。

macOS

  1. 访问Ollama官方网站：https://ollama.com/download。
  2. 下载适用于macOS的安装程序。
  3. 运行安装程序并按照提示完成安装。

Linux

  1. 打开终端。
  2. 运行以下命令下载并安装Ollama：
    bash
    curl -fsSL https://ollama.com/install.sh | sh
  3. 对于需要GPU支持的用户，可能需要预先安装CUDA Toolkit等相关驱动和库。

验证安装：
安装完成后，打开终端（Windows用户可使用PowerShell），输入 ollama。如果屏幕显示Ollama的帮助信息或版本号，则表明安装成功。

2. 下载与运行大模型

Ollama提供了一个丰富的模型库，您可以在ollama.com/library查阅所有支持的模型列表。

  1. 下载模型：
    使用ollama pull命令下载您希望运行的模型。例如，要下载流行的Llama 3模型，请在终端中执行：
    bash
    ollama pull llama3
    模型文件通常较大，下载时间取决于您的网络速度和模型大小。

    内存要求：
    需要注意的是，不同规模的模型对系统内存有不同的要求。例如，运行7B参数模型至少需要8GB RAM，13B模型需要16GB RAM，而33B模型则需要32GB RAM。请根据您的硬件配置选择合适的模型。

  2. 运行模型：
    模型下载完成后，您可以使用ollama run命令启动模型并与之进行交互：
    bash
    ollama run llama3
    此时，您可以在终端中输入提示词，模型将生成并返回相应的响应。

3. 自定义模型 (Modelfile)

Modelfile是Ollama中用于创建和共享自定义模型的蓝图，它允许您基于现有模型进行修改和调整，例如设置系统提示、调整参数或导入其他格式的模型。

  • 基本用法：

    1. 在一个空目录中创建一个名为Modelfile的文件。
    2. 在Modelfile中定义您的模型配置。例如，创建一个扮演马里奥角色的模型：
      modelfile
      FROM llama3
      PARAMETER temperature 1
      PARAMETER num_ctx 4096
      SYSTEM You are Mario from super mario bros, acting as an assistant.

      • FROM llama3：表示基于llama3模型。
      • PARAMETER temperature 1：设置模型生成文本的随机性。
      • PARAMETER num_ctx 4096：设置模型上下文窗口大小。
      • SYSTEM ...：设置系统级提示，定义模型的角色和行为。
    3. 使用ollama create命令创建您的自定义模型：
      bash
      ollama create my-mario-model -f ./Modelfile
    4. 创建成功后，即可运行您的自定义模型：
      bash
      ollama run my-mario-model

  • 导入GGUF文件：
    Ollama还支持直接从GGUF格式的文件导入模型。您可以在Modelfile中使用FROM指令指定本地GGUF文件的路径：
    modelfile
    FROM ./path/to/your/model.gguf
    然后按照上述步骤创建和运行模型。

4. Ollama API 使用

Ollama不仅提供了命令行交互，还内置了基于HTTP的API，允许开发者通过编程方式与模型进行深度交互，为构建AI应用提供了极大的便利。

  1. 启动Ollama服务：
    在使用API之前，请确保Ollama服务正在运行。默认情况下，Ollama服务会在http://localhost:11434监听API请求。

  2. API 交互：
    您可以使用curl命令或任何编程语言（如Python、JavaScript）来调用Ollama API。

    • 生成响应示例：
      向模型发送提示并获取响应：
      bash
      curl http://localhost:11434/api/generate -d '{
      "model": "llama3",
      "prompt": "Why is the sky blue?"
      }'
    • 聊天请求（包含历史记录）：
      Ollama API支持发送包含对话历史的聊天请求，这对于开发多轮对话的聊天机器人至关重要。
    • 流式响应：
      在API请求中设置"stream": true，Ollama将以流式方式逐行返回生成的文本，这对于处理长文本生成或实时交互的场景非常有用。

5. 更改模型存储位置 (可选)

Ollama默认将下载的模型文件存储在用户目录下的.ollama文件夹中（通常在C盘）。这些模型文件体积庞大，可能会占用大量磁盘空间。如果您希望将模型存储到其他位置，可以设置OLLAMA_MODELS环境变量。

例如，在Linux或macOS上，您可以在终端中设置：
bash
export OLLAMA_MODELS="/path/to/your/preferred/directory"
在Windows上，您可以通过系统环境变量设置。设置后，重启Ollama服务，后续下载的模型将存储在新指定的位置。

结论

Ollama为本地运行大型语言模型提供了一个强大、便捷且灵活的解决方案。无论您是AI爱好者、开发者还是对数据隐私有严格要求的个人或企业，Ollama都能帮助您充分利用LLM的潜力。通过简单的安装、直观的模型管理和强大的API接口，Ollama让每个人都能轻松搭建自己的本地AI能力。现在，就开始您的Ollama之旅，探索本地大模型的无限可能吧！

滚动至顶部