掌握Ollama：从安装到使用，全面解析本地AI – wiki大全

作者： /

Here’s an article describing Ollama:

掌握Ollama：从安装到使用，全面解析本地AI

随着人工智能技术的飞速发展，大型语言模型（LLMs）已成为我们日常生活和工作中不可或缺的一部分。然而，运行这些模型通常需要强大的云计算资源。Ollama 的出现，彻底改变了这一局面，它是一个开源平台，让您能够在本地设备上运行这些强大的AI模型，实现真正的私有化、安全、高效的本地AI体验。

什么是 Ollama？

Ollama 是一款旨在简化大型语言模型本地部署和管理的工具。它将模型的权重、配置和所有必要的依赖项打包成一个统一的“Modelfile”，使得用户可以像运行一个应用程序一样轻松地下载、启动和交互不同的LLMs。Ollama 提供了一个命令行界面（CLI）和本地API服务，支持广泛的开源模型，让AI的强大功能触手可及。

为何选择 Ollama？

选择在本地运行 LLMs，尤其是通过 Ollama，具有多方面的显著优势：

  1. 隐私与安全： 您的所有数据和交互都保留在本地机器上，消除了将敏感信息上传到云端而可能带来的数据泄露风险。这对于处理个人或商业机密数据尤为重要。
  2. 成本效益： 使用 Ollama 意味着您无需支付任何API调用费用或云计算资源费用。一旦模型下载到本地，您可以无限次地运行和测试，显著降低了长期使用成本。
  3. 离线可用性： 模型完全在本地运行，不依赖互联网连接。无论您身处何处，只要设备通电，AI服务就能即时响应。
  4. 完全控制： Ollama 赋予用户对模型版本、配置和运行环境的完全控制。这对于需要一致且可重复结果的开发和研究任务至关重要。
  5. 多功能性： Ollama 支持的模型可以执行多种任务，包括文本生成、内容摘要、代码辅助、文本嵌入生成，以及支持各种创意和学习项目。

系统要求

为了获得最佳性能，请确保您的设备满足以下推荐配置：

  • 处理器 (CPU): 推荐使用支持 AVX2 指令集的 64 位处理器 (Intel/AMD)。
  • 内存 (RAM):
    • 至少 8GB RAM。
    • 对于 7B 参数模型：8GB RAM 足够，但推荐 16GB。
    • 对于 13B 参数模型：建议 16GB RAM。
    • 对于 33B 参数模型：推荐 32GB RAM。
  • 存储空间: Ollama 安装本身需要至少 10GB 磁盘空间，此外，每个模型文件可能从几十GB到上百GB不等，请预留充足空间。
  • 图形处理器 (GPU): 虽然不是强制要求，但强烈建议使用独立显卡（NVIDIA 显卡需要驱动程序 452.39 或更高版本；AMD Radeon 显卡需要相应的驱动程序），以显著提升运行速度。
  • 操作系统: Ollama 支持 Windows 10 22H2 或更高版本（家庭版或专业版）、macOS 和 Linux。Windows 用户也可以通过适用于 Linux 的 Windows 子系统 2 (WSL2) 运行 Ollama。

安装指南

安装 Ollama 的过程通常非常直观。

通用步骤：

  1. 访问 Ollama 官方网站 (ollama.com)。
  2. 下载适用于您操作系统的安装包。
  3. 按照屏幕上的指示完成安装。

平台特定说明：

  • macOS:
    1. 从官网下载 .zip 文件。
    2. 解压下载的文件。
    3. 将 Ollama.app 拖动到您的“应用程序”文件夹。
  • Linux:
    1. 打开终端。
    2. 执行以下命令：
      bash
      curl -fsSL https://ollama.com/install.sh | sh
  • Windows:
    1. 从官网下载 OllamaSetup.exe 安装程序。
    2. 双击运行可执行文件，启动安装向导。
    3. 按照提示完成安装。Ollama 将作为后台服务在您的 Windows 系统上运行。

验证安装：
安装完成后，打开终端或命令提示符，运行以下命令：
bash
ollama -v
如果成功安装，该命令将显示 Ollama 的版本信息。

基本用法

一旦 Ollama 成功安装并运行（在 macOS 和 Windows 上通常会自动在后台启动），您就可以通过命令行与其交互。

  1. 下载模型：
    使用 ollama pull 命令下载特定的 LLM。例如，下载 Llama 2 模型：
    bash
    ollama pull llama2
    此命令会将模型下载到您的本地机器。

  2. 运行模型（交互式对话）：
    要与已下载的模型开始交互式对话，请使用 ollama run 命令：
    bash
    ollama run llama2
    Ollama 将加载模型，然后您会看到一个提示符，可以在其中输入您的问题。

  3. 列出可用模型：
    要查看所有已下载到本地的模型，请使用：
    bash
    ollama list

  4. 删除模型：
    要删除模型以释放磁盘空间，请使用 ollama rm：
    bash
    ollama rm llama2

  5. 查看模型详情：
    要查看特定模型的详细信息，例如其基础模型、参数和上下文大小：
    bash
    ollama show llama2

支持的模型

Ollama 支持各种流行的开源 LLMs，包括但不限于：

  • Llama 系列: Llama 3.3 (70B), Llama 3.2, Llama 3.1, Code Llama 等。
  • DeepSeek: DeepSeek-R1 (7B) 等。
  • Phi 系列: Phi-4 (14B), Phi 4 Mini 等。
  • Mistral: Mistral (7B) 等。
  • Gemma 系列: Gemma 3 (不同大小，最高 27B)。
  • 其他模型: Qwen, Moondream, Neural Chat, Starling, LLaVA, Granite 等。

您可以在 Ollama 官方模型库网站 (ollama.com/library) 上找到最新且最全面的支持模型列表。

高级用法与定制

Ollama 不仅仅是一个简单的运行器，它还提供了高级功能以满足更复杂的AI应用需求：

  • API 访问： Ollama 在本地启动一个服务器（通常在 http://localhost:11434），并暴露一个 RESTful API。这使得开发者可以使用各种编程语言，轻松地将 Ollama 集成到自己的应用程序和脚本中。
  • 环境变量：
    • OLLAMA_HOST: 您可以通过设置此环境变量来更改 Ollama API 服务的地址和端口（例如，OLLAMA_HOST=0.0.0.0:11434）。
    • OLLAMA_MODELS: 设置此环境变量可以更改 Ollama 存储已下载模型的默认目录。
  • Modelfiles： Ollama 的 Modelfile 功能允许您定制现有模型，或者导入 GGUF 格式的模型。通过 Modelfile，您可以对模型进行微调，创建专门用于特定任务的自定义 LLM 版本。
  • Web 用户界面 (UIs)： 为了提供更友好的交互体验，社区开发了许多与 Ollama 集成的 Web UI，例如 Open WebUI、LibreChat 和 Chatbot UI。这些界面提供了一个图形化方式来与您的本地 LLMs 进行交互。

总结

Ollama 极大地推进了 AI 的普及化，让强大的 AI 模型能够在个人电脑上运行。这种本地化部署的方式在隐私、成本和控制方面提供了显著优势，使得先进的 AI 能力能够服务于更广泛的用户群体，无论是用于编程辅助、创意内容生成，还是个人研究，Ollama 都为本地AI的未来开启了新的篇章。

滚动至顶部