Vertex AI 教程：在谷歌云上构建和部署 ML 模型 – wiki大全

作者： /

Vertex AI 教程：在谷歌云上构建和部署 ML 模型

在当今数据驱动的世界中，机器学习 (ML) 已成为企业和开发者创新的核心驱动力。然而，构建、训练和部署 ML 模型通常是一个复杂且资源密集型的过程。为了简化这一流程，谷歌云推出了 Vertex AI，一个统一的机器学习平台，旨在加速从数据到部署的整个 ML 生命周期。

本文将详细介绍 Vertex AI，并提供一个教程，指导您如何在谷歌云上利用该平台构建和部署您的 ML 模型。

I. 引言

Vertex AI 是谷歌云提供的一站式机器学习平台，它整合了谷歌多年来在 ML 领域的经验和工具。其核心目标是为数据科学家和 ML 工程师提供一个更高效、更协作的环境，以大规模地开发、部署和管理 ML 模型。

Vertex AI 的优势包括：

  • 统一平台： 将数据准备、模型训练、评估、部署和监控等所有 ML 阶段集中在一个界面中，减少了工具切换的开销。
  • 简化 ML 生命周期： 自动化和编排能力帮助用户更轻松地管理复杂的 ML 工作流。
  • 可扩展性： 利用谷歌云的强大基础设施，实现模型训练和部署的无限扩展。
  • 灵活性： 既提供 AutoML 等低代码解决方案，也支持自定义训练，满足不同用户的需求。

II. 入门

开始使用 Vertex AI 的第一步是设置您的谷歌云环境。

  1. 设置谷歌云账户： 如果您还没有谷歌云账户，请前往 Google Cloud Console 注册。谷歌通常提供免费层级和新用户试用金。
  2. 导航至 Vertex AI： 登录 Google Cloud Console 后，您可以通过左侧导航菜单找到并选择 “Vertex AI”。这将带您进入 Vertex AI 控制台界面。
  3. 创建新项目： 在谷歌云中，所有资源都属于一个项目。点击“创建项目”，并填写项目名称、组织等必要信息。
  4. 启用 Vertex AI API： 确保您的项目中已启用 Vertex AI API。您可以在 Google Cloud Console 的“API 和服务”页面中搜索并启用 AI Platform API，或通过 Cloud Shell 运行以下命令：
    bash
    gcloud services enable aiplatform.googleapis.com

III. 数据准备

数据是任何 ML 模型的基础。Vertex AI 与其他谷歌云服务紧密集成，以简化数据处理。

  1. 导入数据集：
    • 将您的数据集上传到 Google Cloud Storage (GCS)。GCS 是一个可扩展且高度可靠的对象存储服务，是存储原始数据和训练数据的理想选择。
    • 如果您使用结构化数据，也可以连接到 BigQuery，一个完全托管的企业级数据仓库。
  2. 数据清洗与准备：
    • 对于大规模数据处理任务，您可以使用 Dataflow（基于 Apache Beam）或 Dataproc（托管的 Apache Spark 和 Hadoop 服务）进行数据清洗、转换和预处理。
    • Vertex AI Workbench 或 Vertex AI Studio 也提供了交互式环境，方便您进行探索性数据分析和特征工程。

IV. 模型训练

Vertex AI 提供了两种主要的模型训练方法，以适应不同的用户需求和技能水平：AutoML（自动化机器学习）和自定义训练。

A. AutoML (自动化机器学习)

概念： AutoML 是一种低代码或无代码的解决方案，它将整个模型开发过程自动化，包括数据预处理、特征工程、模型选择、架构搜索和超参数调优。它非常适合那些不具备深厚 ML 专业知识的用户、需要快速原型验证的场景，以及图像分类、回归分析和目标检测等常见任务。

流程：

  1. 提供数据： 您只需以 CSV、JSONL 或 TFRecord 等格式，从 GCS 或 BigQuery 提供您的数据集。
  2. 智能构建模型： Vertex AI 会根据您的数据和任务类型，智能地探索不同的模型架构和训练策略，为您构建一个高性能的模型，无需编写复杂的训练代码。

B. 自定义训练 (Custom Training)

概念： 对于经验丰富的数据科学家和 ML 工程师而言，自定义训练提供了对整个训练过程的完全控制。您可以选择自己偏好的 ML 框架，如 TensorFlow、PyTorch 或 scikit-learn。

流程：

  1. 编写训练代码： 您需要编写自己的 Python 训练脚本，其中包含您的模型定义、数据加载逻辑、训练循环和评估指标。
  2. 使用自定义容器： 为了确保环境的一致性和可重现性，您可以将训练代码、所有依赖项和环境打包成一个自定义 Docker 容器。Vertex AI 会在运行时拉取并执行这个容器。
  3. 利用 Vertex AI Workbench： Vertex AI Workbench 提供了一个集成的 Jupyter Notebook 环境，方便您进行开发、实验和调试自定义训练代码。
  4. 大规模训练： Vertex AI 负责管理底层基础设施，包括计算资源、加速器（如 GPU/TPU），并根据需要进行自动扩缩，让您可以专注于模型开发本身。

V. 模型评估

模型训练完成后，评估其性能至关重要。Vertex AI 提供了一系列工具来帮助您分析模型的准确性、精确度、召回率等关键指标。您可以查看混淆矩阵、ROC 曲线等，以深入了解模型的表现。

VI. 模型部署

评估并验证模型后，下一步是将其部署上线，使其能够提供预测服务。

  1. 部署到端点： 您可以直接从 Vertex AI 控制台将训练好的模型部署到一个专用的预测端点。
  2. 预测类型：
    • 在线预测 (Online Prediction)： 适用于需要实时、低延迟预测的场景，例如推荐系统、欺诈检测或聊天机器人。Vertex AI 会自动处理端点的扩缩、健康检查和负载均衡，并根据流量自动调整资源。
    • 批量预测 (Batch Prediction)： 适用于大规模、异步的预测任务，例如对整个数据集进行一次性预测。
  3. 流量分割 (Traffic Splitting)： Vertex AI 支持流量分割功能，允许您将不同比例的请求路由到不同版本的模型。这对于 A/B 测试新模型版本、进行金丝雀发布或渐进式部署非常有用，可以在不影响现有用户的情况下安全地测试和迭代模型。

VII. 使用 Vertex AI Pipelines 进行 MLOps

MLOps（机器学习运维）旨在自动化和标准化 ML 模型的生命周期。Vertex AI Pipelines 是实现 MLOps 的关键组件。

  1. 自动化 ML 工作流： Vertex AI Pipelines 基于 Kubeflow Pipelines，允许您编排复杂的 ML 工作流，包括数据加载、验证、模型训练、评估和条件部署等步骤。
  2. 可重现性与可扩展性： 通过管道自动化，您可以确保 ML 工作流的可重现性，并轻松地进行扩展以处理更大的数据集或更复杂的模型。
  3. 模型监控： Vertex AI 还包含模型监控功能，可以在模型部署后持续跟踪其性能，检测数据漂移或模型性能下降，并发出警报，以便及时采取措施。

VIII. 附加功能

除了上述核心功能外，Vertex AI 还提供：

  • 生成式 AI 和模型园地 (Model Garden)： Vertex AI 提供了访问大型生成式 AI 模型（包括 Gemini）的能力，并允许您评估、微调和部署这些模型以构建下一代 AI 应用。模型园地则让您能够发现、测试和定制开源模型。
  • Vertex AI Workbench： 提供了一个随时可用的开发环境，集成了 Jupyter Notebooks，并包含丰富的教程、示例笔记本和快速启动模板，加速您的实验和开发过程。

IX. 结论

Vertex AI 作为一个全面、统一的机器学习平台，极大地简化了在谷歌云上构建和部署 ML 模型的复杂性。无论您是刚入门的 ML 爱好者，还是经验丰富的专业人士，Vertex AI 都能提供强大的工具和灵活的选项，帮助您加速创新，将 AI 的力量转化为实际业务价值。通过利用 Vertex AI，您可以专注于模型的创新和优化，而将繁琐的运维工作交给谷歌云处理。

滚动至顶部