Vertex AI 教程：构建、训练和部署机器学习模型 – wiki大全

作者： /

Vertex AI 教程：构建、训练和部署机器学习模型

随着人工智能技术的飞速发展，企业和开发者对高效、可扩展的机器学习平台的需求日益增长。Google Cloud 的 Vertex AI 正是为满足这一需求而生，它是一个统一的端到端机器学习平台，旨在简化从数据准备到模型部署和监控的整个 ML 生命周期。本教程将详细介绍如何使用 Vertex AI 构建、训练和部署机器学习模型。

1. 什么是 Vertex AI？

Vertex AI 是 Google Cloud 提供的一站式机器学习平台，它汇集了 Google 在机器学习领域的所有产品和服务。它通过提供一套统一的工具和接口，帮助数据科学家和 ML 工程师更轻松地管理和执行 ML 工作流。Vertex AI 的核心优势在于其灵活性和可扩展性，支持各种 ML 框架，并提供强大的 MLOps 功能。

2. Vertex AI 的核心概念

在深入了解工作流之前，理解 Vertex AI 中的一些关键概念至关重要：

  • AutoML (自动化机器学习)：对于机器学习经验有限或希望快速获得基线模型的用户，AutoML 提供了一种无需编写代码即可构建高质量模型的途径。它自动化了数据预处理、模型选择、超参数调优等复杂任务。
  • Custom Training (自定义训练)：对于需要对模型架构和训练逻辑进行精细控制的开发者，自定义训练允许使用任何 ML 框架（如 TensorFlow, PyTorch, scikit-learn）编写训练代码。Vertex AI 提供了托管的环境来运行这些自定义训练作业。
  • Vertex AI Workbench (工作台)：一个集成的 JupyterLab 环境，用于数据探索、模型开发和管理 ML 工作流，为数据科学家提供了熟悉的开发体验。
  • Datasets (数据集)：Vertex AI 支持管理各种数据类型的数据集，包括表格、图像、视频和文本数据，为模型训练提供数据源。
  • Models (模型)：在 Vertex AI 中训练并注册的模型，可以进行版本控制和管理。
  • Endpoints (端点)：部署的模型实例，用于提供实时预测或批量推理。
  • Vertex AI Pipelines (管道)：用于编排和自动化复杂的 ML 工作流，确保可复现性和可扩展性。
  • Model Monitoring (模型监控)：部署后，Vertex AI 可以持续监控模型的性能，检测数据漂移和偏差，以确保模型在生产环境中的持续有效性。

3. 端到端机器学习工作流

在 Vertex AI 上构建、训练和部署机器学习模型通常遵循以下步骤：

3.1. 启用 Vertex AI

在开始任何操作之前，首先需要在您的 Google Cloud 项目中启用 Vertex AI API，确保所有相关的 API 和权限都已就绪。

3.2. 数据准备

  1. 收集、清洗和转换数据：这是机器学习项目的基石。确保您的数据质量高且格式正确。
  2. 上传数据到 Google Cloud Storage (GCS)：将准备好的数据集上传到 GCS 存储桶，以便 Vertex AI 可以访问。
  3. 创建 Vertex AI Dataset：从 GCS 中的数据创建 Vertex AI Dataset。Vertex AI Datasets 提供了一种结构化的方式来管理和版本控制您的数据。

3.3. 选择训练方法

根据您的需求和经验水平，您可以选择两种主要的模型训练方法：

  • 使用 AutoML：
    • 如果您希望快速构建一个模型，或者对机器学习内部机制了解不多，AutoML 是理想的选择。
    • 在 Vertex AI 控制台中，选择您的数据集，然后指定模型类型（例如：图像分类、表格回归）和训练目标。
    • Vertex AI 将自动处理特征工程、模型架构搜索和超参数优化，为您训练出模型。
  • 使用自定义训练 (Custom Training)：
    • 如果您需要更大的灵活性，可以使用 Python 编写自己的训练代码，并利用您选择的 ML 框架。
    • 您可以在 Vertex AI Workbench (JupyterLab) 中开发和测试您的训练代码。
    • 训练代码通常会从 GCS 存储桶加载数据，训练模型，并将训练好的模型保存回 GCS。
    • 为了在 Vertex AI 上运行自定义训练，您需要将代码打包到一个 Docker 容器镜像中，并指定必要的依赖项（requirements.txt）。然后，将此容器镜像作为 CustomJob 提交给 Vertex AI。Vertex AI 会自动为您配置计算资源，运行训练作业，并在完成后释放资源。

3.4. 训练模型

  • AutoML 训练：在 Vertex AI 控制台中，通过简单的点击即可启动 AutoML 模型的训练过程。
  • 自定义训练：提交您的 CustomJob。Vertex AI 将在指定的基础设施上运行您的训练容器。

3.5. 评估模型

训练完成后，Vertex AI 会提供模型评估指标和可视化工具。您可以检查模型的性能，如准确率、精确度、召回率等，以确定模型是否满足您的业务需求。

3.6. 部署模型

当您对模型的性能满意后，下一步就是部署它，使其能够对外提供预测服务：

  1. 注册模型：将训练好的模型注册到 Vertex AI Model Registry 中进行版本管理。
  2. 创建 Endpoint：为您的模型创建一个 Endpoint。
  3. 部署模型到 Endpoint：将注册的模型部署到创建的 Endpoint。您可以配置所需的机器类型和实例数量，以满足预测吞吐量和延迟要求。部署后，您的模型即可通过 REST API 或 gRPC 接口进行访问。

3.7. 获取预测

部署完成后，您可以向 Endpoint 发送预测请求，获取模型的实时预测结果或执行批量预测。

3.8. 监控模型

部署到生产环境的模型需要持续监控。Vertex AI 提供了模型监控功能，可以帮助您检测模型性能随时间的变化，例如数据漂移（生产数据与训练数据分布的变化）和概念漂移（模型输入与输出之间关系的变化），确保模型持续提供准确的预测。

4. 总结与资源

Vertex AI 极大地简化了机器学习模型的开发、部署和管理流程，使企业和开发者能够更专注于构建创新的 ML 解决方案。通过其统一的平台、灵活的训练选项和强大的 MLOps 功能，Vertex AI 成为了在 Google Cloud 上实现端到端机器学习的理想选择。

更多学习资源：

  • Google Cloud Codelabs：提供交互式、分步的教程，涵盖 Vertex AI 的各种功能。
  • Vertex AI 官方文档：获取最全面、最权威的技术细节、API 参考和概念性概述。
  • Vertex AI Samples (GitHub)：包含大量示例 Notebook，展示了 AutoML、自定义训练等各种用例。

希望这篇教程能帮助您更好地理解和利用 Vertex AI 构建您的机器学习项目。

滚动至顶部