0

0

如何在 Vertex AI Pipeline 中集成自定义预测例程进行批量推理

花韻仙語

花韻仙語

发布时间:2026-02-05 10:41:01

|

742人浏览过

|

来源于php中文网

原创

如何在 Vertex AI Pipeline 中集成自定义预测例程进行批量推理

本文介绍如何将已部署在 vertex ai model registry 中的自定义预测例程(cpr)无缝接入 kubeflow pipelines,通过官方预构建组件完成端-to-end批量预测任务,避免手动构造模型对象导致的类型不匹配问题。

在 Vertex AI 中使用自定义预测例程(Custom Prediction Routine, CPR)时,模型逻辑被封装在容器镜像中,并注册至 Model Registry(而非存储于 GCS),因此无法通过常规 ImporterComponent(依赖 artifact_uri)引入 Pipeline。直接编写自定义 importer 并返回 aiplatform.Model 实例会导致类型错误——因为 ModelBatchPredictOp 期望的是符合 KFP 类型系统规范的 Model Artifact,而非原始 Python SDK 对象。

✅ 正确做法是:从 Model Registry 中以声明式方式获取已注册模型的 Artifact,推荐使用 ModelGetOp(v1.2.0+ 版本推荐)或兼容旧版的 GetVertexModelOp。

笔目鱼英文论文写作器
笔目鱼英文论文写作器

写高质量英文论文,就用笔目鱼

下载

✅ 推荐方案:使用 ModelGetOp

该组件会根据模型资源名称(model_name)从 Vertex AI Model Registry 中检索模型,并输出标准 Model Artifact,与 ModelBatchPredictOp 完全兼容:

from google_cloud_pipeline_components.v1.model import ModelGetOp
from google_cloud_pipeline_components.v1.batch_predict_job import ModelBatchPredictOp
from kfp.dsl import pipeline

@pipeline(name="cpr-batch-prediction-pipeline")
def cpr_batch_prediction_pipeline(
    project: str = "your-project-id",
    location: str = "us-central1",
    model_display_name: str = "my-cpr-model",
    gcs_source_uris: list = ["gs://your-bucket/input/data.csv"],
    gcs_destination_prefix: str = "gs://your-bucket/predictions/",
):
    # Step 1: 从 Model Registry 获取模型(输出标准 Model Artifact)
    get_model_task = ModelGetOp(
        model_name=f"projects/{project}/locations/{location}/models/{model_display_name}",
        project=project,
        location=location,
    )

    # Step 2: 执行批量预测(自动适配 CPR 模型)
    batch_predict_task = ModelBatchPredictOp(
        job_display_name="cpr-batch-predict",
        model=get_model_task.outputs["model"],
        gcs_source_uris=gcs_source_uris,
        gcs_destination_output_uri_prefix=gcs_destination_prefix,
        instances_format="csv",         # 支持 csv/jsonl/records等,需与CPR输入解析逻辑一致
        predictions_format="jsonl",      # 输出格式建议用 jsonl 便于后续解析
        starting_replica_count=1,
        max_replica_count=3,
        machine_type="n1-standard-4",
    )
? 关键说明:model_name 必须为完整资源路径(如 projects/my-proj/locations/us-central1/models/1234567890123456789),但更推荐使用 display_name 查询后动态构造。若需运行时解析,可在 pipeline 外部预先获取(非 pipeline 内部调用 SDK),或使用 kfp.dsl.importer + artifact_uri 的替代路径(仅当模型启用“导出为 Artifact”功能时适用,CPR 默认不支持)。

⚠️ 注意事项

  • ❌ 不要自行创建 aiplatform.Model 实例并试图注入 pipeline —— 这违反 KFP 的 Artifact 类型契约,必然触发 InconsistentTypeException。
  • ✅ 确保模型已在 Model Registry 中成功注册(可通过 Console 或 aiplatform.Model.list() 验证)。
  • ✅ instances_format 和 predictions_format 必须与 CPR 容器中 predict() 方法的输入/输出协议严格匹配(例如:若 CPR 接收 JSONL 则不可设为 csv)。
  • ? 若使用较老版本 google-cloud-pipeline-components(

✅ 总结

将 CPR 集成进 Vertex AI Pipeline 的核心原则是:复用 Model Registry 作为可信模型源,借助官方类型安全的 ModelGetOp 组件桥接 SDK 世界与 Pipeline Artifact 世界。这种方式无需维护额外镜像、不绕过权限控制、天然支持模型版本追踪与审计,是生产级 MLOps 流水线的最佳实践。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
console接口是干嘛的
console接口是干嘛的

console接口是一种用于在计算机命令行或浏览器开发工具中输出信息的工具,提供了一种简单的方式来记录和查看应用程序的输出结果和调试信息。本专题为大家提供console接口相关的各种文章、以及下载和课程。

419

2023.08.08

console.log是什么
console.log是什么

console.log 是 javascript 函数,用于在浏览器控制台中输出信息,便于调试和故障排除。想了解更多console.log的相关内容,可以阅读本专题下面的文章。

525

2024.05.29

pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法
pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法

本专题系统整理pixiv网页版官网入口及登录访问方式,涵盖官网登录页面直达路径、在线阅读入口及快速进入方法说明,帮助用户高效找到pixiv官方网站,实现便捷、安全的网页端浏览与账号登录体验。

473

2026.02.13

微博网页版主页入口与登录指南_官方网页端快速访问方法
微博网页版主页入口与登录指南_官方网页端快速访问方法

本专题系统整理微博网页版官方入口及网页端登录方式,涵盖首页直达地址、账号登录流程与常见访问问题说明,帮助用户快速找到微博官网主页,实现便捷、安全的网页端登录与内容浏览体验。

158

2026.02.13

Flutter跨平台开发与状态管理实战
Flutter跨平台开发与状态管理实战

本专题围绕Flutter框架展开,系统讲解跨平台UI构建原理与状态管理方案。内容涵盖Widget生命周期、路由管理、Provider与Bloc状态管理模式、网络请求封装及性能优化技巧。通过实战项目演示,帮助开发者构建流畅、可维护的跨平台移动应用。

64

2026.02.13

TypeScript工程化开发与Vite构建优化实践
TypeScript工程化开发与Vite构建优化实践

本专题面向前端开发者,深入讲解 TypeScript 类型系统与大型项目结构设计方法,并结合 Vite 构建工具优化前端工程化流程。内容包括模块化设计、类型声明管理、代码分割、热更新原理以及构建性能调优。通过完整项目示例,帮助开发者提升代码可维护性与开发效率。

20

2026.02.13

Redis高可用架构与分布式缓存实战
Redis高可用架构与分布式缓存实战

本专题围绕 Redis 在高并发系统中的应用展开,系统讲解主从复制、哨兵机制、Cluster 集群模式及数据分片原理。内容涵盖缓存穿透与雪崩解决方案、分布式锁实现、热点数据优化及持久化策略。通过真实业务场景演示,帮助开发者构建高可用、可扩展的分布式缓存系统。

26

2026.02.13

c语言 数据类型
c语言 数据类型

本专题整合了c语言数据类型相关内容,阅读专题下面的文章了解更多详细内容。

29

2026.02.12

雨课堂网页版登录入口与使用指南_官方在线教学平台访问方法
雨课堂网页版登录入口与使用指南_官方在线教学平台访问方法

本专题系统整理雨课堂网页版官方入口及在线登录方式,涵盖账号登录流程、官方直连入口及平台访问方法说明,帮助师生用户快速进入雨课堂在线教学平台,实现便捷、高效的课程学习与教学管理体验。

14

2026.02.12

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.4万人学习

Django 教程
Django 教程

共28课时 | 4.3万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.6万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号