0

0

Python ray 的分布式计算 Python API

舞夢輝影

舞夢輝影

发布时间:2026-02-20 16:37:02

|

441人浏览过

|

来源于php中文网

原创

ray.init()失败主因是localhost与集群模式混用,需清理残留进程、明确指定local_mode或address;remote函数禁用未序列化对象;actor初始化异常需用__ray_ready__检测。

python ray 的分布式计算 python api

ray.init() 启动失败:localhost 模式和集群模式不能混用

本地开发时直接调用 ray.init() 默认走 localhost 模式,但如果你之前手动启过 ray start --head,或者环境变量里残留了 RAY_ADDRESS,就会报 ConnectionError: Failed to connect to Ray instance 或静默失败。

  • 先清掉干扰项:ray stop(别信输出,再跑一遍 ps aux | grep ray 确认没残留进程)
  • 明确指定模式:ray.init(local_mode=True) 仅用于单进程调试(所有 actor/task 都不真正分布式);生产级本地测试用 ray.init(num_cpus=4) 即可,它会自动起轻量 head node
  • 远程集群必须显式传地址:ray.init(address="ray://10.0.1.5:10001"),且服务端得用 ray start --head --port=10001 启,端口不匹配是高频卡点

@ray.remote 函数里不能直接用未序列化的对象

比如你在函数里写了 pd.read_csv("data.csv"),看起来没问题,但一旦放到 remote 函数里,Ray 会在 worker 进程反序列化执行——而 worker 根本没加载 pandas,也没这个文件路径。错误现象通常是 ModuleNotFoundErrorFileNotFoundError,堆栈还藏在 worker 日志里,主进程只报 timeout。

  • 所有依赖包必须在每个 worker 上安装一致(推荐用 pip install -r requirements.txt 预装,别靠 runtime_env 动态传,慢且易错)
  • 文件路径别写死,用 ray.get_runtime_context().get_job_id() 或传入绝对路径参数;更稳妥的是把数据提前放进 ray.put() 或用 ray.data 加载
  • 类实例、数据库连接、文件句柄这类非 pickleable 对象,一律禁止出现在 remote 函数作用域内——它们不会被复制,只会让任务永远卡住

ray.get() 调用阻塞太久?检查是不是忘了 .remote()

result = my_func.remote() 返回的是 ObjectRefray.get(result) 才真正取值;但新手常写成 result = my_func()(没加 .remote),结果变成同步调用,Ray 根本没参与,后续 ray.get() 就等一个不存在的 ref,超时后抛 ValueError: Expected an ObjectRef, got ...

WebService测试方案 WORD版
WebService测试方案 WORD版

本文档主要讲述的是WebService测试方案;WebService是一种革命性的分布式计算技术,本质上就是网络上可用的API,可以直接在网络环境调用的方法。WebService常用的框架有axis、xfire、cxf等。希望本文档会给有需要的朋友带来帮助;感兴趣的朋友可以过来看看

下载
  • 用 IDE 的类型提示:PyCharm / VS Code 装好 ray 插件后,my_func() 会标黄,提示“Expected @ray.remote decorated function”
  • 批量提交任务时别嵌套 ray.get()[ray.get(f.remote()) for f in funcs] 是串行的,要改成 refs = [f.remote() for f in funcs]; ray.get(refs)
  • 大对象传输慢?ray.get() 本身不压缩,如果返回几 GB 的 numpy array,网络和反序列化都吃资源,考虑用 ray.put() + 引用传递,或改用 ray.data 流式处理

Actor 创建后无法调用方法:__init__ 报错会被吞掉

定义 Actor 类时,如果 __init__ 里有异常(比如连不上 Redis、读配置失败),Ray 不会立刻抛出,而是等你第一次调用 actor.method.remote() 时才报 ActorDiedError,根本看不到原始错误。日志里可能只有 “The actor died unexpectedly before finishing this task”。

立即学习Python免费学习笔记(深入)”;

  • 强制触发初始化:创建后立刻 ray.get(actor.__ray_ready__.remote())(这是 Ray 内置的健康检查方法)
  • __init__ 开头加 print()logging.info(),并确保 worker 日志能被收集(启动时加 --log-level=INFO
  • Actor 方法调用超时默认 30 秒,但初始化失败是另一回事;别盲目加大 timeout 参数,先确认是不是构造函数逻辑卡死
Ray 的坑不在 API 多难记,而在它把“分布”这件事藏得太深——本地跑通不等于分布式能跑,worker 环境和 driver 环境从来不是一回事,任何跨进程的东西,都得当成黑盒重新验证。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
什么是分布式
什么是分布式

分布式是一种计算和数据处理的方式,将计算任务或数据分散到多个计算机或节点中进行处理。本专题为大家提供分布式相关的文章、下载、课程内容,供大家免费下载体验。

396

2023.08.11

分布式和微服务的区别
分布式和微服务的区别

分布式和微服务的区别在定义和概念、设计思想、粒度和复杂性、服务边界和自治性、技术栈和部署方式等。本专题为大家提供分布式和微服务相关的文章、下载、课程内容,供大家免费下载体验。

246

2023.10.07

Python 时间序列分析与预测
Python 时间序列分析与预测

本专题专注讲解 Python 在时间序列数据处理与预测建模中的实战技巧,涵盖时间索引处理、周期性与趋势分解、平稳性检测、ARIMA/SARIMA 模型构建、预测误差评估,以及基于实际业务场景的时间序列项目实操,帮助学习者掌握从数据预处理到模型预测的完整时序分析能力。

75

2025.12.04

Python 数据清洗与预处理实战
Python 数据清洗与预处理实战

本专题系统讲解 Python 在数据清洗与预处理中的核心技术,包括使用 Pandas 进行缺失值处理、异常值检测、数据格式化、特征工程与数据转换,结合 NumPy 高效处理大规模数据。通过实战案例,帮助学习者掌握 如何处理混乱、不完整数据,为后续数据分析与机器学习模型训练打下坚实基础。

4

2026.01.31

pip安装使用方法
pip安装使用方法

安装步骤:1、确保Python已经正确安装在您的计算机上;2、下载“get-pip.py”脚本;3、按下Win + R键,然后输入cmd并按下Enter键来打开命令行窗口;4、在命令行窗口中,使用cd命令切换到“get-pip.py”所在的目录;5、执行安装命令;6、验证安装结果即可。大家可以访问本专题下的文章,了解pip安装使用方法的更多内容。

349

2023.10.09

更新pip版本
更新pip版本

更新pip版本方法有使用pip自身更新、使用操作系统自带的包管理工具、使用python包管理工具、手动安装最新版本。想了解更多相关的内容,请阅读专题下面的文章。

426

2024.12.20

pip设置清华源
pip设置清华源

设置方法:1、打开终端或命令提示符窗口;2、运行“touch ~/.pip/pip.conf”命令创建一个名为pip的配置文件;3、打开pip.conf文件,然后添加“[global];index-url = https://pypi.tuna.tsinghua.edu.cn/simple”内容,这将把pip的镜像源设置为清华大学的镜像源;4、保存并关闭文件即可。

787

2024.12.23

python升级pip
python升级pip

本专题整合了python升级pip相关教程,阅读下面的文章了解更多详细内容。

361

2025.07.23

pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法
pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法

本专题系统整理pixiv网页版官网入口及登录访问方式,涵盖官网登录页面直达路径、在线阅读入口及快速进入方法说明,帮助用户高效找到pixiv官方网站,实现便捷、安全的网页端浏览与账号登录体验。

776

2026.02.13

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.4万人学习

Django 教程
Django 教程

共28课时 | 4.4万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.6万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号