Ray分布式计算探究

Ray分布式计算探究

介绍

伯克利开源的一个高性能分布式AI计算框架,兼容TensorFlow、PyTorch与MXNet。旨在取代spark,因为业界认为Spark对于一些现实的人工智能应用而言速度太慢了。

测试环境

  • 硬件: linode 3台单核CPU E5-2680V3,1G内存
  • 系统: debian9
  • 环境: python 2.7.13 & ray 0.4

测试目标

执行10次一亿内的叠加运算

代码示例

python单机测试

计算时的CPU占用如下:

计算总耗时:

ray集群测试

三台计算节点集群展示:

三台计算总耗时:

三台计算执行时CPU均为%100,在此不在贴图。

后记

测试图表上看,单机变分布式,单车瞬间变摩托!
这里并没有提及ray的原理以及架构,请参考:https://github.com/ray-project/ray。 另外准备尝试在大数据实时流测试环境中集成,替换掉spark,估计有不少坑要踩。

发表评论

电子邮件地址不会被公开。 必填项已用*标注