当前位置: 首页>开源软件>正文

SpeeDO-并行深度学习系统

  • 授权协议:Apache
  • 开发厂商:未知
  • 开发语言:scala
  • 收录时间:2020-03-20
  • 操作系统:Windows,Linux,OS X
  • 软件作者:openbigdatagroup
  • 开源标签: SpeeDO

软件介绍

最近,AlphaGo又带起了一波深度学习的热潮。深度学习在很多领域都大幅提高了模型的精度,使得很多以前在实验室中的技术得以运用到日常的生活之中。然而,大多数深度学习网络非常复杂,需要大量的训练样本进行训练,很多网络需要一次训练,同时额外多次的训练来调参数。时间效率上远远无法满足当前的工业需求。..."

最近,AlphaGo又带起了一波深度学习的热潮。深度学习在很多领域都大幅提高了模型的精度,使得很多以前在实验室中的技术得以运用到日常的生活之中。然而,大多数深度学习网络非常复杂,需要大量的训练样本进行训练,很多网络需要一次训练,同时额外多次的训练来调参数。时间效率上远远无法满足当前的工业需求。因此需要并行的深度学习系统提高训练速度。

各大公司在构建并行深度学习系统上投入了大量的精力,包括谷歌、Facebook、微软、腾讯和百度等等。为了提高算法的并行效率,这些系统大部分使用了多机多GPU的方式。所谓多机,即是大量的机器通过网络连接组成训练集群;多GPU即是集群内部的每台机器上包含多个GPU,通过数据并行(每个GPU训练部分数据)、模型并行(每个GPU训练部分网络)或者两者混合的方式提高加快训练速度。GPU浮点运行效率很高,这导致了并行系统的主要瓶颈在于I/O效率,因此这些系统使用了诸如InfiniBand和RDMA(RemoteDirect Memory Access,全称远程直接数据存取,专用于解决网络传输中服务器端数据处理的延迟)等高性能技术,而这些技术需要昂贵的硬件支持,大大增加了系统构建和维护的成本和难度,导致这些系统很难复制和普及到通用场景。

SpeeDO(OpenDEEP learning System的逆序)是一个为通用硬件设计的并行深度学习系统。SpeeDO不需要特殊的I/O硬件,支持CPU/GPU集群,因此可以很方便地在各种云端环境上部署,如AWS、GoogleGCE、Microsoft Azure等等。

SpeeDO采用了目前通用的参数服务器(parameterserver)架构,依赖一系列基于JVM的开源库,使用Scala语言开发。

SpeeDO的架构图如下图所示:


流程图如下图所示:

SpeeDO的主要组件及其功能如下:

Caffe:开源深度学习库,基于C++,支持CPU/GPU。原版不支持多GPU/多机并行。

Akka:JVM上的消息队列库,负责参数服务器和工作节点之间的并发消息处理。

Redis:基于内存的高效并行Key-Value数据库。主要用于在参数服务器和工作节点之间传递训练的模型。这些模型一般比较大(几十至上千MB不等),不适合直接通过Akka进行传输。

Yarn:Hadoop2的资源管理组件,实现在多台机器上一键部署参数服务器和工作节点,实时监控各节点的运行状态,处理异常。

SpeeDO提供docker镜像(只支持CPU)以方便系统的快速构建和测试,获取镜像:docker pullobdg/speedo:latest,使用方法请参考:https://github.com/openbigdatagroup/speedo

关于SpeeDO 的更多细节,可以参阅发表在NIPS2015 Machine Learning Systems Workshop上的论文:http://learningsys.org/papers/LearningSys_2015_paper_13.pdf

SpeeDO的代码在Github上开源:https://github.com/openbigdatagroup/speedo,并提供了详细的安装脚本和Docker文件。

上一篇:TJBot-开源DIY纸板机器人

下一篇:Guagua-Hadoop迭代式计算框架

您可能感兴趣的文章

相关阅读