神刀安全网

【Scala-ML】如何利用Scala构建并行机器学习系统

在学习Scala的过程中,我发现其在构建大规模分布式计算系统上有与生俱来的特质。其丰富的类型系统可以帮助编程设计提供很好的信息隐藏和抽象,其monoids和monads概念利用Scala高阶函数实现计算并行和数据处理流水线,其Actor系统帮助编写可伸缩性的应用程序,其实现特定领域语言的优势帮助开发用户很好克服不同语言的障碍。

虽然以上Scala优点说起来不会感同身受,但这可以作为我学习的一大动力,让我开始尝试编写并行机器学习系统。

在学习过程中,我主要参考《Scala for Machine Learning》一书和相关网上的资料。希望这些分享能帮助自己学习,也更好的服务有兴趣的读者。

为何使用Scala构建机器学习系统

抽象

Monoids和Monads是函数式编程的重要概念。

Monoids定义了在具有闭包性质(property of closure)的数据集上的二元操作op,恒等操作(identity operation)和结合性(associativity)。

下面是代码描述:

trait Monoid[T] {
def zero: T
def op(a: T, b: T): T
}

Monoids具有结合性的操作。假设ts1、ts2、ts3是三个时间序列,该性质保证ts1+(ts2+ts3) = (ts1+ts2)+ts3。Monoid的结合性对于计算流的并行化是很关键的。

Monads可以被认为是容器的结构,它是Monoids的推广。像是Scala标准库中的List,Map等集合被设计成monads的结构。

Monads提供了以下的功能:1. 创建集合; 2. 对集合的元素进行转换; 3. 压平嵌套的集合。

下面是Scala代码描述:

trait Monad[M[_]] {
def apply[T](a: T): M[T]
def flatMap[T, U](m: M[T])(f: T=>M[U]): M[U]
}

Monads允许集合或者容器连接起来产生一个工作流,该性质可以应用在任何科学计算中。

可扩展性

Actors系统使得Scala编程变得可伸缩、可扩展。Actors作为协程(coroutines),通过异步消息进行通信,管理底层的线程池。

机器学习的工作流被实现成一系列的计算任务,这些任务包含了Scala的高阶方法(如flatMap,map,fold,reduce,collect,join,filter)对数据集合的操作,Scala允许actors集群对这些数据进行分割来完成计算任务。Scala还支持本地或远程的actor之间进行消息分发和消息路由。

【Scala-ML】如何利用Scala构建并行机器学习系统

上图中,主节点作为控制器,管理和调度四步任务。这些具体的任务通过Scala的actors实现的多个工作节点执行。主节点通过和工作节点交换消息来管理工作流的执行状态,负责可靠性。通过监督actors的层次结构来实现计算任务的高可用性。

可配置性

Scala支持依赖注入(dependency injection),通过抽象变量(abstract variables)、自引用成分(self-referenced composition)和可堆叠的特质(stackable traits)的组合来实现。最常用的依赖注入的模式成为cake pattern,该模式在构建动态计算工作流中经常用到。

可维护性

Scala内嵌了领域专用语言(Domain Specific Languages,DSL)。DSLs是在Scala原生库上建立的语法层,DSLs允许软件开发者抽象计算细节,更好让使用者理解。DSLs最有名的应用案例就是在Matlab中的语法形式。

计算工作流

【Scala-ML】如何利用Scala构建并行机器学习系统 一个计算工作流(computational workflow)可以分为以下几个步骤:

  1. 从文件或数据库中载入数据集
  2. 将数据集进行分割,用于并行的数据处理
  3. 运用过滤技术、方差分析等进行数据预处理
  4. 应用机器学习模型

    在使用训练数据进行分析的过程还需要一些具体的处理:

    • 从清洗的输入数据中选择训练集、测试集、验证集
    • 抽取关键特征、利用聚类技术从一组相似观测中简历亲近关系
    • 减少特征数量,避免训练数据过拟合
    • 重复进行多次上述步骤来验证模型和调整模型
    • 将模型进行持久化,用于新观测数据的预测和处理
  5. 评估模型表现

转载本站任何文章请注明:转载至神刀安全网,谢谢神刀安全网 » 【Scala-ML】如何利用Scala构建并行机器学习系统

分享到:更多 ()

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
分享按钮