PAI-EasyTransfer应用实践

查看精彩回放 https://developer.aliyun.com/live/245530

大纲

本文主要围绕实践做四部分的介绍 由浅入深层层递进 这四部分是

AppZoo实践ModelZoo实践分布式训练实践多模态Fashionbert实践

?

一、AppZoo实践

AppZoo像苹果的应用商店一样简单易用 里面的应用丰富多样 有分类匹配、阅读理解、序列标注和文本生成。

文本分类实践

在操作文本分类前 首先可以先熟悉下Easy-Transfor文档 了解下文本分类的流程 基本可以在云端完成操作AppZoo的文本分类的组件。

?

如下图所示 文本分类由几部分组成

原始文本文本预处理 处理成Bert需要的表征格式 然后送入Bert分类器产生标签。

?

如何在云端基于AppZoo操作文本分类 整个过程只需在本地起一个Job然后发送到云端 通过一些简单的配置就可以完成文本分类的应用了。

?

演示实践

基于本地的开发环境 首先上传所需的业务数据 如下图所示。

这是最简单的一句话的分类。左边是一句话 右边是这句话对应的label 比如第一句话“上课时老师手机响的不停”对应的是108。把这些实际的分类的标签映射成离散的值。

?

然后运行一下脚本 把业务数据的训练集和验证集上传到阿里云的ODPS的数据存储空间里。

然后在本地启动脚本 自动地运行文本分类。首先需要指定pi命令 这里叫做easy_transfer_app 然后指定训练模式和刚刚上传的训练集和验证机的名字。然后再告诉EasyTransfer AppZoo什么是标签及标签的类型。

当所有的都配置好后 只需要在本地运行app.run_sh 就能把任务提交到阿里云上的服务器集群上 由这个集群负责文本分类的应用。

?

一些常用的自然语言处理所需要的功能 高度抽象地封装成了一个个组件供大家调用 又简单又便捷 这就是AppZoo的好处。

?

任务启动后 如果想要检查日志状况可以通过Cloud View查看。

?

当初始化脚本完成后 Easy-Transfer AppZoo提供了强大的日志功能 用来记录化器以及warm up step等等 甚至是Bert里面用到的参数量等信息都会被详细的记录下来。

?

如下图所示 在云端PAI平台上已经成功启动了单机四卡 一个分布式的任务来做文本分类。

?

当操作完成后 系统会把Model Dir记录在阿里云上一个OSS对象存储空间里。

?

二、ModelZoo实践

?

自然语言处理的套路方法趋向于统一化 分为以下这么四个步骤 通用领域的预训练、垂直领域的预训练、垂直领域的Finetune和通用知识蒸馏。

?

现在启动云端的run tf summary 看一下选的这个预训练模型是否收敛了。

?

?

通过tensor board看一下是否真的收敛了。我们在EasyTransfer里面放了很多实践 这里面average loss就是最佳实践 它植入了一个滑动窗口 上面积累了loss 从而能从宏观上看到loss走向。

?

?

EasyTransfer设计了前后端分离的模式 用户仅仅需要聚焦在他修改的那一部分的前端代码 他可以很轻松地像搭积木的方式去尝试各种各样的chick。

?

下面演示一下如何调试。要做一个文本分类 我只需要做几个关键的步骤 第一是数据准备 第二是定义配置文件 第三个是定义分类应用 第四是启动训练 第五是启动预测。

?

接下来看下载的数据到底是什么样子。在这里 数据是农业的分类 内容就是一句话 训练集样本数有1万多条 训练样本1万多条。接下来为了完成一个训练任务 需要去简单配置一下 包括分类的label数。接下来看一些代码 了解我们前端的API是什么样子的 把APP Zoo的黑盒变白盒。

?

现在运行这个cell 运行后这个构图的loss就完成了 然后启动训练。这里的日志训练样本有5万多条 我们在浏览器中就能完成经典的文本分类任务。

?

?

接下来开始进行在线预测。在finetune环节 当PAI代码已经固化了之后 完全可以仅去调配置文件。基于PAI DSW 进一步调参前端代码。

?

三、分布式训练实践

?

在做大量业务数据的垂直领域的预训练模型时 需要我们具备全栈思维 它需要具备以下要素。

?

首先要了解集群的分布 机柜里每一片都是主机。显卡是4块一组 它们通过某种桥接的方式在主机内部进行高速的通信。其次是RDMA 它可以把机器内存直接连起来 让他们直接进行数据通信 它通信的是梯度。然后是数据并行 它可以通过增加机器来把不同的数据放到不同的GPU上 增加训练速度。

?

?

在PAI上进行多机多卡分布式预训练时 使用参数也非常简单。EasyTransfer已经将复杂的预训练过程抽象成了几个公共组件 在数据准备、特征生成和训练过程中都可以直接用。

?

?

实践演示

?

开始还是简单的配置 然后开启编译优化 打开RDMA 选择mlm loss等等 配置完之后输入命令run pretrain 启动一个8机8卡共64张卡的任务。

?

然后点击logview 可以看到8机8卡。并且 在云端做高性能、分布式、超大规模的训练非常简单 因为EasyTransfer已经将常规组件封装在了script里。

?

?

多模态Fashionbert实践

?

多模态本质上是将文本的模态和图像、视频、声音等各个模态的信息混合起来 学习出他们交互的表征 用到下游的视频分类、跨模态检索、VQA等等 它的目的是通过增加模态来提升下游任务的指标。那么如何通过EasyTransfer来从头开始构建变种版bert呢 我们研发了一种叫Fashionbert的概念。

?

二次开发实践

?

作为一个平台开发人员 当要增加新的功能的时候 需要run Fashionbert 比如run train。看一下左上角 这里唯一需要做的就是在ModelZoo里面定义一个多模态的bert 而里面各种各样的组件都封装好了 让搭建非常简单。

?

?

最后附上EasyTransfer的开源信息 大家可以通过这些渠道有进一步了解。

?

?

本次分享就到这里了 欢迎大家在GitHub上共建EasyTransfer社区。

?

本文转自网络，原文链接：https://developer.aliyun.com/article/783719
本站部分内容转载于网络，版权归原作者所有，转载之目的在于传播更多优秀技术内容，如有侵权请联系QQ/微信：153890879删除，谢谢！