前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >昇腾打造智能根基:向上的力量源自根部的进化

昇腾打造智能根基:向上的力量源自根部的进化

作者头像
IT创事记
发布2022-12-21 16:01:40
3190
发布2022-12-21 16:01:40
举报
文章被收录于专栏:IT创事记IT创事记

当人工智能已渗透到千行百业,AI产业发展的快与慢、喜与忧总是牵动人心。

与信息技术几乎同时诞生于上世纪50、60年代的AI,在相当长一段时间里只能坐看IT产业的突飞猛进;而最近5~10年,AI重焕生机,大幅超越IT整体市场增速,俨然成为数字化进程中的明星。

IDC咨询发布的数据显示,2022年全球人工智能市场收入预计同比增长19.6%,达到4328亿美元,2023年会突破5000亿美元大关;中国人工智能产业也保持良好的发展势头,据中国产业研究院预测,2022年国内人工智能市场规模将达2729亿元。

然而,总量的“喜”不能掩盖结构性的“忧”。目前,国内传统行业中AI渗透率超过10%的只有电子行业,而汽车、石化、制药等行业的渗透率在5%~10%,建材等传统行业则低于5%。另有统计表明,国内人工智能产业的人才缺口高达500万人。

在矛盾交织的过程中螺旋式上升,是事物发展的客观规律,AI产业也不例外。如果穿透纷繁复杂的枝蔓,探寻生机之源与症结之端,那么不难发现,最具决定性的力量还是来自根部的进化。

基础软硬件平台就是AI之根,根深才能叶茂,根系的持续进化有望带来生态繁荣,促进横枝竖蔓结出累累硕果。从这个意义上讲,在基础软硬件平台领域积淀深厚的昇腾AI,已成为推动整个人工智能产业蓬勃向上的力量,为城市算力基础设施建设、为千行百业转型升级构筑智能根基。

在近日深圳举办的华为全联接大会2022上,昇腾AI基础软硬件平台宣布全面升级,CANN6.0、昇思MindSpore2.0全新亮相,在整体性能、开放性、易用性等方面取得重大突破,并将科学计算打造成AI新的主战场,而训练&推理解决方案的升级更会加速AI场景化落地的进程。

显而易见,昇腾AI基础软硬件平台还在不断进化,这是开发者与合作伙伴的福音,也有助于整个人工智能生态系统健康成长。

CANN6.0强化开放与易用

早在2019年,华为即成为国家新一代人工智能开放创新平台,且是基础软硬件平台唯一建设单位。昇腾AI基础软硬件平台通过构建CANN异构计算架构、昇思MindSpore全场景AI框架,以及MindX昇腾应用使能、一站式开发平台ModelArts和统一工具链MindStudio等,逐步成为结构完整、优势突出的AI底座。

过去三年,昇腾AI围绕“极致性能、极简易用”,持续打造昇腾AI基础软硬件平台,构建多元生态;如今,昇腾AI基础软硬件平台全面升级,是为了支持生态体系更快、更好地发展。

CANN是昇腾生态的锚点,在改善性能的基础上提升开放性和易用性,是此次CANN升级的主攻方向。

目前,CANN已面向全部主流AI框架开放,支持1400多个高性能算子及900多个主流优选模型,并在不断提升动态Shape支持能力。

即将在今年底发布的CANN 6.0,除了继续保持在典型模型上的性能优势外,将重点提升易用性。随着模型类型和数量的逐渐丰富,算子的自定义开发需求越来越多,这也是用户的核心资产,所以必须以升级的开发体系更加开放地支持伙伴高效自开发。

CANN 6.0全新升级的开发体系,原生支持C/C++进行算子开发,降低算子开发门槛,同时提供昇腾硬件亲和的数据结构,在保持性能的基础上,提高用户自定义算子开发效率,明显缩短通用算子与复杂算子的开发周期,让普通软件工程师亦可轻松上手。

CANN 6.0版本还将提供包括11大类在内的70个DSL算子编程接口,新增11类算子调度策略,算子库中DSL算子覆盖度可达80%,从而使能更多算子采用更为简单的DSL方式开发。另外,在算子开发过程中,开发者仅需关注算子逻辑表达,Auto Schedule会帮助开发者自动快速完成后续的Schedule创建、优化及编译等操作。同时结合算子Debug调试、一键生成工程代码、自动编译部署、简化算子交付件等功能,极大程度上降低了算子开发门槛并提升效率。

值得关注的是,CANN 6.0还支持6个主流AI框架(包括昇思、飞桨、PyTorch、TensorFlow、Caffe、计图),并支持模型的自动化迁移、调测及智能调优,这将有助于增强对技术生态的包容性,为人工智能之树长青创造必要条件。

MindSpore2.0擢升科学计算与全场景能力

在整个AI基础软硬件平台中,AI框架的地位举足轻重,在底层架构与上层应用之间发挥着枢纽作用。

AI框架是人工智能的操作系统,是模型开发的核心,对人工智能软件生态的构建非常重要。昇思MindSpore开源以来,生态全面发展,已经有超过8000多名社区贡献者,服务于140多所高校、科研机构和5500多家企业。在生态体系自由生长的过程中,MindSpore的进化路径备受瞩目。

2020年,昇思MindSpore社区推出首个全场景AI框架MindSpore 1.0;2021年,又推出原生支持大模型开发的MindSpore 1.5,迄今已联合伙伴规划了20多个基于昇思的大模型并成功发布多个业内首创的AI大模型;此次全新亮相的MindSpore 2.0,成为支持科学计算的AI融合框架,在基础能力上完成AI与HPC的融合,科学计算能力大幅提升。

首先,昇思构建的多算力科学计算加速库,扩展支持HPC任务,并利用昇思自动并行、异构加速、融合编译优化等既有能力,可同时对AI与HPC双重任务性能优化,执行性能加速2倍。

其次,昇思升级自动微分引擎。传统AI框架的设计一般只针对一阶、二阶求导,而科学计算任务往往需求解高阶高维方程,在内存和性能方面有较大挑战。昇思通过高阶微分方程的优化算法,可完成融合计算端到端的微分方程求导,效率提升5倍。

另外,昇思通过构建科学智能套件,加速行业应用创新,目前在制造、制药、航天等8大科学计算常用行业做了10大套件的布局,并已成功发布电磁仿真套件MindSpore Elec、分子模拟套件MindSpore SPONGE以及流体仿真套件MindSpore Flow。

尤值一提的是,MindSpore 2.0还进一步夯实了全场景能力,支持高效联邦学习,实现大模型跨域并行训练,为算力网络打下基础,同时还能支持千万端侧设备的协同学习;通过统一的API,达成跨平台部署模型格式免转换,便捷地实现模型一次开发全网络、全场景部署;此外,昇思对动态图的全面支持,可兼顾开发灵活性与执行性能,促进易用性显著提升。

训练&推理解决方案全面升级

从某种意义上讲,训练&推理解决方案是人工智能通往细分场景的触角,其跃迁将使AI基础软硬件平台具备更强大的韧性和灵活性。

训练作为AI的生产环节,是智能的源头。只有通过持续的训练学习才能满足场景升级和AI创新的需求。然而,随着模型结构的丰富,训练性能难以保障;大模型和科学计算的发展也让创新的成本越来越高;同时,在训练开发中,涉及精度评估、性能调优、训练调试等各种步骤,急需用户友好的一站式开发工具支撑高效开发。

针对上述痛点,基于全栈的协同,昇腾训练解决方案进行全面升级,让训练更高效、创新更便捷。

一方面,训练性能升级——结合硬件调度、软件编译优化以及最优接口封装,为业界带来更丰富、易用的基础加速库,提供计算、通信和I/O等多种加速库,面向典型场景的训练性能领先业界20%。

另一方面,创新使能升级——为业界提供SOTA模型、大模型加速、科学智能等开发套件,加速创新孵化。基于在大模型开发上的丰富积累,目前千亿参数的稠密大模型开发周期已实现从最初的8个月到现在的3个月。

此外,工具易用性上也实现升级,提供从脚本迁移、调试调优到模型压缩的端到端训练工具链,支撑一站式开发,目前典型模型的开发周期小于0.5人月。

如果说训练是学习开发的过程,那么推理就是生产部署的落地。AI要释放出所有潜能,必须把模型转换为推理应用,进入到具体的行业场景,因此推理应用的开发是AI技术价值闭环的关键环节。

昇腾AI从多个维度入手助力推理解决方案的升级:一是基于推理引擎,对推理过程中涉及的迁移工具、算子、加速库、压缩算法,进行一站式全流程工具化,提升部署效率;二是借助行业SDK沉淀昇腾硬件亲和的调优套件,提升部署性能——昇腾在视频分析、智能制造、检索聚类等场景的推理性能遥遥领先,未来还将推出OCR、推荐、自主无人系统等SDK。

需要指出的是,模型训练不可能一劳永逸,必须基于业务实际使用场景和业务数据的更新迭代,不断进行增量训练。昇腾通过云边协同使能套件,进行自动增量训练,边用边学边训,训练完自动迭代部署,业务不中断,精度持续提升,从而构建起完整、易部署、高性能的推理解决方案。

CANN、昇思MindSpore以及训练和推理解决方案的全面跃迁,为生态加速演进奠定了坚实基础。据了解,昇腾迄今已发展20多家硬件合作伙伴、1000多家ISV,并联合推出1600多个行业AI解决方案,开发者数量也突破100万。昇腾AI基础软硬件平台的全方位升级,奏响了人工智能根部进化的最强音,将带动整个AI生态不断向上突破,千行百业的枝头会挂满数字化、智能化的硕果。?

作者关健,《IT创事记》合伙人、主笔:曾任《电脑商报》常务副社长兼执行总编、《中国计算机报》助理总编,媒体从业时间超过10年。

关健长期关注科技产业动态及趋势,与逾百位高科技公司领导者进行过对话,亦在众多科技会议与论坛中担任嘉宾主持。

—— 越看越精彩 ——

【IT创事记】聚焦于企业级科技生态、策略及商业知识。你可以在各主流媒体平台看到IT创事记的同名文字专栏和【IT创事记·短视频】专栏。如果你有相应的内容希望分享,记得在公众号留言告诉我们。

本文参与?腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2022-11-15,如有侵权请联系?cloudcommunity@tencent.com 删除

本文分享自 IT创事记 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与?腾讯云自媒体分享计划? ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
联邦学习
联邦学习(Federated Learning,FELE)是一种打破数据孤岛、释放 AI 应用潜能的分布式机器学习技术,能够让联邦学习各参与方在不披露底层数据和底层数据加密(混淆)形态的前提下,通过交换加密的机器学习中间结果实现联合建模。该产品兼顾AI应用与隐私保护,开放合作,协同性高,充分释放大数据生产力,广泛适用于金融、消费互联网等行业的业务创新场景。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
http://www.vxiaotou.com