点击右上角微信好友

朋友圈

请使用浏览器分享功能进行分享

正在阅读:国内首个支持千亿参数大模型训练AI计算框架MindSpore 1.2发布
首页> IT频道> 业界 3C > 正文

国内首个支持千亿参数大模型训练AI计算框架MindSpore 1.2发布

来源:中国网科学2021-04-26 18:09

调查问题加载中,请稍候。
若长时间无响应,请刷新本页面

  [中国,深圳,2021年4月26日]华为开发者大会2021(Cloud)期间(简称HDC. Cloud 2021),国内首个支持千亿参数大模型训练的AI计算框架MindSpore 1.2正式发布。最新1.2版本带来了AI框架领域“全自动并行、全场景AI、可解释推荐模型”三大创新,让开发者尽享AI开发。 

国内首个支持千亿参数大模型训练AI计算框架MindSpore 1.2发布

  全自动并行

  在静态图模式下,MindSpore融合了流水线并行、模型并行和数据并行三种并行技术,开发者只需编写单机算法代码,添加少量并行标签,即可实现训练过程的自动切分,使得并行算法性能调优时间从月级降为小时级,同时训练性能相比业界标杆提升40%。

  在动态图模式下,MindSpore独特的函数式微分设计,能从一阶微分轻易地扩展到高阶微分,并进行整图性能优化,大幅提升动态图性能;结合创新的通讯算子融合和多流并行机制,较其它AI框架,MindSpore动态图性能提升60%。

  全场景AI

  MindSpore实现了在云、边、端不同场景下硬件设备的快速应用、高效运行与有效协同。通过全场景AI的能力,Huawei Watch GT的抬腕识别率提升了80%,时延小于5ms,模型小于1KB,大幅提升了用户体验。

  ·在云端:通过自适应模型切分和服务内分布式并行调度技术,可支持超大模型在多张加速卡上的推理部署,且推理性能较目前业界领先的serving服务方式提升30%;

  ·在边缘侧:通过自适应模型压缩技术,将CV类(Computer Vision计算机视觉)模型压缩2/3,推理时间缩短50%,用户侧实测精度损失<1%,能有效解决边缘侧算力瓶颈;

  ·在端侧:模型即代码,将模型编译到代码里,实现了极小的ROM(Read-Only Memory储存内存)占用。同时,通过算子数据重排技术提升端侧Cache命中率,可降低推理时延,解决在超轻量IOT设备进行部署时受设备类型、内存等所限制的难题。

  可解释推荐模型

  MindSpore内置业界首个语义级可解释推荐模型TB-Net,基于原创知识图谱双向传导技术,从知识图谱的海量关系路径中,精准识别影响用户行为的核心特征和关键路径,提供个性化推荐和语义级的解释,可解释性评估指标相比业界模型提升63%。

  自2020年3月开源以来,MindSpore社区拥有逾17万名开发者,软件下载量超过24万,在超过10个行业规模使用。此外,在码云(Gitee)上MindSpore的代码活跃度、影响力、社区活跃度、团队构建、流行趋势综合排名第一。目前,MindSpore已是发展最快的AI开源社区。

  作为华为ICT基础设施业务面向全球开发者的年度盛会,华为开发者大会2021(Cloud)(简称HDC.Cloud 2021)于2021年4月24日-26日在深圳举行。本届大会以#每一个开发者都了不起#为主题,将汇聚业界大咖、华为科学家、顶级技术专家、天才少年和众多开发者,共同探讨和分享云、计算、人工智能等最新ICT技术在行业的深度创新和应用。(张铭阳)

[ 责编:赵艳艳 ]
阅读剩余全文(

相关阅读

您此时的心情

光明云投
新闻表情排行 /
  • 开心
     
    0
  • 难过
     
    0
  • 点赞
     
    0
  • 飘过
     
    0

视觉焦点

  • 习近平同巴西总统卢拉共同签署联合声明

  • 习近平同巴西总统卢拉共见记者

独家策划

推荐阅读
11月12日至13日,浏阳市委常委、组织部部长、市家居建材产业链链长唐安石带队,市人大常委会党组副书记、副主任、市家居建材产业链副链长张葵红,市人民政府党组成员、副市长、市家居建材产业链副链长谢波等同志参加,赴广东省佛山市开展家居建材产业链招商考察活动。
2024-11-15 17:20
2024年11月12日,江苏省苏州市荷塘月色湿地公园内向日葵竞相绽放,吸引众多游客前来观赏,乐享秋日美景
2024-11-13 15:29
2024年11月12日,湖南省怀化市通道侗族自治县双江镇的烂阳村,山林色彩斑斓,红叶似火,黄叶如金,松柏常青,宛如大自然的调色盘
2024-11-13 15:28
南泥湾是中国军垦、农垦事业的发祥地,是“自力更生、艰苦奋斗”创业精神的发源地。
2024-10-27 17:37
延安地区拥有丰富的煤炭资源,在采矿井约40家,年开采量约5000万吨,但煤质坚硬、自动化程度低等难题严重制约着煤炭产业的发展。
2024-10-27 17:18
近日,在陕西延安举行的“弘扬延安精神,奋进伟大时代” 网上主题宣传系列访谈中,洛川青怡庄园生物科技有限公司副总裁肖小杰介绍,他们企业的苹果按个卖,一个可以卖到10元。
2024-10-25 18:49
堆积起来的生菌木材冒着热气儿,菌种生产厂房里机器轰鸣,滑子菇大棚里农民忙着收“金疙瘩”。
2024-10-25 18:43
你以为的农村是雨天泥泞,还是道路整洁?爬高上低,还是风景无限?高家原则将山体沟道治理作为城市有机更新和创建文明典范城市抓手,让山体沟道,环境大改善。
2024-10-24 18:11
近日,在陕西延安举行的“弘扬延安精神,奋进伟大时代” 网上主题宣传系列访谈中,延安大学经济与管理学院副教授、数字经济专业负责人王珊珊介绍,从卖苹果到卖服务,这是数字技术非常好的一个创新,和产业结合的非常有深度。通过消费者与大自然以及果树的亲密视觉接触,可以提升他们的体验感,增加对苹果这种产品的客户粘性和客户忠诚度。
2024-10-24 18:08
当陕北说书遇到延安美食,碰撞出延安独特的人文魅力。
2024-10-24 18:06
激昂的旋律回荡在空气中,豪迈的歌声飞扬于天地间。壮丽的情怀澎湃在心田里,不朽的精神传承于岁月中……
2024-10-24 17:59
小孩哥小孩姐把安塞腰鼓课间操跳得超燃!
2024-10-24 17:59
青山环绕、绿水蜿蜒,这是吴起南沟村给记者们留下的第一印象。谁能想到,这个位于陕西省延安市吴起县的小村庄,曾经风沙肆虐、植被稀疏。经过二十多年艰辛努力,光秃秃的黄土高坡绿意盎然。
2024-10-24 17:50
在宝塔区河庄坪镇政府的扶持下,延安菌舰生物科技有限公司采用“企业+合作社+农民”模式,带动400余人家门口就业,人均增收2000元。食用菌产业的蓬勃发展,不仅为农民带来稳定收入,更为乡村振兴注入活力。点赞延安菌舰,为农民增收,为乡村添彩!
2024-10-24 17:48
10月23日,“弘扬延安精神 奋进伟大时代”网上主题宣传媒体团来到了延安新材料产业园,亲身体验石墨烯发热背心,感受科技的温暖拥抱。
2024-10-24 11:18
近期,延安市薛张小流域水土保持项目碳汇交易成功!这不仅是一次生态保护与经济发展的双赢,更为延安乡村振兴注入了新的活力!
2024-10-24 11:16
10月22日,“弘扬延安精神 奋进伟大时代”网上主题宣传媒体团来到了位于延安市安塞区南沟村的苹果基地,在这里记者们亲身体验苹果采摘,倾听果农的心声。同时,记者团还开展了一场特别的直播带货活动,助力果农销售苹果。此次活动不仅展现了果农的辛勤付出,也让更多人了解到延安苹果的魅力,为乡村振兴贡献了一份力量。
2024-10-24 11:07
10月23日,“弘扬延安精神 奋进伟大时代”网上主题宣传“逐梦之路”媒体采访团走进延安宜川县,追寻“悬崖造林队”的故事。
2024-10-24 10:27
陕北说书最近火爆出圈,董宇辉在直播中表示向往陕北文化,想成为一个陕北说书人。这一段陕北说书,带你行走在延安的绿水青山间。
2024-10-24 10:21
近日,在陕西延安举行的“弘扬延安精神,奋进伟大时代” 网上主题宣传系列访谈中,延安数据(集团)有限责任公司董事长高延宏介绍,延安的地域特点适宜建立算力中心,要把平台搭建好,把更多的企业引到延安,建立归属在延安的算力中心,更好的服务延安、服务陕西。
2024-10-24 10:18
加载更多