点击右上角微信好友

朋友圈

请使用浏览器分享功能进行分享

正在阅读:国内首个支持千亿参数大模型训练AI计算框架MindSpore 1.2发布
首页> IT频道> 业界 3C > 正文

国内首个支持千亿参数大模型训练AI计算框架MindSpore 1.2发布

来源:中国网科学2021-04-26 18:09

调查问题加载中,请稍候。
若长时间无响应,请刷新本页面

  [中国,深圳,2021年4月26日]华为开发者大会2021(Cloud)期间(简称HDC. Cloud 2021),国内首个支持千亿参数大模型训练的AI计算框架MindSpore 1.2正式发布。最新1.2版本带来了AI框架领域“全自动并行、全场景AI、可解释推荐模型”三大创新,让开发者尽享AI开发。 

国内首个支持千亿参数大模型训练AI计算框架MindSpore 1.2发布

  全自动并行

  在静态图模式下,MindSpore融合了流水线并行、模型并行和数据并行三种并行技术,开发者只需编写单机算法代码,添加少量并行标签,即可实现训练过程的自动切分,使得并行算法性能调优时间从月级降为小时级,同时训练性能相比业界标杆提升40%。

  在动态图模式下,MindSpore独特的函数式微分设计,能从一阶微分轻易地扩展到高阶微分,并进行整图性能优化,大幅提升动态图性能;结合创新的通讯算子融合和多流并行机制,较其它AI框架,MindSpore动态图性能提升60%。

  全场景AI

  MindSpore实现了在云、边、端不同场景下硬件设备的快速应用、高效运行与有效协同。通过全场景AI的能力,Huawei Watch GT的抬腕识别率提升了80%,时延小于5ms,模型小于1KB,大幅提升了用户体验。

  ·在云端:通过自适应模型切分和服务内分布式并行调度技术,可支持超大模型在多张加速卡上的推理部署,且推理性能较目前业界领先的serving服务方式提升30%;

  ·在边缘侧:通过自适应模型压缩技术,将CV类(Computer Vision计算机视觉)模型压缩2/3,推理时间缩短50%,用户侧实测精度损失<1%,能有效解决边缘侧算力瓶颈;

  ·在端侧:模型即代码,将模型编译到代码里,实现了极小的ROM(Read-Only Memory储存内存)占用。同时,通过算子数据重排技术提升端侧Cache命中率,可降低推理时延,解决在超轻量IOT设备进行部署时受设备类型、内存等所限制的难题。

  可解释推荐模型

  MindSpore内置业界首个语义级可解释推荐模型TB-Net,基于原创知识图谱双向传导技术,从知识图谱的海量关系路径中,精准识别影响用户行为的核心特征和关键路径,提供个性化推荐和语义级的解释,可解释性评估指标相比业界模型提升63%。

  自2020年3月开源以来,MindSpore社区拥有逾17万名开发者,软件下载量超过24万,在超过10个行业规模使用。此外,在码云(Gitee)上MindSpore的代码活跃度、影响力、社区活跃度、团队构建、流行趋势综合排名第一。目前,MindSpore已是发展最快的AI开源社区。

  作为华为ICT基础设施业务面向全球开发者的年度盛会,华为开发者大会2021(Cloud)(简称HDC.Cloud 2021)于2021年4月24日-26日在深圳举行。本届大会以#每一个开发者都了不起#为主题,将汇聚业界大咖、华为科学家、顶级技术专家、天才少年和众多开发者,共同探讨和分享云、计算、人工智能等最新ICT技术在行业的深度创新和应用。(张铭阳)

[ 责编:赵艳艳 ]
阅读剩余全文(

相关阅读

您此时的心情

光明云投
新闻表情排行 /
  • 开心
     
    0
  • 难过
     
    0
  • 点赞
     
    0
  • 飘过
     
    0

视觉焦点

  • 贵州丹寨:欢乐“非遗周”

独家策划

推荐阅读
5月15日,第七届全国青年科普创新实验暨作品大赛福建赛区复赛、首届福建省青年科普创新实验暨作品大赛在福建省科技馆举行。5月15日,第七届全国青年科普创新实验暨作品大赛福建赛区复赛、首届福建省青年科普创新实验暨作品大赛在福建省科技馆举行。
2021-05-17 10:12
当日,贵州省黔东南苗族侗族自治州丹寨县万达小镇在“第二届中国丹寨非遗周”中举办苗族盛装巡游、非遗歌舞展演活动。当日,贵州省黔东南苗族侗族自治州丹寨县万达小镇在“第二届中国丹寨非遗周”中举办苗族盛装巡游、非遗歌舞展演活动。
2021-05-17 09:40
目前,金沙江白鹤滩水电站建设进入冲刺阶段,库区水位已蓄至752.5米,首批发电机组引水管道已充水,计划5月25日水位蓄至765米;全部16台机组机电安装作业正在有序进行;大坝混凝土浇筑完成785.4万方,24个坝段到顶,计划5月底全部坝段到顶;地下厂房正在进行装修施工。
2021-05-17 09:35
伴随着推土机、挖掘机的轰鸣,16日10时16分,西藏自治区林芝市米林县派镇至墨脱县的派墨公路老虎嘴隧道贯通,比原计划工期提前228天,标志着历时近7年建设的派墨公路全线贯通。
2021-05-17 09:21
“深海一号”能源站是我国自主研发建造的十万吨级深水半潜式生产储油平台,现落位于地处海南岛东南陵水海域的“深海一号”(陵水17-2)气田。“深海一号”能源站是我国自主研发建造的十万吨级深水半潜式生产储油平台,现落位于地处海南岛东南陵水海域的“深海一号”(陵水17-2)气田。
2021-05-17 09:18
市民们参观特种机器人生产企业,领略科技新应用的独特魅力。
2021-05-16 13:49
2021年5月16日,山东省滨州市举办首届渤海职业技能大赛,342名选手参与竞赛。
2021-05-16 12:55
浙江省杭州市临安区天目山镇周云村,滚滚麦浪与青山、农房相映成景。
2021-05-16 00:05
第40届重庆市大学生书画大赛决赛在重庆大学举行,本届大赛共有来自川渝34所高校的150多名高校书画爱好者参加比赛。
2021-05-15 23:40
2021年5月14日,位于山东省日照的长城汽车日照生产基地焊接和组装车间自动化生产线忙生产赶订单。
2021-05-15 16:57
5月7日,首届“自然中国”林业生态摄影研讨会在内蒙古自治区鄂伦春自治旗毕拉河达尔滨湖国家森林公园举办。
2021-05-15 16:47
时下,日照市29万亩茶园迎来大面积采摘期。日照市属暖温带湿润季风气候,既是世界海岸绿茶的优势产区,也是我国纬度最高、面积最大的绿茶生产基地。特殊的地理环境使日照绿茶具有“叶片厚、耐冲泡、黄绿汤、板栗香”的品质特点。
2021-05-14 17:45
5月12日,“中国最美公路”评选和传播活动启动暨“最美公路发现大使”发布仪式在京启动。
2021-05-13 18:59
第三届中国(日照)杜鹃花节上共展出来自德国、荷兰、比利时、日本等10个国家的200多种杜鹃花在这里争奇斗艳,让游客尽享杜鹃花七彩缤纷的视觉盛宴。
2021-05-13 15:18
2021-05-13 10:09
加载更多