点击右上角微信好友

朋友圈

请使用浏览器分享功能进行分享

正在阅读:AI进化必须修复“注意力Bug”
首页> IT频道> IT时评 > 正文

AI进化必须修复“注意力Bug”

来源:科技日报2020-08-21 16:54

调查问题加载中,请稍候。
若长时间无响应,请刷新本页面

  在未经充分训练的情况下,让AI关注人是容易的,但关注某个特定的人是困难的。

  在美剧《西部世界》中,AI主人公觉醒,并意识到这个世界是人类杀伐决断的乐园,于是开启了反抗之路;电影《黑客帝国》中,AI将人类豢养起来,控制了整个世界……那么在科幻世界中拥有了意识的AI,在未来生活中能否实现?

  日前,在2020年国际学习表征会议(ICLR)上,图灵奖得主、蒙特利尔学习算法研究所主任约书亚·本吉奥(Yoshua Bengio)对AI的未来提供了最新见解。他认为未来机器学习完全有可能超越无意识,向全意识迈进。而注意力机制正是实现这一过程的关键要素。

  人类的注意力机制和人工智能的注意力机制是否一样?现在应用于人工智能的注意力机制还要解决哪些bug,才能让AI真正具备注意力?就此,科技日报记者采访了有关专家。

  目的在于减少对无用线索的关注

  什么是注意力机制?“注意力机制来源于人类的视觉注意力,即人类在进化过程中形成的一种处理视觉信息的机制。”中国科学院自动化研究所研究员张兆翔说。

  张兆翔解释,人类视觉系统以大约每秒8.96兆比特的速度接收外部视觉信息,虽然人脑的计算能力和存储能力都非常有限,但却能有效的从纷繁芜杂的外部世界中有选择地处理重要的内容,在这个过程中选择性视觉注意发挥了重要的作用。如我们在看一个画面时,会有一处特别显眼的场景率先吸引我们的注意力,这是因为大脑对这类东西很敏感。

  视觉注意机制的理论研究自20世纪80年代以来一直是神经科学和认知科学的热点研究问题,目前研究者们一般按照两类标准对注意机制进行分类。“从注意产生的方向划分为:自下而上数据驱动的注意、自上而下任务驱动的注意、两者结合共同产生的注意;从关注的对象划分为:基于空间的注意、基于特征的注意、基于对象的注意。”中国科学院自动化研究所副研究员王威介绍说。

  “而对于人工智能来说,注意力机制是机器学习中的一种数据处理方法,广泛应用在自然语言处理、图像识别及语音识别等各种不同类型的机器学习任务中,其主要功能是减少对无用线索的关注。”福州大学数学与计算机科学学院、福建省新媒体行业技术开发基地副主任柯逍博士说。

  厦门大学科技处副处长、人工智能系教授纪荣嵘认为,从本质上说,注意力机制是一个特征信息评估和筛选的过程。

  一般认为,深度学习中的注意力机制最早是约书亚·本吉奥等人在2014年提出的软注意力机制。基于约书亚·本吉奥的这套理论后续又发展出了多步注意力机制、跨模态交互注意力以及时下非常火热的Transformer网络中的自注意力机制。

  “目前研究的AI注意力机制各有各的特点,但总的来说就是构建输入与输出,或者构建输入数据在不同层面上的关联关系,从而达到重点突出部分区域或者数据间的部分关系,提升任务性能。”张兆翔说。

  未经训练难以注意新鲜事物

  最近几年,注意力机制已被应用到了人工智能的许多细分领域中。“人工智能是可以被设计出不同程度的注意力的。当需要不同程度的注意力时,我们可以设计多个注意力网络。”柯逍说。

  据了解,从2016年开始,谷歌的翻译系统就已经使用了注意力机制来提升翻译质量。在文本问答、对话系统、知识图谱抽取等自然语言处理任务中,注意力机制基本成为了模型标配。在计算机视觉中,注意力机制的使用也成为了一种趋势,包括细粒度检索、图像分类、行人重识别等在内的多个研究任务中都有使用注意力机制的视觉模型。

  既然说注意力机制来源于人类的视觉注意力,那么人类的注意力机制和人工智能的注意力机制是否一样?

  柯逍认为,人工智能的注意力在一定程度上是人类视觉注意力机制的仿生,在功能上两者是近似的,但实际上有很大的不同。

  “从过程上来看是非常相似的,都是在给定任务(查询)内容时,帮助人(或模型)去关注最相关的数据信息。” 纪荣嵘举例说,如在被问及“桌子上有什么东西?”的时候,人类就会聚焦到桌子的区域。同样,在视觉问答任务中,人工智能模型也会聚焦到包含有桌子的视觉区域,然后回答“有什么”。

  纪荣嵘指出,从原理来说,人工智能的注意力机制主要是通过计算查询信息与给定特征的语义关联程度,来获得模型的注意力分布,而人类的认知系统则可能会更加复杂。

  “人工智能运用注意力的过程实际上是一个记忆查询的过程,它很快很精确,但无法发现异常。”柯逍举例说,如让AI的注意力多次从同一张图片上获取关注区域信息,结果永远是一样的;但如果让人类来做这个事,人类看第一次的时候会关注自己感兴趣的区域,但随着观察图片次数增加,人类可能会关注这张图片的其他区域。

  柯逍指出,此外人类的注意力很容易就可以做到去关注某个特定的事物,比如人群中的某个人,但是AI注意力没办法在未经充分训练的情况下做这件事,让AI关注人是容易的,但关注某个特定的人是困难的。另外还有一点最大的差别是人类注意力会关注从未见过的新鲜事,而AI注意力机制不会。

  与人类注意力相比差距明显

  据了解,认知神经科学对意识的定义是“对一个人内在思想的感知,或者是对外部事物或内在事物的察觉”。意识形成的过程是一个信息不断筛选、处理以及演化的过程。

  “约书亚·本吉奥在2017年的时候曾尝试用机器学习的方法来证明这个理论,其中一个关键环节就是使用注意力机制去选择‘意识状态’。所以,从信息提炼的角度来说,注意力机制对形成机器意识是非常重要的。”纪荣嵘说。

  类比人类思维,AI注意力机制靠直觉还是靠推理?

  “目前来说,人工智能的注意力机制更接近直觉。”柯逍说,大部分注意力机制,是在训练过程中重复告诉AI应该注意哪些地方,哪些东西是有关联的。如在训练AI的时候,不断让AI学习关注猫在河边吃鱼的区域,AI再看到有猫特征和鱼特征的图片时,就会关注猫和鱼区域,而不会看到猫,看到河推理出可能有鱼,然后再去找鱼,再关注鱼的区域。

  “近期的注意力模型研究也有倾向于对推理能力的提升。”纪荣嵘举例说,如近年热门的Transformer模型就利用了多层的注意力网络来不断提炼和处理输入的信息。在这一过程中,每一层的注意力结果都是在变化,从某种程度来说,可以认为模型是在推理。

  现在应用于人工智能的注意力机制还要解决哪些问题,才能让AI真正具备注意力?

  “首先需要增加模型的知识储备。当模型有充足的知识后,才知道哪些信息需要去关注,例如,模型如果没见过飞机的话,就不能很好地执行关于飞机描述的查询。”纪荣嵘说,另外还需要对注意力模型的结构进行改进,提升模型的推理能力,这样模型才能够在复杂的语境下运用注意力完成复杂操作。

  柯逍认为,就目前来说,AI注意力和真正的人类注意力距离仍然很遥远。谢开飞 通 讯 员 许晓凤 王忆希

[ 责编:赵艳艳 ]
阅读剩余全文(

相关阅读

您此时的心情

光明云投
新闻表情排行 /
  • 开心
     
    0
  • 难过
     
    0
  • 点赞
     
    0
  • 飘过
     
    0

视觉焦点

  • 河北遵化:京秦高速遵秦段抓紧施工赶进度

  • 山东邹平:黄河沿岸金秋时节迎丰收

独家策划

推荐阅读
9月21日,云南省瑞丽市弄莫湖公园内空无一人。受近期疫情影响,瑞丽市内多个公园难觅人影。
2020-09-21 14:17
9月20日,北京冬奥会倒计时500天长城文化活动在八达岭长城举办。9月22日是北京冬奥会倒计时500天,这意味着筹办工作全面进入测试就绪阶段,所有竞赛场馆将于今年内完工,符合测试要求,各项计划完善定型,将进入实战演练的关键时期。
2020-09-21 14:16
9月20日,行人从北京市东城区东四九条胡同东口新建成的停车场边走过。走进东四九条,路面宽敞、通畅、整洁,满眼的绿色植物,使青砖灰瓦的胡同恢复了老北京的生活气息。走进东四九条,路面宽敞、通畅、整洁,满眼的绿色植物,使青砖灰瓦的胡同恢复了老北京的生活气息。
2020-09-21 10:04
比利时国家公共卫生研究所20日发布的新冠疫情数据显示,该国累计确诊病例超10万例,达100748例,累计死亡病例9944例。比利时国家公共卫生研究所20日发布的新冠疫情数据显示,该国累计确诊病例超10万例,达100748例,累计死亡病例9944例。
2020-09-21 10:01
9月20日,华山西峰笼罩在云雾中(无人机照片)。秋雨中的西岳华山,云雾缭绕,山峰若隐若现,宛若仙境。秋雨中的西岳华山,云雾缭绕,山峰若隐若现,宛若仙境。秋雨中的西岳华山,云雾缭绕,山峰若隐若现,宛若仙境。
2020-09-21 10:00
这是9月20日在罗马尼亚首都布加勒斯特拍摄的庆祝建城561周年的灯光秀。罗马尼亚首都布加勒斯特当日举行灯光秀庆祝建城561周年,并以此传递在疫情下保持团结、心怀希望的信念。罗马尼亚首都布加勒斯特当日举行灯光秀庆祝建城561周年,并以此传递在疫情下保持团结、心怀希望的信念。
2020-09-21 09:54
近日,位于月亮山区的贵州省从江县加榜梯田种植的水稻迎来收获季节,当地农民抓住秋雨停歇时机收割、搬运、晾晒稻谷。近日,位于月亮山区的贵州省从江县加榜梯田种植的水稻迎来收获季节,当地农民抓住秋雨停歇时机收割、搬运、晾晒稻谷。
2020-09-20 10:32
近日,江苏连云港盐田秋季扒盐全面开始,工人们利用晴好天气加紧作业,收获原盐。近日,江苏连云港盐田秋季扒盐全面开始,工人们利用晴好天气加紧作业,收获原盐。近日,江苏连云港盐田秋季扒盐全面开始,工人们利用晴好天气加紧作业,收获原盐。
2020-09-20 10:10
9月19日,在日兰高铁曲阜至菏泽段梁济运河特大桥,中铁一局的施工人员在进行合龙作业。由中铁一局承建的日(照)兰(考)高速铁路曲阜至菏泽段控制性工程、主跨180米连续梁拱桥经过连夜施工,于9月20日凌晨成功合龙。
2020-09-20 09:58
2020-09-19 22:04
这是青海省海南藏族自治州共和县塔拉滩的光伏发电基地(8月5日摄,无人机照片)。新华社记者 邢广利 摄  羊群在青海省海南藏族自治州共和县塔拉滩的光伏发电基地休憩(8月5日摄)。新华社记者 邢广利 摄
2020-09-19 10:28
世界卫生组织9月18日公布的最新数据显示,全球累计新冠确诊病例超3000万例,达到30055710例。世界卫生组织9月18日公布的最新数据显示,全球累计新冠确诊病例超3000万例,达到30055710例。
2020-09-19 10:27
这是9月18日在奥地利维也纳拍摄的2020维也纳美泉宫夏夜音乐会现场。夏夜音乐会是维也纳每年夏季的一大文化盛事,今年由于新冠疫情的防疫措施,音乐会现场观众人数被大规模限制。夏夜音乐会是维也纳每年夏季的一大文化盛事,今年由于新冠疫情的防疫措施,音乐会现场观众人数被大规模限制。
2020-09-19 09:55
9月18日,在香港海洋公园,工作人员(左)在服务游客。新华社记者 周锦铭 摄  9月18日,在香港海洋公园,游客和园内演艺人员合影。
2020-09-19 09:44
9月18日拍摄的“放歌长白山”庆祝活动现场。当日,“放歌长白山”——长白山自然保护区建区60周年庆祝活动在长白山池北区举行。当日,“放歌长白山”——长白山自然保护区建区60周年庆祝活动在长白山池北区举行。
2020-09-19 09:38
9月18日,在以色列中部城市特拉维夫,一名警察在一处检查点执行“封城”任务。以色列总理府和卫生部18日发布联合声明宣布,全国范围内的“封城”措施于14时生效。这是以色列继今年3月至5月实施全国“封城”后再度实施这一措施。
2020-09-19 09:14
照片显示的是考古学家在沙特北部泰布克地区发现的距今12万多年前的古代人类脚印。沙特阿拉伯文化部遗产委员会16日宣布,考古学家在沙特北部泰布克地区发现12万多年前的古代人类和动物足迹,是迄今在阿拉伯半岛上发现的最古老的人类生命证据。
2020-09-18 09:45
9月17日,在加拿大多伦多,一名戴防护面罩和口罩的乘客登上一辆公交车。加拿大累计新冠确诊病例升至140539例,累计死亡9199例。9月17日,在加拿大多伦多一处新冠病毒检测中心外,一名身穿防护服的安保人员为排队等候检测的人消毒手部。
2020-09-18 09:44
加载更多