正在阅读: 腾讯优图低光照图像增强算法:挑战谷歌与苹果结果如何
首页> IT频道> 业界 3C > 正文

腾讯优图低光照图像增强算法:挑战谷歌与苹果结果如何

来源:经济日报-中国经济网2019-04-28 11:14

调查问题加载中,请稍候。
若长时间无响应,请刷新本页面

  互联网时代,照片是人们交流和表达的重要方式之一,人们往往喜欢通过照片分享自己的所见所闻,然而很多时候,受低光照或背光环境影响,拍摄到的照片经常会产生欠曝光的现象,常常导致拍了很多照片,却难以挑选出能拿得出手的。近期,腾讯优图实验室提出的“低光照图像增强算法”,则有望解决这一痛点。

  各大厂商纷纷推出夜拍神器,夜拍痛点仍难除

  近几年,各大手机厂商纷纷推出各种“夜拍神器”,企图抓住该细分市场,在智能手机的红海市场分一杯羹。

  2018年11月,谷歌推出新的Pixel智能手机,同时宣布推出全新相机模式Night Sight。谷歌宣称,使用Night Sight拍摄的照片比使用标准相机模式拍摄的照片要精准得多。然而,Night Sight拍摄照片所需的时间取决于场景和可用光线,通常需要一两秒钟才能让手机启动该模式工作。同时该模式可以使用的前期是仍需要一些光才能工作,如果在非常黑暗的环境中拍摄照片时,会得到一个像素混乱的结果。换句话说,这不是真正的暗光拍摄。

  不到半年,在华为P30发布会上,华为消费者业务CEO余承东重点介绍了P30在拍照和摄像能力的提升,在夜拍上余承东调侃称“三星的Galaxy拍不到银行,但P30可以”。其现场展示的P30拍摄的银河照片,也似有与拍摄“火星”的Pixel叫板之意。不过P30有个前提是拍摄场景不能有太大的亮暗差,这样相机会避免过曝而导致暗处一团黑。

  一度风靡全球的街机iPhone,因夜拍效果差长期受消费者诟病,最新一代的iPhoneX虽然宣称在夜拍能力上增强不少,但仍有用户吐槽夜拍照片局部放大后,由于过度曝光噪点很多。

  目前,业内有三种传统夜景图像增强算法。直方图均衡化(Histogram equalization),这种方法简单的利用了图像整体的统计性质,通常不能对复杂场景达到理想效果。基于Retinex理论的增强算法,通常只能用单通道进行光照优化,颜色无法很好地回复,在光照复杂的情况下还容易出现过曝的现象。这些传统方法还容易在增加图像亮度的同时,放大噪声等瑕疵,影响图像质量。而基于深度学习的方法,通常是输入图像到标注图像之间直接训练回归(regression)模型,由于数据本身的特性,这种方法得到的结果通常清晰度、对比度比较低,而且会有一些人工痕迹。

  技术揭秘:低光照图像增强,腾讯优图的“炫”科技

  来自腾讯优图的研究员介绍说,该算法全称为“基于深度学习优化光照的暗光下的图像增强”,通俗理解,是可以在移动端实时实现比美Adobe Lightroom专业调光效果的高端算法。已经被计算机视觉国际顶级会议CVPR2019收录。

  在应用了腾讯优图低光照图像增强算法后,原本黑乎乎的图片立马变得明亮清晰、色泽丰满起来,其效果比起国际大牌的商业软件也丝毫不逊,甚至更佳。

  图1a:拍摄的欠曝光照片图1b:iPhoneX处理结果

  图1c:Adobe Lightroom处理结果图1d:腾讯优图算法处理结果

  腾讯优图对传统夜景图像增强算法进行了分析,发现直方图均衡化对复杂场景不理想; Retinex算法,颜色无法很好地恢复,光照复杂还容易过曝;深度学习的直接训练回归模型,清晰度、对比度较低,且有人工痕迹。

  传统办法的欠缺,都在于过度重视“优化图片”,依靠各种技术指标,缺乏对“人”之体验的终极关注。腾讯优图创新算法,在网络中引入中间照明,将输入与预期的增强结果相关联,增强了网络从专家修饰的输入/输出图像学习复杂的摄影调整的能力。通俗理解,就是引入了专业美术人员优化后的照片与原始照片对比,由机器自动学习,模拟出人类的智慧。腾讯优图引入了3000组原始图片和专业美工调节后的图像,并训练网络有效地学习各种照明条件的丰富多样的调整。

  在网络结构的设计方面,该算法也采用创新的双分支的网络结构。网络分成了全分辨率分支和低分辨率分支。其中低分辨率分支用于学习到全图光照的整体信息,低分辨率图像的使用,有助于增大网络感受野,提高算法速度。低分辨率分支的结果将会传递给高分辨率网络分支,用于重建全分辨率下的亮度图,并最终得到增强后的图像。此外,新的损失函数也进一步帮助网络结构产生更加稳定、清晰、颜色真实鲜艳的结果。因此,腾讯优图的低光照图像增强算法,在增强结果中恢复清晰的细节,鲜明的对比度和自然色彩。

  计算机视觉AI算法,不止是手机摄影

  实验室的创新算法,目前可以用于哪些场景呢?腾讯优图的算法研究员介绍,手机摄影或手机拍照效果优化,依然是最重要的应用场景。该算法与手机硬件的结合,有望在夜景拍摄上取得进一步的突破,给消费者带来更好的夜拍体验。

  自2012年开始,腾讯优图已在全球赢得就近700项专利,并多次刷新FDDB、MegaFace等多项国际顶级评测世界记录。这些在人脸识别、图像识别领域的科研探索,不但应用于美化图片,还被广泛应用于交通、医疗影像、自动驾驶、金融、社交、娱乐、零售等多个行业领域。

  例如,基于腾讯优图AI算法研发的肺癌、宫颈癌及糖尿病视网膜病变筛查技术已经通过腾讯觅影平台上线,并逐步落地到全国多家医院。

[ 责编:赵艳艳 ]
阅读剩余全文(

相关阅读

您此时的心情

新闻表情排行 /
  • 开心
     
    0
  • 难过
     
    0
  • 点赞
     
    0
  • 飘过
     
    0

视觉焦点

  • 透视中国经济“半年考”答卷

  • 西藏扎什伦布寺举行展佛活动

独家策划

推荐阅读
当日,在西安当代美术馆举行的昆虫展上,种类丰富的蝴蝶与广大参观者亲密接触。新华社记者 李一博 摄  7月14日,一位小朋友在观察一只蝴蝶。新华社记者 李一博 摄  7月14日,一只蝴蝶停在一位小朋友的衣服上。
2019-07-16 13:08
7月14日,在西班牙巴伦西亚,人们在街边餐厅吃饭聊天。时值盛夏,游客纷纷来到这里度假,与当地居民一起享受悠闲夏日。时值盛夏,游客纷纷来到这里度假,与当地居民一起享受悠闲夏日。
2019-07-16 10:50
7月15日,一只水鸟在唐山市南湖公园的荷塘抓鱼。近日,大批水鸟飞临河北省唐山市南湖公园,在荷花绽放的湖面上飞舞嬉戏,形成一道靓丽的风景线。近日,大批水鸟飞临河北省唐山市南湖公园,在荷花绽放的湖面上飞舞嬉戏,形成一道靓丽的风景线。
2019-07-16 10:44
电动方程式锦标赛在纽约落幕 冠军庆祝胜利
2019-07-16 10:40
夏日的甘肃陇南市宕昌县草原上,天空似一个巨型穹庐,笼罩四野。赵鹏 摄  夏日的甘肃宕昌草原天蓝草绿。
2019-07-16 10:33
7月14日,在法国巴黎,庆祝国庆日的烟花在埃菲尔铁塔附近绽放。7月14日,在法国巴黎,庆祝国庆日的烟花在埃菲尔铁塔附近绽放。7月14日,在法国巴黎,庆祝国庆日的烟花在埃菲尔铁塔附近绽放。
2019-07-16 09:49
冯德莱恩宣布辞去德国防长职务 德国国防部长乌尔苏拉·冯德莱恩7月15日宣布辞去防长一职。欧洲理事会本月2日决定提名冯德莱恩担任下届欧盟委员会主席。欧洲议会将于16日对提名投票表决,冯德莱恩需获得欧洲议会半数以上议员支持才能当选。
2019-07-16 09:38
7月15日,济南野生动物世界的大熊猫“二喜”在享用园区工作人员为它准备的包裹着冰块的水果。新华社记者 王凯 摄  7月15日,济南野生动物世界的大熊猫“二喜”在享用园区工作人员为它准备的包裹着冰块的水果。
2019-07-16 09:01
7月15日上午8时许拍摄的汉口水文站水位标尺。受上游持续降雨影响,长江干流湖北段水位持续上涨。7月15日14时,长江汉口水文站水位达到26.09米,超过设防水位(25米)1.09米。受上游持续降雨影响,长江干流湖北段水位持续上涨。
2019-07-16 08:51
当日开始,西藏日喀则扎什伦布寺举行连续三天的展佛活动。天展出高40米、长38米的无量光佛巨幅唐卡佛像。新华社记者 觉果 摄  7月15日,日喀则扎什伦布寺展出无量光佛巨幅唐卡佛像。
2019-07-16 08:46
7月14日,在湖南省永州市冷水滩区杨家桥街道伍家院社区,志愿者唐新林(前)与唐满园(后)在被洪水淹没的道路上划船巡逻。 新华社发(陈思汗摄)  7月14日,永州市零陵区柳子街社区发生内涝,唐善保从自己被淹没的家中搬出纯净水准备分发给附近居民。
2019-07-16 08:18
新华社记者 王凯 摄  这是7月14日拍摄的济南大明湖内盛开的荷花。新华社记者 王凯 摄  这是7月14日拍摄的济南大明湖内的荷花。新华社记者 王凯 摄  这是7月14日拍摄的济南大明湖内的荷花。
2019-07-15 16:57
进入夏季,作为边城乌鲁木齐“新十景”之一的亚洲大陆地理中心游客络绎不绝。亚洲大陆地理中心(东经87度19分52秒,北纬43度40分37秒)位于新疆乌鲁木齐市乌鲁木齐县永丰镇永新村,是由中国地理科学工作者于1992年7月经过科学测算确定的地理位置。
2019-07-15 16:56
7月13日,亚投行行长金立群(右二)、中国财政部部长刘昆(右一)和卢森堡财政大臣皮埃尔·格拉梅尼亚(左二)在亚投行理事会主席及年会举办地交接仪式上合影。
2019-07-15 15:28
7月15日,青海代表团选手表演马上技巧。当日,在内蒙古呼和浩特市举办的第十一届全国少数民族传统体育运动会马上项目进入第四个比赛日。当日,在内蒙古呼和浩特市举办的第十一届全国少数民族传统体育运动会马上项目进入第四个比赛日。
2019-07-15 16:52
加载更多