ICCV竞赛京东方夺冠，华人论文刷榜CVPR，AI超分算法的高光与阴影

智东西（公众号：zhidxcom）

近日，ICCV2019的图像超分竞赛中，冠军由中国公司夺得。据获奖方京东方称，其自研“图像超分辨率”算法能使图像的分辨率提升至原来的16倍。

“看得更清楚”是人类基本需求之一，致力于“看清”的图像超分辨率（SR，SuperResolution）算法应用场景广泛。

比如，将低清的珍贵老纪录片或受损的经典影片修复，让老游戏告别马赛克迎来“第二春”，帮助警察看清监控影像上的人脸和车牌，使医生看清“X光片”中病人的病灶，等等。

今年国庆节期间刷屏朋友圈的彩色版“开国大典”真实影像和近期上映的《海上钢琴师》4K修复版都用到了这项技术。

▲彩色版“开国大典”真实影像的修复中用到了超分辨率技术

产业上，“超分”商用潮下可谓“全行业总动员”。阿里、腾讯等互联网巨头兴办超分算法挑战赛，华为、小米、vivo等厂商纷纷将超算技术落地在智能手机、智慧屏上，商汤科技、旷视科技等AI创企及京东方等元器件商成为底层超分技术提供者，就连在AI技术上走得相对慢的爱奇艺、优酷等影视平台也推出AI超分算法工具、数据集以支持影视修复和优化。

然而，图像超分算法的高光下也存在阴影的一面。科研“刷榜”背后技术商用难，论文井喷之下灌水多等问题成为横亘在超分研发成果和落地实践之间的沟壑。

超分算法为什么成为各行各业争相抢占的技术点？在互联网公司、手机厂商、AI创企、元器件商等产业玩家及中科院、清华大学、哈工大等学研团队的拥簇下，超分算法技术研发和商用的真相如何？超分算法在技术上是如何将“马赛克”变为清晰图像的？本文将带你一览产业和学界投射在超分辨率图像技术上的高光和其背后的阴影。

一、超分算法影响影视修复、消费电子、安防等行业

▲彩色版“开国大典”真实影像的修复中用到了超分辨率技术

11月15日，经典影片《海上钢琴师》的4K修复版在国内重映，该片经过物理修复、数字修复、艺术修复三大步骤将35毫米的胶片修复成4096×3112分辨率。时隔20年，广大影迷有了为“自由的灵魂”补票的机会，而这也大大得益于“超分算法”技术。

▲《海上钢琴师》4K修复版近期上映

我国从2007年开启电影修复工程，近年来利用超分算法等AI技术修复影视掀起一阵热潮。这让许多经典影视重新吸了一波粉，也使一些网友发现了一些之前没有注意到的惊喜细节。

▲网友发现了一些之前没有注意到的惊喜细节

除了影视修复行业，超分技术也被用到了智能手机、智慧屏等终端设备。

早在2017年，华为Mate10就能将微信朋友圈压缩过的照片进行超分辨率恢复，从而使用户查看的朋友圈照片要比其它手机更清晰。

▲超分算法可以应用在安防场景中

除此之外，超分算法还在卫星图像、医学图像等领域有一些应用。例如，医生可以通过超分辨率技术得到更清晰的病灶图像，进而更快速准确地诊断病症，等等。

从信息传输角度，超分算法有助于在高速度低消耗的条件下便捷地获取图像信息；从影视体验角度，在超清内容稀缺的情况下，超分算法使观众仍能享受4K甚至是8K的绝佳观感体验。

二、主要玩家动态：学界踊跃，各行各业总动员

2016年10月，谷歌“RAISR”超分算法横空降世。这项技术能够在节省75%带宽情况下使分辨率超过原图效果，同时将处理速度提升10到100倍。不久后，RAISR成为超分算法领域的行业标杆。

▲RAISR演算法运行图式下：原始图像（左），2倍双三解析（中），RAISR效果（右）

除了谷歌，美国社交网站巨头Facebook、英伟达等芯片大厂、Adobe等图像软件巨头也在超分辨率技术上有着斐然成果，已将超分技术应用于修复老游戏、遥感优化、一键P图等场景。

虽然超分算法兴起于国外，国产却呈现出后来居上的趋势，这在学术界格外明显。

1、学术成果井喷，互联网巨头造势

据统计，计算机视觉领域三大顶会之一CVPR2019收录“超分”主题的论文18篇，从一作的名字来看，18篇中只有2篇不是华人一作。哈工大的应对任意模糊核的即插即用深度超分辨率、旷视科技的Meta-SR、清华大学的二阶注意力网络方法等都是具有代表性的成果。

不仅国内研发成果在“超分”这一经典研计算机视觉究领域大放异彩，产业中的各路玩家也将超分算法作为AI技术的焦点和产业赋能的利器。

首先是互联网巨头，它们凭借资本和人才的金矿以及一呼百应的行业影响力，一边自研算法参与论文刷榜，一边办会、开放平台为“超分”造势、铺路。

那边，腾讯优图也在CVPR2018、ICCV2019等多场国际大会上发布《FSRNet:基于先验信息的端到端训练的人脸超分辨率网络》、《基于属性自光流域的非监督图像转换算法》等多篇论文自证研发实力。

早在2017年，腾讯就将其超分算法TSR应用于腾讯QQ空间适应手机处理速度，据称能为用户节省3/4流量。近日，腾讯科技配合深圳市科创委、鹏城实验室等单位举办全国人工智能大赛，直指超分技术的“AI+4KHDR”大赛成为两大赛项之一，奖金池达268万，成为今年国内奖金额最高的人工智能赛事。

互联网大咖办挑战赛、提供算法平台、开放数据包将为学界的“超分”研究提供强大的助力，不得不承认，资本对超分算法十分看好，商用化、生态化之心按捺不住。

2、手机厂商打头阵，智能终端成练兵场

▲HiSR算法提升的效果对比图。

今年9月，荣耀在9XPRO中使用超能算法进行“超分辨率重建+AlHDR优化”，官方称拍照画面清晰度能提升10％至20％。除此之外，华为今年8月推出的智慧屏也采用超分算法，使得原本清晰度不够完美的影视图像变得更加清晰。

不约而同地，小米也在今年1月开源了“小而美”的FALSR超分算法，该算法以快速、精确、轻量级为特异性，具有很强的实用性。

近期，小米发布了1亿像素手机，据称这颗相机单单在算法这一个方向，就有超过1000人的研发人员，相当于一个中小型公司的总人数。

除了华为、小米，vivo也没有在这场超分之战中落后。2018年12月，搭载了商汤AI超分技术的vivoX23幻彩版推出，被认为是基于深度学习算法的超分辨率技术在国内手机上的首次落地。

据称，使用vivoX23幻彩版拍照，照片在放大后远景细节也能真实呈现，可供用户用于局部裁剪、大画幅打印或者在其它高分辨率设备上查看。

3、AI创企的机会来了

“超分”潮为AI创企带来了千载难逢的机会。拿商汤科技来说，该公司自称最早于2014年在ECCV（欧洲计算机视觉大会）提出了基于深度学习的超分辨率算法，2018年底终于在第四个年头落地vivoX23。

除了商汤科技，旷视科技也将超分算法视为必争之地。2019年3月，旷视提出超分辨率新方法Meta-SR，据称可通过单一模型解决超分辨率的任意缩放因子问题。

三、超分辨率算法技术原理：神经网络支持，九大技术流派

从方法差异的角度来看，超分辨率重建技术可以分为基于插值的重建、基于重构的重建和基于学习的超分辨率重建。

▲图像超分辨率三大方法

通俗地讲，机器学习就是让机器根据海量数据分析出一个模型，以此来表示事物的规律。深度学习就是机器学习的一个分支，是利用人工神经网络模型进行机器学习的方法。

人工神经网络包含多个带有不同模型的处理节点（模拟脑神经元），节点间具有连接关系，综合成一个模型（函数）。假设深度学习需要处理的数据是水流，而处理图像数据的神经网络就是一个由众多管道和阀门组成的水管网络。

然后，将P3与P1进行比较，根据对比P3和P1的相似度来调节深度学习网络模型，就像调节多个“水龙头”一样；

▲超分模型训练示意图

在这个过程中，调节深度学习网络模型涉及多个节点的调参，就像需要调节水流系统的成千上万个“水龙头”一样。这对人来说是一个几乎不可能完成的工作，但对于计算机来说，暴力的计算加上算法的优化，能够很快地给出解决方案。

目前深度学习超分算法的技术流派较多，业内人士认为，主要的热点则聚焦在深广探索、结构探索、内容损失、对抗神经网络、PixelCNN等领域。

▲也有学者将单图像深度学习超分辨方法分成9大类

四、超分算法技术与落地存在的问题：技术商用刚起步，论文易灌水

虽然产业、资本、学界都通过行动支持超分算法的应用落地，并积极推动其在安防、智能终端、影视修复等领域的商业化，但超分算法目前在工业上的应用也只是刚刚走出实验室。

由于工业应用场景十分苛刻，目前超分算法的应用仍然比较困难。工业界要求模型性能稳定、算法可控，以安防监控为例，如果有5%的概率生成离谱的高清化人脸、车牌，都不太适合被实际应用。据业内人士爆料，安防巨头大华公司就曾推进过超清算法的研发和商业化，但因为监控场景的落地困难而杳无音信了。

而超分算法在相对比较容易切入的智能手机领域，也只有vivoX23，小米CC9Pro、荣耀9XPRO等终端应用了超分算法。目前，华为、小米等手机大厂，商汤、旷视等AI创企的主要动作还更多停留在研发、刷榜、模型开源上。

阿里、腾讯甚至是地方政府机关也着手推进超分技术的竞赛，同时为研发者铺平台、提供数据集，一方面是看中了超分算法这一领域的巨大应用潜力；另一方面也体现超分技术的现有能效难以满足商业应用需求。

除了在商业应用上，超分算法在研发进展上也存在一些问题。论文数量攀升与论文实质性创新减缓的落差、模型高分与商用价值低的矛盾长期存在。不过。也有一些研究通过优化数据集等方法着手特定应用场景的超分算法研究，比如今年涌现出来的3D对象表面SR、高光谱图像SR等等。

结语：超分技术成新焦点，但商业化存阻碍

近来，超分算法在学界和产业界引发一阵热潮和共振，成为是深度学习图像算法落地应用的典型之一。

一方面，在ICCV、CVPR等国际计算机视觉顶会上超分相关论文量攀升，华人在其中的贡献占据大半壁江山；另一方面，在产业中，互联网巨头、AI创业、手机厂商、元器件商甚至是影视媒体平台都在积极发展超分算法，可谓“全行业总动员”。

但目前，超分算法领域仍然存在研发灌水多、技术难以商用等问题。“罗马不是一日建成的”，自AlphaGo打败围棋冠军李世石以来，深度学习技术启封并被应用也不过几年时间。未来，超分算法需要更多地结合已知场景、目标、传感器等先验知识，形成有针对性的结合应用场景的应用工具。