影史第一片《火车进站》秒变4K高清 黑白也能变“彩电”

蒋宝尚

这部电影采用35mm格式胶片制作，由于当时的放映机由手摇进行驱动，其原始帧率大概在16帧到24帧之间。

由于当时的胶片技术尚未成熟，我们可以看到画面景物都是比较模糊的，火车在驶来的同时还带有明显的拖影。但经过了神经网络的画面分辨率增强和插帧之后，这部老电影获得了4K~60fps的画质。

GigapixelAI官网截图

《火车进站》这部短片原始原片质量非常模糊，分辨率非常低。Shiryaev使用GigapixelAI渲染后，自己为这部电影加上声音后，观影体验竟然完全符合现在的标准。

根据官网介绍，GigapixelAI软件内嵌专有的插值算法，在分析图像的同时能够识别图像的细节和结构，即使将图像放大600％，它也可以使图像更清晰。值得一提的是，电影中的图像有的是通过GAN生成的。

而这个新的插帧算法DAIN比英伟达的算法效果更清晰、帧率更高，可以把30fps的进一步插帧到480fps。具体到算法层面，研究人员提出了一种通过探索深度信息来检测遮挡的方法。

一个深度感知光流投影层来合成中间流，中间流对较远的对象进行采样。此外，学习分层功能以从相邻像素收集上下文信息。更为具体的如上图所示，整个算法分为光流、深度、上下文特征、插值kernel、框架合成这几个部分。

插值kernel自适应warpinglayer部分，主要思想是通过光流找到像素的新位置后，将其新位置周围4x4范围内与一个特殊的kernel相乘后作为该点的像素值。这个kernel由两部分相乘得出，一部分是我们图像缩放时常用的双线性插值，其中每个位置的权重只与坐标距离有关，另一部分也是一个内插值kernel，是通过网络学习得出的。

开国大典、决胜时刻皆是AI修复

去年是建国70周年，除了气势恢宏的阅兵给人们留下了深刻的印象之外，10月下旬上映的《开国大典》也着实让人感动了一把，这部电影展现了三次战役胜利到开国大典的整个历史过程。

通过AI算法，老胶片存在的收缩、卷曲等问题都可以得到解决，但是胶片的撕裂、划痕等都需要专业的修复师一帧一帧地进行修补。但是胶片的撕裂、划痕等都需要专业的修复师一帧一帧地进行修补。

除了《开国大典》，9月份上映的《决胜时刻》也是采用了AI技术，据电影制片方爆料，这段材料来自于俄罗斯的一段彩色纪录片，但由于年代久远，画质模糊，色彩失真。而经过了复杂的4K修复工作之后，最终呈现出这般极致的画面体验。

另外，《厉害了，我的国》就是中影电影数字制作基地数字修复中心主任肖搏及其团队利用AI修复进行的一次尝试。

为了更顺利地进行修复工作，肖搏团队开发了“中影·神思”人工智能图像处理系统，靠计算机大数据深度学习算法，在四个月内修复增强了30万帧图像。利用“中影·神思”，修复一部电影的时间可以缩短四分之三，成本减少了一半。

每个模块都是由一个或者多个深度学习模型组成。综上所述，利用卷积神经网络和最先进的图像识别技术，让经典老电影重现光彩已经不是遥不可及的事情。与其他方法相比，通过基于深度学习的技术来修复电影可以节省时间和精力。经典电影的修复和数字化也能使人们能够更方便地获得更多文化产品。