借助卷积神经网络和最先进的图像识别技术,老电影经典作品有可能再次闪耀。神经网络可抛光图像、降低噪点,并将颜色应用于老化图像。
第一批电影是在十九世纪末用纤维素摄影胶片与电影摄影机结合拍摄的。
跳到2018年,全球电影业在全球的市值为417亿美元。电影服务于娱乐、文化和社会目的,是一个非常重要的遗产。”这并不总是容易的。特别是考虑到现代电影以数字方式制作和放映的事实,纤维素胶带技术逐渐淡出。
薄膜保护的挑战
包括欧盟委员会在内的许多组织都强调了保护老电影文化遗产的挑战和重要性,它们指出,缺乏适当的设备来播放老化技术,可能使其变得具有历史意义。不可能看老电影。
恢复胶片,第一个挑战是消除扭曲。经典通常以低分辨率录制,而原始磁带明显老化,充满噪音和裂纹。此外,从纤维素胶带到数字格式的过渡过程通常会损坏材料,导致质量损失。
通过使用 AI 驱动的解决方案,特别是监督学习技术,Deepsense.ai 的团队消除了电影数字化版本中的裂纹和黑点。我们制作的模型使用深度神经网络在电影中训练,并手动添加裂缝和缺陷以用于训练目的。有一些电影的原始和破碎的形式,系统学会了消除缺陷。这里显示了波兰经典电影《Rejs》和神经网络输出产生的噪声。
该示例清楚地显示,我们的神经网络可以处理和恢复甚至彻底损坏的源材料,使其再次闪耀。当图像变暗和模糊,以至于人眼几乎无法识别电影中的人时,网络就开始产生低质量的预测。
如何将真正的老电影转换为高清
类似的训练技术被应用来提供一个神经网络,用于提高老电影的质量。目标是提供缺失的细节,并将分辨率从过时质量”提升”到高清质量。
关键的挑战在于再现细节,这几乎是不可能的。由于技术的发展,人们很难观看比他们过去低质量的视频。
通过缩小高清电影的缩放规模,然后进行监督培训来提供缺失的详细信息,对模型进行了培训。
由于培训数据的广泛可用性,该模型的性能良好。该团队可以缩小任何电影的分辨率,为模型提供原始版本,让神经网络学习如何伪造和注入影片中缺失的细节。
关于提供旧电影的高清版本的一个关键误解是,神经网络将发现原始电影中缺失的细节。事实上,没有办法收回丢失的细节,因为最初注册的材料上没有。神经网络在继续使用与本人不存在和类似的生成对抗网络相同的技术时产生它们。
因此,源材料丰富了细节,只类似于现实,但实际上不是真正的但是,当涉及到为娱乐或文化目的提供电影时,这种技巧已经足够了。
着色旧电影
另一个挑战来自制作电影经典电影的彩色版本,在技术上为新观众恢复它们。这个过程由艺术家长期处理,将颜色应用于每一帧。第一部以这种方式着色的电影是英国无声电影《奇迹》(1912年)。
因为有无数的彩色电影,提供了丰富的训练集,深度神经网络可以大大减少恢复黑白经典所需的时间。然而,这个过程并不是完全自动的。事实上,在黑白电影上涂上颜色是一项艰巨的任务。想想迪斯尼的《Tron》,它拍摄于黑白两色,然后由来自台湾库库鸟巢工作室的200名画家和画家拍摄。
在选择颜色时,神经网络往往会安全地播放它。当网络将水误解为草地时,就会出现一个问题。这样做是因为在田野中,与湖泊在电影中作为背景出现相比,它更常见。
通过手动将彩色像素应用于单个帧,艺术家可以建议 AI 模型应选择的颜色。
当一部黑白相间的电影被拍摄时,没有办法确定一条围巾或一件演员所穿的衬衫的真实颜色。经过这些年,这有关系吗？在任何情况下,神经网络都采用 LAB 颜色标准,利用光度 (L) 来预测其余两个通道(分别为 A 和 B)。
转录和人脸识别
最后但并非最不重要的一点,转录对话使分析和研究更容易 – 无论是语言或文化研究的目的。使用面部识别软件,解决方案可以将交付的所有线条归因于正确的字符。
语音到文本功能处理声音并转录对话,而另一个网络检查视频中哪些人移动他或她的嘴唇。与图像识别结合使用时,模型既可以同步字幕,也可以提供说话的角色或演员的姓名。
虽然制作的内容需要监督,但它仍然大大减少了转录所需的时间。在传统方式中,转录只需要至少录制的时间,然后需要验证。机器在几秒钟内抄录一个小时的电影。
总结
使用基于机器学习的技术来恢复电影比其他方法花费更少的时间和精力。它还努力保护文化遗产更加成功,并确保电影仍然具有相关性。商业中的机器学习获得了巨大的认可,但基于 ML 的技术仍然是满足文化和艺术需求的一种新方法。
复兴和数字化经典作品改善了文化商品的获取和可用性,并确保这些作品仍然可用,因此,由于 AI,后代将享受过去学院授予的电影,即使不超过我们现在。