开启左侧

人工智能AI视频修复技术,带回《乱世佳人》高清版斯嘉丽

[复制链接]
专业生产车灯 发表于 2022-6-11 21:04:31 | 显示全部楼层 |阅读模式 打印 上一主题 下一主题
“CVer”,挑选减"星标"或“置顶”

重磅干货,第一工夫投递

本文转载自:读芯术

操纵卷积神经收集战开始进的图象辨认手艺,典范老视频将有能够重现光荣。神经收集能够劣化图象量量,削减视频噪声,并为老化图象上色。

《浊世才子》剧照 滥觞:谷歌

汗青上第一部视频降生于19世纪早期,正在视频开麦拉上利用赛璐珞胶片拍摄而成。

工夫去到2022年,环球视频市场产值已下达417亿美圆。视频具有文娱性、文明性战社会性,是一项相当主要的文明遗产,值得人类庇护。但庇护历程并出有那末简朴。那次要是由于今世视频皆是经由过程数码手艺建造战放映,胶片手艺早已过期。

视频庇护面对的应战

包罗欧洲委员会正在内乱的很多构造皆曾夸大庇护老视频文明遗产所面对的应战和庇护的主要性。欧洲委员会指出,假如出有适宜的播放装备,人们能够没法寓目老视频。

建复胶片的第一个应战是消弭得实。典范视频凡是以低分辩率拍摄,因为本初胶带明显老化,内里布满了噪声战裂纹。别的,将胶片转化为数字格局的历程凡是会破坏胶片并招致绘量受益。

深感(deepsense)野生智能团队经由过程接纳野生智能驱动的处理计划,特别是监视进修法,胜利将数字化版本视频中的裂痕战斑点移除。他们建造的模子利用深度神经收集,为锻炼该模子,他们脚动正在胶片上增加裂纹战瑕疵。正在把握了一些本初的、有残破的胶片以后,该模子教会了怎样消弭瑕疵。闭于视频噪声,典范波兰视频《巡航》(Rejs)是一个例子。

理解神经收集对噪声阐扬的感化:https://www.facebook.com/watch/?v=355199718485959

那个例子分明表白,即便是完全破坏的本初胶片,神经收集也能够处置战建复,使其再现光荣。当视频图象太暗、太恍惚,人眼险些认没有出此中人物时,神经收集便会天生低量量猜测。

怎样将出格长远的视频转换成下浑

相似的锻炼手艺也被使用于能够进步老视频绘量的神经收集。锻炼目的是显现老视频丢失的细节,将老视频的分辩率提拔到下浑级别。

那个历程最年夜的应战正在于重现细节,正在已往,那险些不成能完成。因为手艺开展,人们曾经风俗于看下绘量视频,让他们再来看低绘量视频十分艰难。

该模子锻炼方法是经由过程低落下浑视频的分辩率,然落后止监视锻炼,从而显现丢失的细节。

因为锻炼数据合用性普遍,该模子运转优良。该野生智能团队能够低落任何视频的分辩率,为模子供给本初胶片,使神经收集教会怎样假造丢失细节并将其增加到视频当中。

人们对显现老视频的下浑版本有一个很年夜的曲解,即以为神经收集能够发明本初版本中丢失的细节。究竟上,那底子没法找回,由于本初胶片上出有任何细节。神经收集天生细节用的手艺是Thispersondoesnotexist(人像天生网站)战相似天生对立收集所利用的手艺。

正果云云,本初胶片中布满了绘声绘色的细节,可实践上它们皆是虚拟的。假如胶片要用于法医审定或具体研讨,那能够会是一个应战(或成绩)。但假如只是为文娱或文明目标显现视频,这类手艺绰绰不足。

为老视频上色

另外一个应战去便宜做典范视频的彩色版本,经由过程手艺付与老视频重生,让新不雅寡看到它们。那一历程持久以去皆是由艺术家们卖力,他们需求为每帧上色。第一部以此方法着色的视频是英国默片《奇观》("The Miracle") (1912)。

由于有没有数的彩色视频资本能够鉴戒,以是只需锻炼散内乱容丰硕,深层神经收集就能够年夜年夜削减为典范口角视频上色的工夫。但是,上色历程并不是完整主动化。究竟上,为口角视频上色是一项艰难的使命。以迪士僧刊行的《电子天下争霸战》("Tron")为例,该片用口角胶片拍摄,然后由台湾Cuckoo’s Nest事情室的200名着色工战绘家上色完成。

正在挑选色彩时,神经收集偏向于守旧。但如许也能够招致成绩,好比神经收集偶然会将火误以为一片草天。它之以是那么做,是由于正在视频中,以郊野为布景能够比以湖泊为布景更加常睹。

经由过程脚动将彩色像素使用于单个帧,艺术家能够倡议野生智能AI模子该当挑选甚么色彩。

正在口角视频中,人们没法确认演员所脱领巾或衬衫的实在色彩。不外那么多年已往了,穿戴色彩借主要吗? 虽然云云,神经收集仍是接纳了LAB颜色尺度,操纵明度(L)去揣测其他两个通讲(A战B)。

转录战人脸辨认

最初一个要面,转录对话可使陈述研讨更加简朴,关于言语教研讨仍是文明研讨皆是云云。正在人脸辨认硬件的协助下,该处理计划能够将一切台词付与给响应脚色。

语音-文本转换功用能够处置声音并转录对话,而另外一个神经收集则查抄视频中的哪些人嘴唇正在动。正在分离图象辨认功用后,该模子既能够同步声音取字幕,又能够供给语言脚色或演员的名字。

固然天生的内乱容要受监视,但该模子仍年夜年夜削减了转录所需工夫。正在传统办法中,转录最少需求灌音和以后考证的工夫。而机械能正在几秒钟内乱转录一小时的视频。

总结

取其他办法比拟,经由过程基于机械进修的手艺去建复视频能够节流工夫战精神。其同时也正在勤奋进步文明遗产庇护的胜利率,使老视频更具有理想意义。正在贸易范畴,机械进修已获得普遍承认,但关于满意文明战艺术的需供而行,机械进修手艺仍是非常新奇。

典范视频的建复战数字化令人们可以更便利天得到更多文明产物,并确保不管多暂人们皆能够浏览到那些做品。因而,多盈野生智能,前沿几代人能够浏览到更多已往的奥斯卡获奖视频。

重磅!CVer教术交换群建立啦

扫码增加CVer助脚,可申请参加CVer-目的检测、图象朋分、目的跟踪、人脸检测&辨认、OCR、姿势估量、超分辩率、SLAM、医疗影象、Re-ID、GAN、NAS、深度估量、主动驾驶、强化进修、车讲线检测战模子剪枝&紧缩等群。必然要备注:研讨标的目的+所在+黉舍/公司+昵称(如目的检测+上海+上交+卡卡)

▲少按减群

▲少按

费事给我一个正在看!
         

本文源自公家号“CVer”
威钝网声明:转载此文供网友浏览理解该主题内乱容、出于通报更多疑息之目标,其实不意味着附和其概念或证明其形貌。


上一篇:ai视频:《新世界》
下一篇:【元宵荐影】Top 10 人工智能AI/机器人视频,烂番茄高分人工智能AI视频 Top 10
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则


0关注

0粉丝

1帖子






威锐网元宇宙ARVRAI前沿科技网站-记录ARVRAI前沿科技见证元宇宙未来-本站除原创AR增强现实VR虚拟现实AI人工智能元宇宙前沿科技新闻资讯-其它内容来源自网络·已标明来源出处,如已侵犯您的版权,请联系我们删除