瘦西湖,低清视频也能快速转高清:超分辨率算法TecoGAN,老阿姨

admin 5个月前 ( 04-18 00:45 ) 0条评论
摘要: 低清视频也能快速转高清:超分辨率算法TecoGAN...

选自 arXiv

Mengyu Chu 等金优他美

机器之心编辑部

图画瘦西湖,低清视频也能快速转高清:超分辩率算法TecoGAN,老阿姨超分辩率技能指的是依据低分辩率图画生成高分辩率图画的进程,该技能期望依据已有的图画信息重构出缺失的图画细节。视频超分辩率技能则愈加杂乱,不只需求生成细节丰厚的一帧帧图画,还要坚持图画之间的连接性。

在一篇名为「Temporally Coherent GANs for Video Super-Resolution (TecoGAN)」的论文中,来自慕尼黑工业大学的研讨人员提出了一种用于完成视频超分辩率的新式 GAN——TecoGAN。

此前,已经有开发者运用 ESRGAN 这种视频超分辩率模型重制了许多单机游戏,包括经典的重返德军总部、马克思佩恩和上古卷轴 III:晨风等等。重制的高清版游戏在画质上有很好的作用,并且还保留了原始纹路的美感与风格。

以下三幅动图的右半部分是用 三春晖美缝剂TecoGAN 生成的,说不定用它来重制单机游戏会有更惊人的作用。该办法能够生成精密的细节,较长的生成视频序列也不会影响其时刻连接度。

铁未来商赛
丰臀丰臀 瘦西湖,低清视频也能快速转高清:超分辩率算法TecoGAN,老阿姨
瘦西湖,低清视频也能快速转高清:超分辩率算法TecoGAN,老阿姨

图中,动物皮的网格结构、蜥蜴的图画和蜘蛛背部的斑驳无不显示该办法的作用。该办法中的时空判别器在引导生成器网络输出连接细节方面居功至伟。

这个视频超分辩率 GAN 牛在哪里?

天然图画超分辩率是图画和视频处理范畴的一大经典难题。关于单一图画超分辩率(SISR),根据深度学习的办法能够到达当时最佳的峰值信噪比(PSNR),而根据 GAN 的架构在感知质量方面完成了严重改善。

在视频超分辩率(VSR)谷仓医疗信息渠道使命中,现有的办法主fetishpapa要运用规范丢失函数,如均方差丢失,而不是对立丢失函数。类似地,对成果的评价依然聚集于根据向量范数的目标,如 PSNR 和结构相似性(Structural Similarity,SSIM)目标。与 SISR 比较,VSR 的首要难点在于怎么获取明晰的成果,且不会呈现不天然的伪影。根据均方差丢失,近期的 VSR 使命运用来自低分辩率输入的多个帧 [13],或重用之前生成的成果 [28] 来改善逐浪傲世六合时刻连接度。

虽然对立练习能够改善单个图画的视觉质量,但它并不常用于视频。在视频序列事例中,咱们不只要研讨恣意的天然细节,还要研讨能够安稳办法根据较长图画序列生成的细节。

该研讨初次提出了一种对立和循环练习办法,以监督空间高频细节和时刻联络。在没有真值动态的情况下,时空对立丢失和循环结构可使该模型生成相片级实在度的细节,一同使帧与帧之间的生成结构坚持连接。研讨者还发现了迷镇凶案一种运用对立丢失的循环架构可能会呈现的新式模型溃散,并提出了一种双向丢失函数用于移除对应的伪影。

该研讨的中心奉献包括:

论文:Temporally Coherent GANs for Video Super-Resolution (TecoGAN)

论文链接:https://arxiv.org/pdf/1811.09393.pdf

摘要:对立练习在单图画超分辩绘画人体姿势写真2000例率使命中十分成功,由于它能够取得传神、高度详尽的瘦西湖,低清视频也能快速转高清:超分辩率算法TecoGAN,老阿姨输出成果。因而,当时最优的视频超分辩率办法依然支撑较简略的范数(如 L2)作为对立丢失函数。直接向量范数作丢失函数求均匀的实质能够轻松带来时刻流通度和连接度,但生成图画缺少空间细节。该研讨提出了一种用于视频超分辩率的对立练习办法,能够使分辩率具有时刻连接度,一同不会丢失空间细节。

该研讨聚集于新式丢失的构成,并根据已构建的生成器瘦西湖,低清视频也能快速转高清:超分辩率算法TecoGAN,老阿姨结构展现了其功能。研讨者证明时刻对立学习是取得相片级实在度和时刻连接细节的要害。除了时空判别器以外,研讨者还提出新式丢失函数 Ping-Po玩子宫ng,该函数能够有用移除循环网络中的时刻伪影,龙啸江湖且不会下降视觉质量。之前的研讨蜕化玩偶并未处理量化视频超分辩率使命中时刻连接度的问题。该研讨提出了一组目标来评价准确率和随时刻改变的视觉质量。用户调研成果与这些目标判别的成果共同。总归,该办法优于之前的研讨,它能够得到愈加细节化的图画,一一起刻改变愈加天然。

模型办法

该研讨提出的 VSR 架构包括企管王库房管理软件三个组件:循环生成器、流估量网络和时空判别器。生成器 G 根据低分辩率输入循环地生成高分辩率视情侣装常青紫装频帧。流估量网络 F 学习帧与帧之间的动态补偿,以协助生成器和时空判别器 D_s,t。

练习进程中,生成器和流估量器一同练习,以诈骗时空判别器 D_s,t。该判别器是中心组件,由于它既考虑空间要素又考虑时刻要素,并对存在不现实的时刻不连接性的成果进行赏罚。这样,就需求 G 来生成与之前帧接连的高频细节。练习完成后,D_s,t 的额定杂乱度不会有什么影响,除非需求 G 和 F 的练习模型来揣度新的超分辩率视频输出。

图 2:具有动态补偿(motion compensation)的循环生成器。

该研讨提出的判别器结构如图 3 所示。它接收了两组输入:真值和生成成果。

图 3:时空判别器的输入。

丢失函数

为了移除不想要的细节长时刻漂移,研讨者提出一种新式丢失函数「Ping-Pong」(PP) 丢失。

图 4:a)不运用 PP 丢失训瘦西湖,低清视频也能快速转高清:超分辩率算法TecoGAN,老阿姨练出的成果。b)运用 PP 丢失练习出的成果。后者成功移除了漂移伪影(drifting artifact)。

如锦门医娇图 4b 所示,PP 丢失成功移除了漂移伪影,一同保留了恰当的高频细节。此外,这种丢失结构能够有用添加练习数据集的规划,是一种有用的数据增强办法。

该研讨运用具有 ping-pong ordering 的扩展序列来练习网络,如图 5 所示。即终究附加了反转版别,该版别将两个「leg」的生成输出坚持共同。PP 丢失的公式如下所示:

图 5:运用该研讨提出的 Ping-Pong 丢失,g_t 和之间的 L_2 间隔得到最小化,以移除漂移伪影、改善时刻连接度。

试验成果

研讨者经过控制变量研讨说明晰 L_(G,F) 中单个丢失项的作用。

图 6:树叶场景比照。对立模型(ENet、DsOnly、DsDt、DsDtPP、和 TecoGAN)比运用 L_2 丢失练习的办法(FRVSR 和 DUF)具奸佞养成簿备更好的视撞钳国王觉作用。右图「temporal profiles」中,DsD科斯莫利基德t、DsDtPP 和 TecoGAN 在时刻接连性炸芋球上明显优于 ENet 和 DsOnly。本文提出的判别器网络的时刻信息成功按捺了这些伪影。

本文为机器之心编译,转载请联络本大众号取得授权。

声明:该文观念仅代表作者自己,搜狐号系信息发布渠道,搜狐仅供给信息存储空瘦西湖,低清视频也能快速转高清:超分辩率算法TecoGAN,老阿姨间效劳。
文章版权及转载声明:

作者:admin本文地址:http://www.5kantadu.cn/articles/908.html发布于 5个月前 ( 04-18 00:45 )
文章转载或复制请以超链接形式并注明出处竞技宝官网_竞技宝官网app_竞技宝官网苹果版