为了让你高清重温童年XXX,最近AI做了很多努力。
最近我们发现了一个专门为动漫图像设计的画质恢复模型:
真正的库甘.
这个开源模型现在在GitHub的热门列表上,它也来自哔哩哔哩。
它的效果也比前两个流行的超分模型更进一步,推理速度和兼容性也更快更好。
“老二刺猿”的意思是【狗头】。
从Waiuf2x变魔术结构
Real-CUGAN,全称real cascade u-nets,用于动物图像超分辨率。
它的结构魔术般的变化是从之前的火图变成了无损放大/降噪神器——wai uf 2 x(GitHub Star 23k),并能与之无缝兼容;训练代码基本来自腾讯去年刚出的RealESRGAN (GitHub Star 9.1k)。
Waiuf2x来自日本的一个“技术宅”。原理大概就是把一堆二次图像缩小,和原始图像放在一起,让模型通过一个算法,学会如何自己放大拉伸图像。
Waiuf2x有免费的网页版供大家使用。
RealESRGAN,主要是模拟高分辨率图像变成低分辨率过程中的各种“退化”过程,然后让模型看到一个粘贴的图像,然后反向外推其高清图像。
是在2018年ECCV PIRM-SR挑战赛中获得第一名的超级得分“前辈”艾斯根的进一步提升。
与这两位相比,Real-CUGAN有什么独特之处?
首先,在训练集方面,前两个是私有的二次训练集,量级和质量未知,而Real-CUGAN使用的是百万级的高清二次数据集。
在耗时推理方面(目标为1080P),如果以Waiuf2x为基线,RealESRGAN需要2.2x,而Real-CUGAN只需要1x。
强度调节方面,Waiuf2x可以支持多种降噪强度,RealESRGAN不能调节,而Real-CUGAN支持四种降噪强度和保守恢复。未来将为不同的程序提供去模糊、去除JPEG伪影、锐化等功能。
另外Waiuf2x只能做到1倍和2倍分辨率还原,RealESRGAN只支持4倍,Real-CUGAN可以做到2到4倍(1倍还在训练中)。
当然最重要的是效果。
看看一些最直观的对比图表:
正如你所看到的,Real-CUGAN和Waiuf2x的结果差不多,但是RealESRGAN并没有很好的处理地板纹理。
在这组对比图中,Waiuf2x的线条明显不如后两者清晰,而与Real-CUGAN相比,RealESRGAN中的人物嘴部和下颌处的线条是虚的,线条杂。
不过在这组“极限清渣型”图片的超分效果中,Waiuf2x还是明显不够清晰。
虽然RealESRGAN的整体清晰度很清晰,但仍有噪点和明显的伪像——只有Real-CUGAN的图片是干净的,性能最好。
为4种类型的播放器提供不同的参数配置
为了方便更多的创作者,Real-CUGAN开源了四组不同的推理参数设置。
-Windows player
Real-CUGAN为Windows用户打包了一个可执行环境(下载链接可以在本文末尾的仓库中找到)。
一般参数设置可以通过congfig文件进行:在模式中填入视频或图像,决定是超级视频还是超级图像。
模型分为三类,并给出具体的一类作为参考:
-Waiu2x-Caffe播放器
提供了两组参数:Real-CUGAN2x标准版本(降噪级别3)和Real-CUGAN2x非切割线版本。
-Python播放器
Torch >: =1.0.0,搭载numpy,opencv-python,moviepy模块。
-Vapor Synth播放器(专业视频抑制)
这个就不细说了,对应的读者可以参考仓库的自述说明~
最后,Real-CUGAN还打算更新更多:包括快速模型、简单GUI、一步超到任意指定分辨率功能、自身效果的提升(优化纹理保留、切割模型处理痕迹)。
心动的朋友可以戳下面的链接一试身手:
-结尾-
原文链接:责任编辑:祥云