二次元视觉,二次元高画质

二次元最懂二次元：B站开源动漫画质修复模型 超分辨率画质更好

为了让你高清重温童年XXX，最近AI做了很多努力。

最近我们发现了一个专门为动漫图像设计的画质恢复模型:

真正的库甘.

这个开源模型现在在GitHub的热门列表上，它也来自哔哩哔哩。

它的效果也比前两个流行的超分模型更进一步，推理速度和兼容性也更快更好。

“老二刺猿”的意思是【狗头】。

从Waiuf2x变魔术结构

Real-CUGAN，全称real cascade u-nets，用于动物图像超分辨率。

它的结构魔术般的变化是从之前的火图变成了无损放大/降噪神器——wai uf 2 x(GitHub Star 23k)，并能与之无缝兼容；训练代码基本来自腾讯去年刚出的RealESRGAN (GitHub Star 9.1k)。

Waiuf2x来自日本的一个“技术宅”。原理大概就是把一堆二次图像缩小，和原始图像放在一起，让模型通过一个算法，学会如何自己放大拉伸图像。

Waiuf2x有免费的网页版供大家使用。

RealESRGAN，主要是模拟高分辨率图像变成低分辨率过程中的各种“退化”过程，然后让模型看到一个粘贴的图像，然后反向外推其高清图像。

是在2018年ECCV PIRM-SR挑战赛中获得第一名的超级得分“前辈”艾斯根的进一步提升。

与这两位相比，Real-CUGAN有什么独特之处？

首先，在训练集方面，前两个是私有的二次训练集，量级和质量未知，而Real-CUGAN使用的是百万级的高清二次数据集。

在耗时推理方面(目标为1080P)，如果以Waiuf2x为基线，RealESRGAN需要2.2x，而Real-CUGAN只需要1x。

强度调节方面，Waiuf2x可以支持多种降噪强度，RealESRGAN不能调节，而Real-CUGAN支持四种降噪强度和保守恢复。未来将为不同的程序提供去模糊、去除JPEG伪影、锐化等功能。

另外Waiuf2x只能做到1倍和2倍分辨率还原，RealESRGAN只支持4倍，Real-CUGAN可以做到2到4倍(1倍还在训练中)。

当然最重要的是效果。

看看一些最直观的对比图表:

正如你所看到的，Real-CUGAN和Waiuf2x的结果差不多，但是RealESRGAN并没有很好的处理地板纹理。

在这组对比图中，Waiuf2x的线条明显不如后两者清晰，而与Real-CUGAN相比，RealESRGAN中的人物嘴部和下颌处的线条是虚的，线条杂。

不过在这组“极限清渣型”图片的超分效果中，Waiuf2x还是明显不够清晰。

虽然RealESRGAN的整体清晰度很清晰，但仍有噪点和明显的伪像——只有Real-CUGAN的图片是干净的，性能最好。

为4种类型的播放器提供不同的参数配置

为了方便更多的创作者，Real-CUGAN开源了四组不同的推理参数设置。

-Windows player

Real-CUGAN为Windows用户打包了一个可执行环境(下载链接可以在本文末尾的仓库中找到)。

一般参数设置可以通过congfig文件进行:在模式中填入视频或图像，决定是超级视频还是超级图像。

模型分为三类，并给出具体的一类作为参考:

-Waiu2x-Caffe播放器

提供了两组参数:Real-CUGAN2x标准版本(降噪级别3)和Real-CUGAN2x非切割线版本。

-Python播放器

Torch >: =1.0.0，搭载numpy，opencv-python，moviepy模块。

-Vapor Synth播放器(专业视频抑制)

这个就不细说了，对应的读者可以参考仓库的自述说明~

最后，Real-CUGAN还打算更新更多:包括快速模型、简单GUI、一步超到任意指定分辨率功能、自身效果的提升(优化纹理保留、切割模型处理痕迹)。

心动的朋友可以戳下面的链接一试身手:

-结尾-

原文链接:责任编辑:祥云