基于深度學(xué)習(xí)的超分辨率算法，讓超高清視頻不再落伍

相信不少人都喜歡在電腦上觀看電影、動(dòng)漫等視頻資源，無(wú)論是在本地觀看還是在線觀看，高清晰度，高分辨率的視頻才能帶來(lái)更好的觀看體驗(yàn)。但對(duì)于那些懷舊黨來(lái)說(shuō)，可能就沒那么幸運(yùn)了。

在過(guò)去，受限于技術(shù)原因，很多老電影、老動(dòng)漫的分辨率可能都沒有達(dá)到720P的水平，這就導(dǎo)致觀看體驗(yàn)大打折扣，畢竟在這個(gè)4K視頻都隨處可見的年代，低分辨率的資源確實(shí)有點(diǎn)落伍了。

其實(shí)就算放眼到整個(gè)行業(yè)中來(lái)看，超高清內(nèi)容缺乏也是產(chǎn)業(yè)普遍存在的痛點(diǎn)，渠道的不完善，拍攝、制作水平的不成熟，技術(shù)的不足都成為了阻礙行業(yè)發(fā)展的絆腳石，為了提高超高清視頻的生產(chǎn)能力，同時(shí)最大限度地節(jié)省成本，就需要人工智能的介入，超分辨率算法就是解決這個(gè)問(wèn)題的很好途徑。

提到超分辨率算法，可能屏幕前的很多人還不太熟悉，但一提到DLSS、FSR或者Xess，游戲玩家肯定都有所耳聞，雖然他們仨涉及的技術(shù)都不太一樣，但從結(jié)果來(lái)看，這三種技術(shù)都能提高游戲分辨率，帶來(lái)更好的游戲體驗(yàn)。

而今天要說(shuō)的超分辨率算法，某種意義上和AMD的FSR技術(shù)可以說(shuō)是相當(dāng)相似。

圖像超分辨率問(wèn)題研究的是在輸入一張低分辨率圖像時(shí)，如何得到一張高分辨率圖像，傳統(tǒng)的圖像插值算法可以在某種程度上獲得這種效果，比如最近鄰插值、雙線性插值和雙三次插值等，但是這些算法獲得的高分辨率圖像效果并不理想。

在圖像處理方面，又一個(gè)著名的算法waifu2x，它使用了SRCNN卷積神經(jīng)算法，SRCNN是首個(gè)使用CNN結(jié)構(gòu)(即基于深度學(xué)習(xí))的端到端的超分辨率算法，它將整個(gè)算法流程用深度學(xué)習(xí)的方法實(shí)現(xiàn)了，并且效果比傳統(tǒng)多模塊集成的方法好。

SRCNN流程如下:首先輸入預(yù)處理。對(duì)輸入的低分辨率LR圖像使用bicubic算法進(jìn)行放大，放大為目標(biāo)尺寸。

那么接下來(lái)算法的目標(biāo)就是將輸入的比較模糊的LR圖像，經(jīng)過(guò)卷積網(wǎng)絡(luò)的處理，得到超分辨率SR的圖像，使它盡可能與原圖的高分辨率HR圖像相似。

而AI超分辨率技術(shù)則是圖像修復(fù)技術(shù)領(lǐng)域的一個(gè)方向。

動(dòng)漫視頻的產(chǎn)出過(guò)程中往往帶有一系列數(shù)字信號(hào)處理的過(guò)程，包括鋸齒、暈輪、色塊、噪聲處理，模糊線條處理等等，在以前，視頻工作者往往需要對(duì)源進(jìn)行下采樣，在母帶分辨率下對(duì)不同片段進(jìn)行參數(shù)分析，并通過(guò)一系列濾鏡進(jìn)行手工修復(fù)，這造成了很大的人力成本。

而今天的主角，就是B站AI實(shí)驗(yàn)室開源的Real-CUGAN工具(項(xiàng)目地址：https://github.com/bilibili/ailab/tree/main/Real-CUGAN)，只要用了它，就可以把動(dòng)畫圖像的質(zhì)量提升2到4倍，而且近乎無(wú)損。

Real-CUGAN的全稱為Real Cascaded-U-Net-style Generative Adversarial Networks(真實(shí)的、級(jí)聯(lián)U-Net風(fēng)格的生成對(duì)抗網(wǎng)絡(luò))，使用了與Waifu2x相同的動(dòng)漫網(wǎng)絡(luò)結(jié)構(gòu)，但由于使用了新的訓(xùn)練數(shù)據(jù)與訓(xùn)練方法，從而形成了不同的參數(shù)和推理方式。

技術(shù)細(xì)節(jié)方面來(lái)看，Real-CUGAN會(huì)先行對(duì)動(dòng)漫幀進(jìn)行切塊處理，然后使用圖像質(zhì)量打分模型對(duì)候選塊進(jìn)行打分過(guò)濾，得到一個(gè)百萬(wàn)級(jí)的高質(zhì)量動(dòng)漫圖像塊訓(xùn)練集。

然后使用多階段降質(zhì)算法，將高清圖像塊降采樣得到低質(zhì)圖像，通過(guò)讓AI模型學(xué)習(xí)、優(yōu)化從低質(zhì)圖像到高質(zhì)圖像的重建過(guò)程，訓(xùn)練完畢后即可對(duì)真實(shí)的二次元低質(zhì)圖像進(jìn)行高清化處理。

目前Real-CUGAN支持2x\3x\4x倍超分辨率，其中2倍模型支持4種降噪強(qiáng)度與保守修復(fù)，3倍/4倍模型支持2種降噪強(qiáng)度與保守修復(fù)，同時(shí)，如果你是Windows用戶，作者還貼心地準(zhǔn)備了Windows-GUI版本，https://github.com/Justin62628/Squirrel-RIFE/releases/tag/v0.0.3，下載后即可使用。

與Waifu2x(CUNet)和Real-ESRGAN(Anime6B)相比，Real-CUGAN的優(yōu)勢(shì)還是比較明顯的，作者也進(jìn)行了一波對(duì)比，結(jié)果如下：

目前B站的OGV國(guó)創(chuàng)劇《鎮(zhèn)魂街第二季》已經(jīng)已經(jīng)上線了經(jīng)過(guò)超分的4K分辨率版本，相信在未來(lái)，更多老番的高清重置版本也會(huì)在路上，AI技術(shù)的發(fā)展，正在從各個(gè)角度提升我們的體驗(yàn)。

標(biāo)簽： 超分辨率 超高清視頻 游戲玩家