『行远见大』昨日重现 Yesterday Once More

经典永存

浮生若梦，用一段韶光，苍老了一段年华。岁月的洪流，卷走了青春，卷走了年华，剩下的只是一个被岁月刻下深深印痕的躯壳和一颗沧桑的心。只有在夜深人静之际，时间才真正属于自己。夜深了，月光似水柔柔地洒向大地，把上海城笼罩在琥珀色的月华之中，低酌一口春茶，享受片刻的宁静，脑海中浮现出儿时的记忆，有一种怀旧叫“童年经典”，每个人心中总有那么几部挥之不去的老电影。

掏出自己珍藏的CD，电视中播放出那些熟悉的经典镜头时，画面大都是模糊不清，让人不忍直视。随着科技的发展，现在家庭大多使用4K高清电视，不要说480P、720P、就连1080P都满足不了高品质家庭的观影需求，所以非4K转4K、8K HDR高清视频将成为市场主流趋势。

值得庆幸的是AI视频修复横空出世了，不仅是把低分辨率的视频放大输出成高分辨率这么简单，而是通过生成对抗网络（GAN），运用着色算法、修复算法、插帧算法使黑白电影转为彩色电影，修复老电影磨损划痕画面，提高帧率让画面人物动作更流畅，还可以增强色彩使画质更饱满，AI修复后效果能达到高清标准，满足了人们日益增长的美好生活需要，让你在重温经典的同时，更能享受影院级画质，让记忆更清晰，让经典永留存。

视频修复原理

着色模型 DeOldify

       

DeOldify 采用自注意力机制的生成对抗网络。在图像的着色方面有着较好的效果，它采用了 NoGAN (一种新型的、高效的图像到图像)的生成对抗网络训练方法，可以更好地处理细节效果，渲染也更逼真。NoGAN 训练结合了 GAN 训练的优点（好看的色彩），同时消除了令人讨厌的副作用（如视频中的闪烁物体）。NoGAN 生成器是一个U-NET结构的网络，进行了预训练，使其利用常规损失函数，变得更强大、更快、更可靠。DeOldify 修复的老视频由孤立的图像生成，而不添加任何时间建模。该过程执行 30-60 分钟 “NoGAN” 训练的 GAN 部分，每次使用 1% 至 3% 的图像网络（imagenet）数据。然后，与静止图像着色一样，在重建视频之前对各个帧进行“去旧化 ”。

AITDK

免费AI SEO工具，SEO的AI生成器

下载

ppgan.apps.DeOldifyPredictor(output='output', weight_path=None, render_factor=32)

参数

• output_path (str，可选的): 输出的文件夹路径，默认值：output.
• weight_path (None，可选的): 载入的权重路径，如果没有设置，则从云端下载默认的权重到本地。默认值：None。
• render_factor (int): 会将该参数乘以16后作为输入帧的resize的值，如果该值设置为32， 则输入帧会resize到(32 * 16, 32 * 16)的尺寸再输入到网络中。

修复模型 EDVR

       

EDVR模型提出了一个新颖的视频具有增强可变形卷积的还原框架：第一，为了处理大动作而设计的一个金字塔，级联和可变形（PCD）对齐模块，使用可变形卷积以从粗到精的方式在特征级别完成对齐；第二，提出时空注意力机制（TSA）融合模块，在时间和空间上都融合了注意机制，用以增强复原的功能。

ppgan.apps.EDVRPredictor(output='output', weight_path=None)

参数

• output_path (str，可选的): 输出的文件夹路径，默认值：output.
• weight_path (None，可选的): 载入的权重路径，如果没有设置，则从云端下载默认的权重到本地。默认值：None。

插帧模型 DAIN

       

DAIN(深度感知视频帧插值) 模型通过探索深度的信息来显式检测遮挡。并且开发了一个深度感知的流投影层来合成中间流。在视频补帧方面有较好的效果，它可以将帧想象并插入现有视频剪辑的关键帧之间。换句话说，DAIN首先分析并映射视频片段，然后插入在现有图像之间生成填充图像。

ppgan.apps.DAINPredictor(                        output_path='output',                        weight_path=None,                        time_step=None,                        use_gpu=True,                        remove_duplicates=False)

参数

• output_path (str，可选的): 输出的文件夹路径，默认值：output.
• weight_path (None，可选的): 载入的权重路径，如果没有设置，则从云端下载默认的权重到本地。默认值：None。
• time_step (int): 补帧的时间系数，如果设置为0.5，则原先为每秒30帧的视频，补帧后变为每秒60帧。
• remove_duplicates (bool，可选的): 是否删除重复帧，默认值：False.

代码实践

环境配置

# 克隆最新的PaddleGAN仓库到当前目录# !git clone https://github.com/PaddlePaddle/PaddleGAN.git# 如果从github下载慢可以从gitee clone：!git clone https://gitee.com/paddlepaddle/PaddleGAN.git
%cd PaddleGAN/
!pip install -v -e .

# 导入一些可视化需要的包import cv2import imageioimport numpy as npimport matplotlib.pyplot as pltimport matplotlib.animation as animationfrom IPython.display import HTMLimport warnings
warnings.filterwarnings("ignore")import paddleprint("本项目基于Paddle的版本号为："+ paddle.__version__)

本项目基于Paddle的版本号为：2.0.2

# 定义一个展示视频的函数def display(driving, fps, size=(8, 6)):
    fig = plt.figure(figsize=size)

    ims = []    for i in range(len(driving)):
        cols = []
        cols.append(driving[i])

        im = plt.imshow(np.concatenate(cols, axis=1), animated=True)
        plt.axis('off')
        ims.append([im])

    video = animation.ArtistAnimation(fig, ims, interval=1000.0/fps, repeat_delay=1000)

    plt.close()    return video

导入视频

video_path = '/home/aistudio/work/yesterday_once_more.mp4'video_frames = imageio.mimread(video_path, memtest=False)# 获得视频的原分辨率cap = cv2.VideoCapture(video_path)
fps = cap.get(cv2.CAP_PROP_FPS)
HTML(display(video_frames, fps).to_html5_video())

2021-05-10 12:22:33,588 - INFO - Animation.save using <class 'matplotlib.animation.FFMpegWriter'>
2021-05-10 12:22:33,590 - INFO - MovieWriter.run: running command: ['ffmpeg', '-f', 'rawvideo', '-vcodec', 'rawvideo', '-s', '576x432', '-pix_fmt', 'rgba', '-r', '25.0', '-loglevel', 'quiet', '-i', 'pipe:', '-vcodec', 'h264', '-pix_fmt', 'yuv420p', '-y', '/tmp/tmpppessv8v.m4v']

<IPython.core.display.HTML object>

修复视频

使用着色(DeOldify)、修复(EDVR)、插帧(DAIN)这三个模型对该视频进行修复。原理请见上文“老视频修复用到的模型”。

nput参数表示输入的视频路径，output表示处理后的视频的存放文件夹，proccess_order 表示使用的模型和顺序。

注：1分钟老视频修复耗时约3个半小时，请耐心等待。

%cd /home/aistudio/PaddleGAN/applications/
!python tools/video-enhance.py --input /home/aistudio/yesterday_once_more.mp4 \
                               --process_order DAIN DeOldify EDVR \
                               --output output_dir

导出视频

处理好的视频位于output_dir文件夹里，路径：/home/aistudio/PaddleGAN/applications/output_dir/EDVR/yesterday_once_more_deoldify_out_edvr_out.mp4。

左侧目录yesterday_once_more_output.mp4是AI修复好的彩色视频，选中并点击下载（第二个键）即可在本地播放。

# 效果展示output_video_path = '/home/aistudio/work/yesterday_once_more_output.mp4'video_frames = imageio.mimread(output_video_path, memtest=False)# 获得视频的原分辨率cap = cv2.VideoCapture(output_video_path)
fps = cap.get(cv2.CAP_PROP_FPS)
HTML(display(video_frames, fps).to_html5_video())

2021-05-10 12:37:22,200 - INFO - Animation.save using <class 'matplotlib.animation.FFMpegWriter'>
2021-05-10 12:37:22,202 - INFO - MovieWriter.run: running command: ['ffmpeg', '-f', 'rawvideo', '-vcodec', 'rawvideo', '-s', '576x432', '-pix_fmt', 'rgba', '-r', '50.0', '-loglevel', 'quiet', '-i', 'pipe:', '-vcodec', 'h264', '-pix_fmt', 'yuv420p', '-y', '/tmp/tmpd5yy8hzl.m4v']

<IPython.core.display.HTML object>