温网停赛，AI不停赛：斯坦福新研究模拟网球名将打比赛

今年夏天没有温网冠军，但这不意味着你看不到网球名将们的「新赛事」。

和许多其他顶级体育赛事一样，世界上最古老的网球赛事温布尔登网球锦标赛也是 COVID-19 大流行的受害者。今年 4 月初，温网官方宣布今年赛事取消。

赛事无法照常举行，我们就看不了网球比赛了吗？也不尽然。近日，来自斯坦福大学的研究团队利用 AI 模型逼真地模拟了温网决赛和其他比赛。

目前大量体育分析利用海量比赛视频创建对运动员行为的预测模型，受此启发，斯坦福的这项研究将这种建模方式与基于图像的渲染相结合，构建出可交互控制的视频，来模仿顶级网球职业选手的风格和表现。

例如网球名将费德勒（Roger Federer）和诺瓦克 · 德约科维奇（Novak Djokovic）的对决。这两位在各项赛事中交锋多次，斯坦福大学创建的系统基于他们之前的比赛视频，开启了二人之间的新一轮 battle：

这个系统还能创建一些从未见过的「名场面」，比如费德勒自己和自己打球：

费德勒与小威（塞雷娜 · 威廉姆斯）对战：

除此之外，该系统创建的视频支持交互控制。比如你可以控制网球的落点和运动员击球后的回位：

你甚至可以「修改」之前的比赛，比如 2019 年温网男单决赛中小德与费德勒那场史诗级对决：

斯坦福创建的这个系统可以修改这场比赛中的关键一球，颠覆原来的比赛结果。

更多效果展示，请戳以下视频：

那么，这个系统是如何实现逼真且可交互控制的视频效果的呢？

论文简介

斯坦福大学提出的系统可将带标注的网球比赛视频转换为可交互控制的视频，其中运动员的行为和表现都和职业网球运动员相似。

该论文方法基于可控的视频纹理，以带标注的网球视频数据库作为输入，该数据库的标注为重要的比赛信息，如触球的时间和位置、击球类型等。

研究人员在构建数据库时重点关注温网赛事视频，包括罗杰 · 费德勒、拉斐尔 · 纳达尔和诺瓦克 · 德约科维奇等热门选手的比赛；以及 2018 年和 2019 年温布尔登网球锦标赛上小威廉姆斯对阵西蒙娜 · 哈勒普和卡米拉 · 吉奥尔吉的比赛。

该系统将带标注的温网赛事视频转换为可交互控制的视频。

数据库中每个运动员都有几千个镜头。研究人员利用这些数据点建模位置和击球决策，并构建行为模型，以反映特定球员在球场上的位置以及在特定情况下他们最有可能的击球方式和位置。

利用带标注的击球周期（shot cycle，包括每次击球时从准备、击球到复原的一系列动作）数据库，研究人员构建了运动员行为的统计模型，该模型在击球周期开始时输入「点状态」（point-state），并生成球员的击球选择和回位决策。

shot cycle 示意图。

该行为模型可以选择能够反映真实运动员在给定比赛状况下执行动作的视频片段，并生成新的视频，通过捕获真实场景的策略和倾向来逼真地反映运动员的外观、动作风格以及击球过程。

研究贡献

这篇论文主要有三个贡献：

击球周期状态机：该研究利用网球赛事的领域知识，以击球周期为粒度控制和合成视频，击球周期即在某一时刻，球员为准备、击球和复原所采取的一系列动作。
特定于运动员的、基于数据驱动的行为模型：该模型可以预测球员的球场位置和击球选择，并在视频合成过程中作为控制输入。通过结合视觉质量指标和运动员特定的行为模型，该研究能够创建「逼真的」视频，这些合成视频既可以细粒度地描述球员的外观和动作风格，也能够在宏观层面上捕捉他们的现实比赛策略和倾向。
基于多样化的现实数据渲染高质量视频：该研究提供了一种创建大型单视点真实视频片段数据集的方法，该数据集可用于创建可控制视频系统。该过程涉及：使用神经图像迁移方法，消除不同比赛日和比赛时间运动员的外观差异；当运动员在画面中被部分裁剪时，补齐缺失的像素数据；使新视频渲染结果对计算机视觉技术产生的标注错误具备稳健性（如运动员检测、姿势估计）。

系统架构

下图展示了该研究提出的点合成系统：