“图像处理F1'',B联赛波兰语未来运动・技术

我想进一步扩展我所拥有的优秀技术的可能性

── 捕捉人体动作并将其转化为数据的运动追踪技术是为了什么样的应用而开发的？

小山──富士通多年来一直致力于图像处理技术的研究。该技术随后被应用于满足社会基础设施中读取图像的需求，例如读取高速公路上的车辆牌照和监控摄像头以打击交通违规行为。我们想探索通过将此类技术应用于完全不同的目的可以实现什么的可能性，并且我们考虑将其应用于体育运动作为可能的应用之一。

── 为什么你决定将其应用到体育运动中，尤其是篮球？

小山──当东京被选为 2013 年奥运会和残奥会主办国时，富士通想知道富士通是否可以做些什么来利用这个机会来吸引世界。但如果只是在奥运会上宣传自己公司的技术和服务，那只是暂时的努力。如果以奥运会为契机，考虑IT在体育领域的应用，我们想选择一个可以继续研究并积累经验的学科，所以我们考虑了可以长期从事的体育项目。大约在那个时候，我把注意力转向了即将推出的日本职业篮球联赛——B联赛。

B联赛中有一种我们能够共同成长的期望感，这是那些已经建立了管理方法的体育联盟所不具备的。由于这是一个新的联赛，吸引我的是球队愿意接受职业体育中从未尝试过的新挑战。另外，BLeague的创始者川渕三郎先生曾就职于与富士通同属古河集团的古河电工，因此人脉关系也很密切。

篮球比赛是图像识别技术极其困难的目标

── 篮球运动作为图像识别技术的一种运动追踪技术的应用，有什么意义和特点？

小山──其实，当我们开始与BLeague合作时，我们就意识到，在图像识别的众多应用中，篮球这项运动是一个比想象中门槛更高的目标。我认为使用我拥有的运动跟踪技术来捕捉和记录球员和球的运动会很容易，但实际上并没有那么容易（图 1）。比赛过程中，球员混合重叠的场景较多，移动速度也很快。此外，球员的位置和方向一直在变化。这些都是图像识别的非常严格的条件。

[图1]篮子是图像识别技术的高难度应用
在篮球比赛中，存在球员混合重叠的场景（上）和球员突然开始快速移动的场景（下），这使得他们成为图像识别的极难目标。

─ 有其他运动比篮球更容易应用吗？

小山──在将篮球作为应用程序之前，我曾尝试过分析棒球，看起来棒球是图像识别的一个简单目标，因为球员的位置很容易确定，并且相机可以固定。足球和篮球类似，这也是一门很难的科目。然而，职业篮球联赛却充满了更加困难的因素。

例如，专业篮球场上可能会画有球队徽标，但由于球员所穿的队服也是相同的球队颜色，因此从摄像机中看起来它们是一体的。相比之下，在足球中，更容易区分球场和球员。另外，由于球迷座位低矮且距离较近，如果背景中有拿着啤酒的观众，很难从球员的动作中区分出来。这是一项很难确定哪些主体的动作应该被补充的运动。

“图像处理F1”通过运动磨练尖端技术

── 通过现场反复试验来提高自己的技能似乎很重要。

小山──最初，我们有一支内部女子篮球队，名为“红波”，一开始我们在他们的训练场进行了内部测试。然而，当你成为日本男队的一员后，你的动作速度会更快，所以你需要提高你的技术才能跟上这个速度。当时B联赛和日本篮协对我很友善的合作，让我能够在比赛场地中央舒适、悠闲地拍摄球员们的动作。它对于验证系统错误发生的情况非常有用。

── 从体育本身就是磨练尖端技术的地方来看，职业篮球联赛确实是“图像处理的F1”。

小山──没错。然而，从图像处理技术的发展和应用的角度来看，我们很幸运遇到了这样一个困难的课题。也许如果运动追踪可以毫无问题地用于篮球比赛，它将开辟许多新的应用，例如对人和事物的高级监控，以及在医疗保健和康复中的使用。

八个摄像头记录球场上每个球员的一举一动

── 你们所应用的运动追踪技术是使用什么样的系统？

小山──这是一项使用安装在球场周围的八个摄像头来跟踪和记录球员和球的运动的技术（图 2）。通过可视化和分析哪些摄像机显示最多的球员以及个别球员和球在场上的位置，记录的数据可用于改进球队战术和球员技能。

从技术上讲，它是不断捕捉移动的球员和球的技术与识别朝摄像机移动的球员和物体的技术的结合。其中，识别是利用人工智能（AI）根据图像数据中球员的球衣号码、身体、头部等进行推断。

[图2]球场周围安装了8个摄像头，追踪所有球员的动向

── 我们需要8个摄像头吗？

小山──实际上，数量越多，从角度和距离就越容易识别它们，但成本当然也会增加。我们追求能够可靠地跟随场上球员的单位数量，最终我们得到了八个单位。

── 每个摄像头采用什么规格以及使用多大的计算机来处理信息？

小山──运动跟踪视频以 2K、每秒 30 帧的速度拍摄。我们在会场搭建了一个2U服务器机架，并连接其中两个进行处理。

通过图像识别跟踪运动对运动员来说是安全的

── 您说您选择篮子作为图像识别技术的新应用。我觉得除了图像处理之外还有其他方法可以达到捕捉篮子运动的目的。

小山──是的，确实如此，但图像识别具有其他方法所没有的优势。例如，有一种方法是在运动员身上安装传感器来确定他们的位置和身体动作。这是足球和其他运动中实际使用的方法。然而，篮球是在硬地球场上进行的，球员有可能失去平衡而摔倒。因此，佩戴异物可能会造成伤害。有了图像识别，你就不用担心这个问题了。如果在玩家的身体上放置标记，可能会更容易执行身体动作。然而，我们不能要求球员在比赛中这样做，因此我们正在开发通用图像识别技术。

─ 您是否考虑过使用图像识别技术以外的方法进行运动跟踪？

小山──这不是篮球比赛，但富士通开发了一套系统，使用 3D 传感器捕捉体操运动员在表演过程中的动作，并使用 AI 支持评分。这里使用的3D传感器每秒发射200万次激光，分析反射光，并将玩家在空间中的运动转换成数据。这是自动驾驶汽车中使用的传感器检测驾驶环境的应用。

3D传感器可以准确捕捉空间中详细的三维运动，但视角不是很宽。这适用于体操等需要补充目标的区域有明确定义的情况。对于篮子来说，不需要捕捉如此微小的动作，因此我们认为图像识别是最好的选择。

可视化整场比赛，揭示导致结果的情况和过程

── 捕捉到的玩家动作如何转化为数据？

小山──基本上，位置以XYZ坐标表示，移动的速度和点数被转换为数据并输出。通过分析这些信息，可以将其转化为战术信息，例如球员在持球时是否能够对队友进行分区。

── 收集到的信息将用于什么用途？

小山──我们的目标是可视化比赛中的每场比赛。在职业体育运动中，有一种称为统计数据的记录，由得分或提供助攻的球员直观记录。然而，仅仅以数字显示结果并不能解释得分的情况或过程。即使是同一次射门，也无法判断球是否偷偷越过对方，是否是任意球并且射门轻松，或者球运球到达球门的速度有多快。我认为如果我们能够将所有这些情况和过程转化为数据，我们就能够使用不同的战术并研究对手。

我们的系统可让您跟踪每个球员的动作并可视化整个比赛。您还可以查看哪些运动员跑了多少米以及他们的平均速度。由于您可以清楚地看到跑步距离和速度随时间的变化，因此您可以清楚地量化个别运动员的耐力。

使球队和球员的价值指标多样化，照亮那些在阴影中做出贡献的人

── 如果有更多的方法来提高球队战术和球员技术，我们可以期待巨大的进步，比如创造新的战术和训练方法。

小山──与其他运动一样，唯一可以在比赛或赛季结束后客观回顾结果的材料是常见的指标，例如棒球中的 30%。运动员往往仅根据这些有限的指标进行评估。如果我们能够用更多方面的指标来评估，我想我们就能正确评估球员的价值，他们在不同方面的贡献决定了比赛的结果。

──职业运动员是很严肃的，因为他们的年薪是由这样的价值评估决定的。我想其实有很多玩家可以称为无名贡献者。

小山──当然，教练和其他观看比赛的人对为这些比赛做出贡献的球员有很好的了解，但如果不将其可视化为数据，则很难将其传达给其他人。对于球探来说也是如此。即使有一个你认为未来可以为球队做出贡献的球员，除了真正关注该球员的球探之外的人可能很难理解他的价值。如果它变得可见，侦察也可能会改变。

我认为它可以从完全不同的角度来监控运动员的安全。例如，当一名球员伤愈复出时，他可能会被限制每场比赛不得超过三分钟。现在，我的教练用秒表测量我的时间，我只参加允许的时间。不过，我认为3分钟剧烈运动和3分钟缓慢身体运动的负荷是不同的。如果我们从这个角度来处理事情，我认为我们将能够更可靠地保护我们的玩家。通过使用运动跟踪技术来管理您的运动量，您也许能够实现更有效的恢复。

为球迷提供享受运动的新方式

── 迄今为止，用于评估体育运动中的球队和运动员的指标仅限于不使用技术即可处理的范围。确实，将游戏视为一个整体会给你带来不同的视角。

小山──我们相信，我们不仅可以为球队官员，还可以为球迷提供一种不同的观看比赛的方式。八个摄像机密切关注每个球员的动作，从而可以捕捉持续跟踪特定球员动作的镜头。

虽然这是与运动跟踪不同的技术，但我们相信在一个场地安装的多个摄像头可用于娱乐目的（图 3）。例如，可以满足孩子在比赛中想要观看自己喜欢的球员的一举一动，或者在俱乐部活动中打篮球的孩子等可以跟踪球员在同一位置的动作的需求。

【图3】利用多角度优势进行娱乐
使用多角度镜头来跟踪您想要观看的球员以及您想要观看的角度。

── 目前，由于冠状病毒大流行，球迷无法观看比赛。也许我们可以利用技术提供新的娱乐方式。

小山──没错。即使是同样的扣篮，2m的人投50cm和1m90cm的人投70cm时飞行的感觉是完全不同的。就三分球而言，根据是75m投篮还是9m投篮，难度有所不同（图4）。如果你在现场，也许能感受到这些差异，但在直播中却很难传达出来。我希望技术能够有助于传达现实感和敬畏感。

此外，可以有从偏向特定球队的角度跟踪球员的广播，或者仅支持特定球员的广播。这是只能远程完成的事情，并且通过当前技术完全可以实现。我想尝试类似的事情。

[图4]将戏剧的伟大之处形象化并以易于理解的方式传达

── 娱乐方面的技术或系统有什么改进吗？

小山──目前，出于娱乐目的，我们正在考虑一个系统，该系统允许我们在会场安装三个 4K 摄像机，以每秒 60 帧的速度拍摄，剪切高清镜头，并从任何角度显示镜头。

此外，着眼于未来，我们还开发了一种名为“多视角”的技术，可让您自由选择并从您想要查看的角度查看图像。这是一种通过从多个角度拍摄的摄像机图像来分析物体的三维结构，并使用计算机图形学来补充摄像机之间的图像以生成可以从不同角度平滑观看的图像的技术。然而，目前，尝试执行此类处理需要数十台服务器满负荷运行。

与具有冒险精神的 BLeague 的罕见合作

── 作为一家科技公司工作的人，我和 B 联赛的人一起工作，这是一个非常不同的行业。有没有遇到什么困难或者享受什么事情？

小山──B联赛于2016年9月开始，但我从11月开始在B联赛办公室工作了一年。那段时间，当我们并肩坐着一起工作时，我感觉到他们有很强的创业思维。他赋予年轻人权力，现场决策，速度感惊人。

在开幕式上，我们举行了一个使用华丽LED灯的开幕式，但这是我们在削减广告预算后匆忙决定的制作。一些人认为，这样做会在社交媒体上引起轰动并提高广告效果，而不是投放常规广告。我认为高层有人听到这个消息并告诉我尝试一下，是因为我有创业精神。这是一次很好的经历。

── B联赛球员对运动追踪技术的反应如何？

小山──我觉得人们正在饶有兴趣地观看。目前，我们只是展示样品并征求意见，但我们通宵达旦地剪辑周六比赛的镜头，并在第二天早上完成，向玩家提供反馈。比赛后第二天有一个战术审查会议，我们听说如果我们能够加快编辑过程，它可能会成为制定新战术的工具。

当然，有一些大牌教练强调在白板上交流战术，也有一些不允许 IT 干预。在过去被认为远离IT的将棋世界里，人工智能的使用现在已经变得司空见惯，听说战术上正在发生一场革命。在篮球世界里，数字原生一代将成为教练，所以我想从长远的角度来看待这个问题。

个人资料

白水敦子(白津敦子)

富士通有限公司日本地区体育和娱乐部门高级经理

加入公司后，他负责富士通应用程序包的商业化，然后从事新业务开发以将实验室技术商业化。此后，他负责展厅和联络中心运营、数字营销等。目前，他和小山在体育娱乐部门工作，该部门将ICT应用于体育领域，主要开发和推广BLEAGUE的业务。

小山英树（小山秀树）

富士通有限公司日本地区体育和娱乐部门高级总监

在开发通信设备和研究基本技术后，从事以富士通专有技术为中心的规划和启动业务的营销工作。东日本大地震后，他还为东日本的重建和振兴提供了支持。奥运会确定在东京举办后，他负责2020年东京奥运会的宣传工作。 BLEAGUE成立后永久驻扎一年。目前，他正在体育和娱乐部门开发和推广体育及相关市场的业务，该部门在体育中利用信息通信技术。

作家

伊藤元明（伊藤元明）

光线有限公司代表

在富士通担任 3 年半导体开发工程师，在 Nikkei Microdevices、Nikkei Electronics、Nikkei BP Semiconductor Research 等公司担任记者/台/编辑 12 年新闻工作，在 Techno Associates（Nikkei BP 和三菱商事的合资智囊团）担任顾问 6 年为制造商业务提供支持，以及在日本广告部门担任广告制作人 4 年营销支持Nikkei BP 的技术信息组。

2014年，他独立成立了光线有限公司。该公司提供专门从事技术营销的支持服务，公司考虑并付诸实践如何向目标受众（主要是科技公司）准确传达技术的价值。

网址：http://wwwenlight-inccojp/