第二届“马栏山杯”国际音视频算法大赛颁奖盛典暨高峰论坛举行

相链区块链

  长沙晚报掌上长沙9月17日讯(全媒体记者 尹玮)9月17日下午,第二届“马栏山杯”国际音视频算法大赛颁奖盛典暨高峰论坛在长沙举行。这是同日开幕的2021世界计算大会的一项活动。

  挑战来自业界  实践解决问题

  第二届“马栏山杯”国际音视频算法大赛由马栏山视频文创产业园和芒果TV联合举办。和首届大赛一样,第二届给出的三大赛题(视频补全、视频推荐、音乐节拍检测),也都来自业界实际需求。

  以视频补全为例,它是指在视频特定时空区域内,填充一段新合成的内容。补全的反义词是抹除,在视频制作后期中就经常会遇到抹除情况。

  比如影视剧拍摄中常常不慎出现穿帮镜头,古装剧中乱入现代元素最为明显,《新白娘子传奇》中许仙与白素贞在断桥相会,背后是西湖高耸的路灯,《西游记》唐僧参观乌鸡国的皇家寺院,地上有下水道井盖。这些实地取景的剧组不可能去破坏现场环境,这些穿帮镜头就只能年复一年地播下去。而有了抹除技术,这些穿帮镜头就不再是困扰了。

  再如许多视频产品会经历较长的策划、制作、播出周期,一着不慎遇到劣迹艺人“爆雷”,就会遭受重大损失,这时将劣迹艺人抹除就是一个可行的方案,2019年的北京卫视春晚就是一个让观众赞叹不已的经典案例。

  抹除后,视频上就会出现一处空白,这时就需要视频补全来填入相应内容。可以说,视频补全和抹除是相生的关系。补全的难点在于,补好的视频要连贯自然,没有违和感,观众察觉不出来。而这个难点,正是“马栏山杯”要解决的问题。

  技术凸显价值  机遇给予勇士

  作为顶级的音视频算法大赛,“马栏山杯”吸引了众多顶尖高手参与。本届大赛吸引了1959支队伍参赛,较去年首届增长了51.4%,选手有的来自一流大学,有的来自一线大厂,都是计算机科研与工程界的一线实操者。比如视频补全的冠军惠政,就是来自西安电子科技大学的博士,目前在阿里达摩院实习。

  记者注意到,获奖选手一方面给出了不同的解决方案,另一方面又表现出某种共性,那就是深度学习成为大热门。以视频补全为例,前三名方案各有所长,冠军惠政是耗时最优(3.5个小时),亚军詹文鹏、黄峥在物理内存占用方面优势很大,平均消耗2.14G,季军薛昊岚、王攀在显卡内存占用方面一骑绝尘,平均消耗4.1G。虽然三者使用了不同的模型,但都是深度学习模型。深度学习是目前计算机科学领域的热门,通过让计算机学习样本数据的内在规律,从而获得对文字、图像、声音等数据的识别能力,这一技术在音视频领域有着重要的应用前景。

  技术重要,掌握技术的人才更重要。“马栏山杯”的另一个意义就是吸引优秀的算法人才来到长沙。颁奖盛典现场,陈搏、梁超签约芒果TV。

  记者还见到了去年大赛签约的美女程序员王心莹,落户长沙一年后,她对目前的工作状态十分满意。“单位氛围很好,和同事们的合作很愉快,我在这里能充分发挥专长。”王心莹告诉记者,视频补全就是她提出,经过大家讨论后成为赛题的,她在和选手唠嗑的过程中也学到了很多。王心莹如今在长沙算是站稳脚跟,丈夫也在寻找长沙合适的工作岗位,等到夫妻团聚后就真正扎根在星城了。“我感觉长沙非常重视人才,单位在解决配偶工作方面,也给予了我很多支持。”王心莹说。

  降低行业成本  提高用户体验

  在颁奖盛典现场,还展示了很多“黑科技”。

  YAOYAO是芒果TV首个虚拟主持人,大家也可以叫它瑶瑶。其实瑶瑶身上也有真人影子,即通过真人运动来驱动虚拟人运动,这一技术叫动作捕捉。2008年的电影《阿凡达》全程运用动作捕捉技术完成,在大银幕上创造了如梦如幻的潘多拉星球和蓝皮肤的纳美人,是里程碑式的作品。

  正如《阿凡达》的例子,演员拍摄时需要穿上专门的动捕服,粘贴标记点,动作捕捉技术成本十分高昂。对此,芒果TV创新研究院研发了iPad动捕系统,用四台iPad取代了繁杂的动捕服穿戴设备。具体来说,四台iPad布置在四个角落,围成一个舞台空间,演员在中间活动,iPad记录到人身上的22处骨骼信息,对应到虚拟人身上,实现虚拟人的动作表达。

  产品经理杨先生介绍说,这一技术能降低动作捕捉90%以上的成本,在精度要求没那么高的场景有着广阔的应用。比如视频直播领域,一些外形不佳的主播就可以创建虚拟主播形象。

  三大赛题之一的音乐节拍检测,则通过识别音乐的强弱拍,提高用户的观看体验。在出题的时候,组委会专门请来音乐专业的学生,人工标记强弱拍。而如今借助算法,这一过程已经完全自动化了。负责人谭松、罗准介绍说,在微博、抖音、B站上,常常能看到那种节奏感特别强的踩点视频,观众甚至都忍不住跟着抖腿。通过音乐节拍检测,乐感不强的人也能方便地制作踩点视频。此外,音乐节拍检测与手机发光、震动功能相结合,还能模拟出录制现场、KTV的效果,让观众听音乐时如临现场。目前,这一功能已经在芒果TV的App上得到了应用。

【作者:尹玮】 【编辑:肖彪】
关键词:马栏山 音视频算法
>>我要举报
晚报网友
登录后发表评论

长沙晚报数字报

热点新闻

回顶部 到底部