和JRs分享一下我们团队在AI足球解说的工作
小弟从小受到爷爷的影响,喜欢看各种体育运动,几乎是守着CCTV5长大。读博以后希望做一些真正热爱的内容,跟导师一拍即合,尝试做体育方面的AI课题,并且从传播度最广的足球先行入手。
今天两个杯赛都结束了,也趁着热度宣传一下我们团队(上海交大&上海AI Lab)在欧洲杯和美洲杯期间开源的,一个关于AI足球解说的前期工作 "MatchTime: Towards Automatic Soccer Game Commentary Generation." 这篇工作专注于对于足球比赛的长视频理解,和对于一些关键事件的时间戳对齐,是我们关于AI足球解说的系列工作里面的第一篇(后续正在制作中)。
一些参考链接:
演示视频: https://www.bilibili.com/video/BV1L4421U76m
文章链接: https://arxiv.org/abs/2406.18530/
网页: https://haoningwu3639.github.io/MatchTime/
数据集: https://huggingface.co/datasets/Homie0609/MatchTime
模型文件: https://huggingface.co/Homie0609/MatchTime
🎉关于项目的一些细节概述:
i) 观察到现有数据集中普遍存在的视频文本偏差,我们手动注释了49场比赛的时间戳,建立了一个更强大的足球比赛评论生成基准: SN-Caption-test-align。
ii) 此外,我们提出了一个多模态时间对齐流水线,用于大规模自动校正和过滤现有数据集,创建一个更高质量的足球比赛评论数据集用于训练: MatchTime。
iii) 基于我们的精选数据集,我们训练了一个自动评论生成模型: MatchVoice,它可以准确地合成职业足球比赛的文本评论。
iv) 广泛的实验已经证明了我们对齐流水线的有效性,并且在我们制作的数据集上的训练模型在文本评论生成方面达到了最先进的性能。
感谢您能看到最后,对于现阶段来讲,人工智能在体育领域的应用更多是数据的搜罗和一些框架的
套壳,所以我们目前能做的更多就是构建一个更好的数据库,来推动这个领域的发展。对于我个人而言,我想投身这个领域的梦想就是通过AI让更多人感受到体育本身的魅力和激情。尤其在职业化和大众化程度慢慢摸索着走向正轨的中国足球,希望我们也能贡献一份微薄的力量。欢迎JRs交流和批评指正捏。🎉
- 上一篇:篮球艾琳回放_难忘的同学作文提纲
- 下一篇:中国体育回放能快进吗_中国体育回放在哪看
相关文章
- 火箭元老官宣回归50岁教头重掌毒蛇新赛季冲击第五冠
- 格拉斯纳球队表现还可以但这并不是我们能展现的最好表现
- 韦世豪红牌徐正源怒了中超混乱大战2红8黄费利佩补时绝平
- 汪海健为何在申花表现平平却依然赢得伊万青睐四大原因揭晓
- 足球回放在哪看比赛_足球回放在哪看比赛直播
- 中国体育回放能快进吗_中国体育回放在哪看
- 冬奥最新战况实时回放_中国创冬奥会历史最佳战绩
- 神兵天降帕尔默登场3分钟触球4次就破门
- 中国女足伊朗完整回放观看_中国女足亚运会2023赛程表格
- 马杜埃凯入选英格兰队是我的荣幸自己的射门感觉在提升
- 天下足球回放_体育台播足球比赛精彩回放的歌叫什么名字
- 哪里能看到羽毛球比赛回放_请问在哪能够免费的羽毛球比赛的视频呢
- 湖人队打勇士队回放_勇士湖人g2回放在哪看
- 官方南安普顿签下阿森纳门将拉姆斯代尔转会费2500万磅
- 冷静下来分析一下伊万科维奇的思路