巴黎奧運如火如荼,商湯科技與SMT共同用AI技術(shù)助觀眾洞悉精彩。
在本屆奧運會射箭比賽項目全程賽事轉(zhuǎn)播中,商湯科技與上海東方傳媒技術(shù)有限公司(SMT)再度合作,聯(lián)合打造「智慧體育-InnoMotion AI賽事轉(zhuǎn)播升級解決方案」,通過三維運動捕捉技術(shù)與AR特效渲染引擎,實現(xiàn)射箭賽事數(shù)據(jù)采集與可視化轉(zhuǎn)播升級。
這是AI三維動捕技術(shù)在奧運射箭比賽轉(zhuǎn)播中的首次應用,從張弓搭箭,到一擊命中,做到了“百步穿楊”的精髓解密。
看射箭比賽,軌跡、落點是根本,指標對比是門道
射箭運動,既專業(yè),又趣味。
能否做到“百步穿楊”,箭矢在射出瞬間的初始狀態(tài)至關重要,十分考驗運動員動作和環(huán)境感知能力。
相信很多人在影視作品中都看到過類似場景,技藝超群的弓箭手每次彈指一揮,箭矢就會筆直地劃過一條優(yōu)美的拋物線飛向目標。
但實際上,箭矢在離弦一剎那,會受到弓弦彈力影響而發(fā)生動態(tài)彎曲,并導致在飛行過程中像魚一般左右擺動。刮風、下雨等天氣變化,也會影響箭矢的運動姿態(tài)。
箭矢的最終飛行軌跡,決定了能否命中靶心。
準確感知風速、精準掌握力道,才能以最佳的最高點離地距離、速度和飛行距離這些關鍵技戰(zhàn)指標,制勝賽場。
這些指標也能很好地反映一名運動員的水平、技術(shù)特色、發(fā)揮穩(wěn)定性,以及面對不同環(huán)境的技戰(zhàn)術(shù)靈活性。
然而,在通常轉(zhuǎn)播中觀眾只能關注到兩個重點:其一,箭的發(fā)射時間點。其二,是中靶的時間點。中間的過程往往缺乏相應的轉(zhuǎn)播語言。
AI,就是那位解讀賽場奧秘的“第二解說員”,讓觀眾不僅能看到結(jié)果,更能看清過程。
AI三維運動捕捉全程追蹤,揭開“百步穿楊”奧秘
做到這一點,難點在哪?
捕捉目標小、速度快:箭矢平均速度可達67米/秒,而直徑僅有5毫米不到。
箭矢飛行軌跡不平滑:飛行過程中箭體的動態(tài)彎曲和擺動,增加了軌跡捕捉難度。
室外范圍大環(huán)境復雜:在70米 x 20米室外大場地舉辦的射箭比賽會面臨各種天氣狀況,視覺識別干擾大。
商湯和SMT聯(lián)合打造的「智慧體育-AI賽事轉(zhuǎn)播升級解決方案」,將難題逐一破解。
通過實時捕捉箭矢特征值,結(jié)合AI算法融合得出高精度空間3D坐標,并與SMT的AR渲染引擎對接,實現(xiàn)了多元視覺特效的精準疊加,最終完成真實賽事場景的數(shù)字化映射。
針對小目標跟蹤難題:通過精準的設備選型及針對性算法優(yōu)化,實現(xiàn)了復雜場景下高速運動小目標物體的檢測和跟蹤算法能力,提升箭矢檢測位置精度。
針對軌跡不平滑難題:基于捕捉圖像內(nèi)容,在算法層進行針對性優(yōu)化,實現(xiàn)了對箭矢軌跡的平滑處理。針對場地范圍大、干擾多難題:提升算法泛化能力,降低晴天、陰天、雨天等天氣變化帶來的影響,使系統(tǒng)具備抗復雜環(huán)境干擾能力。
勾勒箭矢軌跡并給出詳實數(shù)據(jù),包括最高點離地距離、速度、飛行距離
不同箭矢落點偏移距離數(shù)字化特效顯示,達到了厘米級精度
數(shù)字化特效還原不同箭矢起射位置和整體軌跡
*以上視覺呈現(xiàn)效果由SMT提供
比賽期間,每一輪實時轉(zhuǎn)播畫面都呈現(xiàn)出直觀、精準的數(shù)據(jù)和軌跡,收獲了現(xiàn)場觀眾與導播的高度評價,"Fantastic!"
「智慧體育-AI賽事轉(zhuǎn)播升級解決方案」的應用,為賽事方和專業(yè)觀眾提供了更精準、更有故事性的分析數(shù)據(jù),同時也以直觀、沉浸的方式向大眾科普了射箭運動的精髓。
除射箭比賽外,商湯與SMT合作開發(fā)的InnoMotion賽事轉(zhuǎn)播方案,也應用于本屆奧運會乒乓球項目的全程賽事轉(zhuǎn)播,以AI技術(shù)精準呈現(xiàn)乒乓球的轉(zhuǎn)速、落點和軌跡特效。
用AI為奧運喝彩,為中國奧運健兒加油。商湯和SMT也將繼續(xù)深化合作,持續(xù)推動更多體育品類賽事轉(zhuǎn)播的可視化、智慧化升級,讓更具參與感的觀賽體驗,惠及更多觀眾。