電影《A計劃》中有段經(jīng)典橋段——
只見卓一飛(洪金寶飾)怒吼一聲,,七步上前,一刀砍斷狄威的長劍,。失去了武器的羅三炮(狄威飾)再無招架之力,,被逼退至角落倒地。
然而,,一秒之內(nèi),,局勢逆風翻盤。
就在洪金寶大刀即將砍下之際,,狄威雙手著地,,向后倒立,兩腳一蹬,,大刀瞬間掉落,,狄威緊接著一個回旋踢,擊中洪金寶的右下顎,。
狄威是怎么一瞬間站起來并踢掉大刀的,?自1983年電影上映以來,困擾了很多觀眾,。
因為從動作連貫性來看,,這關(guān)鍵的“一秒”不符合常理。
在日前舉辦的第十四屆北京國際電影節(jié)“致敬·修復”單元,,首映的全新4K版《A計劃》揭開“一秒謎團”——狄威腰部發(fā)力,,用雙腳絞住洪金寶的手,洪金寶失去力氣,,大刀掉落,,發(fā)出清脆聲響。
2023年8月,,中國電影資料館,、抖音、火山引擎啟動“經(jīng)典香港電影修復計劃”,,應(yīng)用生成式人工智能(AIGC)技術(shù),,使電影在清晰度、流暢度,、色彩等方面實現(xiàn)質(zhì)的提升,。全新4K版《A計劃》是該計劃修復的百部影片之一。上述“一秒”謎團的破解,,就是利用智能插幀技術(shù)生成了“關(guān)鍵幀”,,還原了電影畫面的完整性。
近年來,越來越多經(jīng)典電影的數(shù)字高清修復版重登院線,,國內(nèi)外主流電影節(jié)紛紛開設(shè)“修復經(jīng)典”單元,。5月23日,修復完成的《飛鷹計劃》在第77屆戛納電影節(jié)的“戛納經(jīng)典”沙灘放映單元首次亮相,,令全球影迷耳目一新,。
“電影修復是保護電影遺產(chǎn)的重要舉措?!敝袊娪百Y料館副館長張小光說,,修復不僅是對經(jīng)典作品的致敬,更是科技與藝術(shù)交融,,助力電影文化產(chǎn)業(yè)新發(fā)展,。
AIGC技術(shù)如何讓老電影“復活”?視覺大模型如何拓展視頻應(yīng)用場景,?科技與文化的融合又會催生哪些新業(yè)態(tài),?科技日報記者就此進行了深入采訪。
增效提“質(zhì)”,,大模型“修舊如舊”
張小光說,,入選“經(jīng)典香港電影修復計劃”的百部電影制作時間主要集中在1970年至1990年間。這些影片見證了香港電影應(yīng)對國際市場與文化潮流進行的多種類型化探索,?!皩@批電影進行修復,初衷是為了搶救瀕危影片,。我們希望通過技術(shù)修復,,讓這些經(jīng)典影像煥發(fā)新光彩,延續(xù)經(jīng)典作品的活力和生命力,?!?
然而,傳統(tǒng)的電影修復流程繁雜,,時間漫長,。以往4K修復過程,一般要經(jīng)過對膠片本身的物理修復,、數(shù)字修復和優(yōu)化效果進行的藝術(shù)修復3個步驟。其中,,數(shù)字修復環(huán)節(jié)最復雜,,要將膠片轉(zhuǎn)為4K分辨率的數(shù)據(jù)圖像文件,并逐幀摳掉畫面中被破壞的部分,。一位經(jīng)驗豐富的修復師需要1個月時間,,才能修復完成一部電影。
現(xiàn)在,這項工作可以交給工程師,。他們利用電腦屏幕上一行行跳動的代碼,,讓修復效率成倍提升。
火山引擎視頻云技術(shù)架構(gòu)總監(jiān)王悅介紹,,“經(jīng)典香港電影修復計劃”中,,火山引擎首次將AIGC技術(shù)應(yīng)用于老電影修復,借助視覺大模型強大的生成能力和豐富的先驗知識,,實現(xiàn)修復效果在清晰度,、色彩、流暢度和瑕疵消除等方面的全方位提升,。
參與4K修復項目的火山引擎多媒體實驗室,,日常工作是在短視頻供需兩端做畫質(zhì)上的提升:一方面,在創(chuàng)作者上傳視頻至服務(wù)器時,,盡量減少畫質(zhì)的損耗,;另一方面,當用戶打開抖音觀看時,,無論其手機終端是多落后的硬件,,也能保證觀看的最佳效果。這一過程,,需要工程師針對不同的手機性能設(shè)定不同的算法,。
“大模型具有強大的信息結(jié)構(gòu)化能力,在學習了海量數(shù)據(jù)對后,,可以從中提煉出大量的知識并‘存儲’在模型參數(shù)中,,其生成空間更豐富,能夠應(yīng)對更多的修復場景,?!蓖鯋傉f。
于是,,這類算法找到一類新的應(yīng)用場景——電影修復,。
根據(jù)影片需要修復的問題,工程師通常會先參考前沿的論文,,然后跑代碼,、調(diào)方案,最終找到最優(yōu)方案,。
例如,,《飛鷹計劃》是動作片,鏡頭多且轉(zhuǎn)換快,,修復難度大,,原有技術(shù)方案并不能完全解決這些問題。幾經(jīng)周折,當工程師拿出修復的第一版,,從技術(shù)上已一一達標,。但中國電影資料館專業(yè)人員給出的反饋卻是:這樣的修復失去了電影本身的質(zhì)感。
針對這一問題,,技術(shù)團隊專門研發(fā)出一款全新算法,,利用AI模擬出膠片噪點,在提升畫質(zhì)的同時,,遵循“修舊如舊,,尊重原創(chuàng)”的修復原則,保持老電影的復古風格和質(zhì)感,。
調(diào)試過程中,,網(wǎng)民也參與了方案的選擇。當時,,火山引擎發(fā)起影迷在線測評,,用戶掃碼進入抖音上的測評界面,便能看到兩個不同版本的修復方案,。最終,,他們選擇了多數(shù)用戶投票的方案。
精益求精,,老電影煥新如新
由于拍攝條件,、存儲方式等諸多因素,老電影往往帶有嚴重的膠片噪點,,且分辨率較低,,畫面質(zhì)量也參差不齊,很多畫面模糊不清,。傳統(tǒng)的修復方法主要關(guān)注光影,、色彩、美學等因素,,AI修復則擅長從清晰度,、流暢度等方面提升畫面質(zhì)量。
火山引擎多媒體實驗室工程師張英杰告訴記者,,在提升流暢度方面,,可以利用智能插幀算法,通過對前后幀的內(nèi)容進行光流估計,,并根據(jù)光流信息生成中間幀,,提升視頻幀率。
修復《A計劃》就是典型的例子,。“特別是武打片段,比如用AI預(yù)測出一個90度轉(zhuǎn)頭動作的中間值,,插入一個虛幻的45度角畫面,,就能讓轉(zhuǎn)頭動作更順滑流暢?!睆堄⒔芙忉?。
提升影片的清晰度,則需要修復模糊的畫面,。但模糊成因復雜,,在拍攝、儲存,、拷貝翻印,、膠片數(shù)字化以及壓制導出的過程中,都可能對清晰度造成影響,。過去,,修復人員通常很難獲得精準的“模糊核”。
火山引擎多媒體實驗室研究員趙世杰介紹,,AI可以從低質(zhì)數(shù)據(jù)中抽取不同程度的模糊視頻,,利用相關(guān)統(tǒng)計方法進行真實的退化和損失估計,并通過主觀驗證進一步篩選視頻,。同時,,在自建的高清影視數(shù)據(jù)集中,生成“模糊—清晰”匹配數(shù)據(jù)對,,來訓練機器學習從低質(zhì)到高清的潛在映射關(guān)系,。這樣就能快速分辨出不同影片、不同畫面模糊的原因,,提升修復效率,。
在老電影修復中,人像是需要重點關(guān)注和優(yōu)化的,。這次修復百部經(jīng)典港片,,AI提供了老舊人像修復和人像超清化等不同的解決方案。使用基于AIGC的人像修復模塊,,可在保持人像真實特征的前提下,,進行高清五官重建。
“對于畫質(zhì)低的人像,,我們優(yōu)化了人像模型在時域上的清晰度和穩(wěn)定性,,對遠中近景不同大小、不同姿態(tài)角度,、不同遮擋程度的人臉都有較好的修復增強效果,。對于一些中高質(zhì)量的人像,,我們使用人像超清模塊,優(yōu)化五官清晰度,,最大限度還原睫毛,、眉毛、發(fā)絲和膚質(zhì)等臉部細節(jié),,使修復后畫面更有質(zhì)感,。”趙世杰說,。
實際上,,AI不僅在數(shù)字修復環(huán)節(jié)大顯身手,在注重審美價值提升的藝術(shù)修復環(huán)節(jié)也擔當起“強助攻”,。藝術(shù)修復實際上是一個“二次創(chuàng)作”的過程,,能很大程度上彌補因當年電影技術(shù)種種局限留下的遺憾。
比如,,《武狀元蘇乞兒》中蘇燦(周星馳飾)和如霜(張敏飾)面對面凝視的那個瞬間,,還能有更好的呈現(xiàn)嗎?
工程師將畫面中張敏的人像部分與背景的環(huán)境分離,,用兩套不同的方案進行處理,,增強人像的同時,保留環(huán)境細節(jié),。利用AIGC視覺大模型,,把原本的算法推理步驟拆成上百步,通過運用增強的數(shù)據(jù)規(guī)模,、模型參數(shù)和算力,,自然還原了畫面的紋理細節(jié)。經(jīng)過多種方案對比,,工程師與修復師們共同討論,,確定了張敏最終的“盛世美顏”。
在中國電影資料館,,一些電影雖然修復完成,,但對于其膠片,依然會像文物一樣被用心地保存起來,。
“我們不確定若干年后,,是否還會有技術(shù)層面更進一步的創(chuàng)新和變革?!敝袊娪百Y料館館長孫向輝期待著未來,,在新技術(shù)加持下,修復師們還能修復出更好的版本,,讓更多珍貴影像走出“鐵盒子”,,重回大眾視野,。
落地生根,讓用戶觸手可及
隨著“經(jīng)典香港電影修復計劃”工作的深入,,視覺大模型也在不斷自我成長,。
“導演給出的一些藝術(shù)指導意見,可以用于引導大模型學習符合人類美學標準的畫質(zhì)修復和增強能力,。”火山引擎多媒體實驗室算法工程師張珂新說,。
“未來,,不僅一些老電影中音畫不同步的問題將借助AIGC得到更有效的解決,甚至有望讓AI對修復效果進行自動評判,?!毕愀鄢鞘写髮W計算機系助理教授馬柯德說。
AI進化是一個越用越好用的雙向增進過程,。張珂新說,,他們在修復過程中,把算法落地場景從電影修復拓展到抖音平臺的視頻,,促進了算法研發(fā)水平的不斷提高,。“經(jīng)典香港電影修復計劃”的技術(shù)成果也應(yīng)用到抖音,,讓用戶觸手可及,。
比如,在視頻處理方面,,用算法模擬電影膠片顆粒生成來提升影片質(zhì)感等,。在直播場景下,抖音在主播推流端,、平臺服務(wù)器端,、觀眾看播端都部署了相關(guān)畫質(zhì)增強算法,對直播全鏈路的畫質(zhì)進行優(yōu)化,,給主播和觀眾最好的收看體驗,。
AI正在加速滲透影視行業(yè),大模型的應(yīng)用場景不斷豐富,。除了老電影修復,,一些創(chuàng)作性任務(wù)如電影角色生成、電影文本生成,、劇本自動生成視頻等都可以利用大模型進行處理,。在國外,盡管禁止將AI作品視為原創(chuàng)素材,,但好萊塢編劇工會擬允許編劇在AI協(xié)助下創(chuàng)作劇本,。在我國,,芒果、騰訊視頻等也紛紛布局AIGC的使用和發(fā)展,,影視工具服務(wù)商一覽科技發(fā)布了業(yè)界首個“文本+圖片+虛擬人”視頻AIGC全域工作流,,試圖從根本上提升整個影視生產(chǎn)鏈的制作效率。
電視劇《三體》制片人白一驄曾說:“《三體》前期籌備需要八九千張概念設(shè)計圖,,與設(shè)計師溝通,、改稿一次就要耗費幾個月。但AI制圖,,或許一個下午就能完成,。”
在北京光線傳媒股份有限公司董事長王長田看來,,總體而言,,AI將成為行業(yè)可利用的一大工具。首先,,AI可以提升電影制作效率,,尤其是動畫電影;其次,,它可能降低成本,,這對于虧損率較高的電影行業(yè)來說無疑將是一個巨大的推動;最后,,AI作為一種技術(shù),,可以提升電影制作質(zhì)量,避免低質(zhì)量產(chǎn)品的出現(xiàn),。
當前,,AI+影視融合,催生全新業(yè)態(tài),。在湖南長沙馬欄山文化創(chuàng)意產(chǎn)業(yè)園,,落戶了芒果超媒、抖音,、愛奇藝,、騰訊、華為,、中影年年等一批行業(yè)領(lǐng)軍企業(yè),,視頻超算中心、5G高新視頻多場景應(yīng)用國家廣電總局重點實驗室等十幾個科技底座賦能內(nèi)容生產(chǎn),。2023年園區(qū)累計實現(xiàn)企業(yè)營收超1700億元,,稅收超95億元。
影視業(yè)面臨整個行業(yè)的洗牌,一些布局,、應(yīng)用AI較好的公司可能會迎來新的爆發(fā)點,。
(編輯:映雪)
