國產文生視頻大模型“築夢”亮相助央視製作AI動畫片《千秋詩頌》

上海 26℃ 0
摘要:

  記者俞陶然

  在日前舉行的中國首部AI動畫片《千秋詩頌》啟播暨中央廣播電視總臺人工智慧工作室揭牌儀式上,上海人工智慧實驗室研發的文生視頻大模型“書生·築夢”亮相。這個AI模型已經開源,授權用戶組織免費商用。它的參數量超過30億,可根據輸入的提示詞生成有故事性、含多鏡頭的分鐘級視頻,具有轉場流暢、故事連貫、畫質高清等特點。

  “由於數據、算力等資源限制,‘築夢’在視頻生成能力、時長、質量上與Sora還存在差距。”上海人工智慧實驗室領軍科學家林達華說,“隨著同總臺的深度合作,實驗室研發的模型在對中華文化的理解表現,以及與媒體編創實際生產流程的融合上,逐漸顯露出特色優勢。這類產研結合的新技術發展模式,將使我國AI科技發展走出差异化道路,並形成我們的文化特色。”

  國內首部文生視頻動畫問世

  上海人工智慧實驗室是我國人工智慧領域的新型科研機構,開展戰略性、原創性、前瞻性的科研和技術攻關,旨在突破人工智慧的重要基礎理論和關鍵核心技術,支撐我國人工智慧產業實現跨越式發展。現時,實驗室已聯合高校和企業,開發出“書生·浦語”“書生·浦語靈筆”“書生·浦語數學”等一系列大模型,並通過GitHub等平臺實現開源,並給予企業和開發者免費商用授權,打造大模型開源創新生態。

  “書生·築夢”是“書生”系列大模型之一,可賦能視頻創作。它與文生視頻框架AnimateDiff以及可控影像生成、影像驅動等科技結合,在動畫片等視頻領域有廣闊的應用前景。其中,文生視頻框架AnimateDiff無需額外的數據收集和定制化訓練,就能一次性、快速地為大多數個性化文字轉影像模型提供動畫效果。用這個框架製作的AI視頻已亮相今年央視春晚,成為歌曲《枕著光的她》中溫馨的動畫背景。

  去年,上海人工智慧實驗室與中央廣播電視總臺開始合作。去年7月,雙方聯合發佈“央視聽媒體大模型”。這是國內首個專注於視聽媒體內容生產的大模型,集聚了總臺的海量視聽數據和實驗室的原創先進算灋、大模型訓練基礎設施優勢。

  林達華介紹,“央視聽媒體大模型”包含新聞助手、數字人、文生視頻、動畫製作、場景渲染等功能板塊,融合了“書生·浦語”大語言模型、“書生·築夢”文生視頻大模型等AI多模態產品。

  如今,利用“書生·築夢”等AI工具製作的系列動畫片《千秋詩頌》已完成,將從2月26日起在總臺綜合頻道(CCTV-1)播出。這一國內首部AIGC(人工智慧生成內容)系列動畫片共26集,每集約7分鐘,其美術設計、動效生成和後期成片均由人工智慧輔助製作,具有里程碑意義。

  有望形成差异化國際競爭力

  《千秋詩頌》聚焦國家統編語文教材裏的200多首詩詞,依託“央視聽媒體大模型”,將這些詩詞轉化製作為國風動畫。節目首批推出《咏鹅》等6集詩詞動畫,再現古典詩詞中凝聚的家國情懷和人間真情,讓觀眾特別是青少年感受到中華文化的恒久魅力,在內心厚植文化自信。

  大模型是如何生成這部動畫片的?林達華展示了一些製作環節:在“央視聽媒體大模型·AIGC動畫製作”介面上,上傳一張唐朝青年男子的“參攷風格圖片”,隨後在“概念設計描述”文字方塊裏輸入“中國風,唐朝,中年,清秀,男性,淡綠色衣服”,幾秒鐘後,一個符合這些提示詞的動畫人物形象就出現在荧幕上。

  按照這個流程,動畫片裏的各種唐朝人物很快誕生,節省了動畫人物美術設計的大量人力和時間成本。“中國風,唐朝,女孩,圓潤,粉白色裙子”“中國風,唐朝,軍官,年紀較大,男性,嚴肅”“中國風,唐朝,壯年,男性,灰色帽子和灰色服裝”……記者看到,大模型生成的人物形象都與提示詞相符,畫風也頗為精美。

  據介紹,這些動畫人物的服飾都符合唐代服飾特點。不僅如此,動畫片裏的建築、器皿、擺件等道具也都有歷史依據,參攷了博物館文物和相關圖片。如片中的熏香爐源自陝西歷史博物館的“透雕忍冬紋五足銀熏爐”;孟浩然桌上的茶具是由AI科技復原的唐代“七星盤”;城門則是在參攷唐代丹鳳門的基礎上,用AI科技風格化處理後創作而成。

  在訓練“書生·築夢”時,科研團隊和節目導演給它輸入了大量包含中國傳統文化的精准數據,讓它能生成有歷史依據的人物、場景等圖片,其美術風格具有中國水墨畫和工筆劃的特質。

  在場景和建築美術設計環節,輸入“中國風,唐朝,官員宴客廳”等提示詞後,“書生·築夢”即可再現大唐場景。在輔助動效生成環節,選取一張官員圖片,再輸入“唐朝,一個官員,哈哈大笑”,就生成了官員端起酒杯大笑的短視頻。

  AIGC科技製作的動畫片質量到底如何?近日播出後,將由觀眾評判。在林達華看來,這種科研機構與傳媒機构合作的科技發展模式,有望形成差异化的國際競爭力,實現科技和文化的協同創新。

标签:

評論留言

  • 熱心網友
    暫時沒有留言

我要留言

◎歡迎參與討論,請在這裡發表您的看法、交流您的觀點。【所有評論需要人工稽核後才能顯示,請勿發佈垃圾資訊】