系列动画片《千秋诗颂》,将于2月26日起在总台归纳频道(CCTV-1)播出。
《千秋诗颂》叙述了叙述了李白、杜甫、孟浩然等诗人的诗词及人生故事,共26集,每集约7分钟。影片从美术设计到动效生成,再到后期成片,均为生成式AI辅佐制造。
跟着OpenAI推出的Sora掀起新的热潮,AI文生视频及图片被以为将首要革新影视职业,但国内外干流电视台一向未有AI生成的大型系列影片播出。
《千秋诗颂》由中心广播电视总台联合上海AI实验室等同伴,依据央视听媒体大模型打造,首要敞开生成式AI发明影片在干流电视台播出的先河。
依据上海AI实验室大众号,发明者经过简略的“风格参阅图片+提示词”,就能完结《千秋诗颂》的人物、场景、动效等很多元素的生成。
《千秋诗颂》导演泄漏,AI使得团队发明从一个月1集加速到一个月3集,速度提高两倍。这部AI辅佐生成式动画的体会作用怎么?背面有咋样的技能原理?让咱们来提早一探终究。
首要来看看《千秋诗颂》中的场景镜头,如下图所示,一只雄鹰飞向灯火通明的夜国都,相似《长安三万里》的大片即视感立马有了。
镜头一转来到雪天的山区,远处馆中的几个小人在演奏乐器,周围人拍手称誉,雪花从天上慢慢地落下。
中年的高适与李白二人碰杯对饮,风雪变慢,李白要为这位知音演奏一曲,雪中送行。
看完剧情镜头,再看看快镜头,李白策马而来,背面的场景斗转星移,也是酷炫感十足。
从这些宣传片里的画面来看,这些动画镜头在全体上完结了人物、场景、构图、动效、颜色及运镜方面的挨近人类的发明水平。
2023年7月,央视总台和上海AI实验室在联合推出了央视听媒体大模型。《千秋诗颂》从美术设计到动效生成,再到后期成片,正是依据这一大模型完结。
这一影片背面的制造的过程是怎样的?有什么技能原理?经过央视频直播及上海AI实验室大众号,咱们得以一探终究。
在人物生成方面,发明者上传参阅风格图片,并增加一些文字描述,点击“生成概念”,便能够一键生成人物。
而针对五官特色等更为精密的内容,依据上海AI实验室大众号音讯,则由后期团队“精雕细琢”完结。
依据上海AI实验室大众号报导,在央视视听大模型中,输入多段视频或图片素材,即可主动生成转场动画,完结不同场景和视频之间的“丝滑”衔接。
依据首创的主题一致性模块,央视听大模型生成的动画还可完结“多机位”作用,坚持故事情节的连接和崎岖。
在动态作用方面,发明者选取主角目标,然后输入动态作用提示词,便能得到动画作用。
比方选取一个官员的使命形象,输入“唐朝,一个官员,哈哈大笑”,就能生成对应的动画。
为了更真实地呈现古诗词中的人物和故事,导演团队在发明中坚持以史实为根底,片中的修建、酒具器皿、摆件等道具的发明依据源自博物馆现存文物及图片。
运用AI有关技能,研讨团队对这些文物进行动画恢复,让文物“活”了过来。比方孟浩然桌上的茶具,由AI技能动画恢复唐代独有的“七星盘”。
依据上海AI实验室官方大众号,该片使用了实验室的视频生成大模型墨客·筑梦、文生视频结构AnimateDiff及多项可控图画生成、图画驱动等技能。而央视听媒体大模型用到了上海AI实验室墨客通用大模型系统的言语才能、常识系统以及内容了解和生成才能。
一起,为了让央视听媒体大模型具有了解古诗词的才能,节目导演与科研人员对大模型“投喂”了很多精准数据并进行练习,使其可准确生成契合前史依据的人物、修建、场景等美术图,美术风格契合中华民间传统文化的水墨、写意等风格化传统审美。
本年2月,OpenAI推出了文生视频大模型Sora,该模型能依据提示词生成长达1分钟的视频,比较Runway、Pika等主攻AI视频创企完结跨代晋级作用,在影视职业引起了轩然,一些忧虑AI完全砸掉影视人饭碗的声响开端呈现。
对此,《千秋诗颂》导演以为,“AI不是要代替人类,而是协助人类提高了功率。比方,传统的纯人工制造,咱们团队一个月只能做一集,现在一个月能够做三集。”
2月19日,国务院国资委举行“AI赋能 工业焕新”中心企业AI专题推进会。会议着重,中心企业要把展开AI放在大局工作中统筹策划,深化推进工业焕新,加速布局和展开AI工业。
中心广播电视总台于2023年7月联合上海AI实验室发布了 “史视听媒体大模型 ”,并初次使用于总台归纳频道系列诗词动画片《干秋诗领》的发明。
影视职业革新的大潮现已滚滚而来。本次,央视总台联合上海AI实验室、上海交通大学、清华大学、北京大学、华为、科大讯飞及智谱篇章公司,联合创立了央视听媒体大模型研制共同体。
依据《“央视听媒体大模型”研制共同体倡议书》,该共同体将经过敞开渠道与国内有实力的科研机构和企业协作,本共同体将秉持敞开同享、活跃立异、协作共赢的准则,在科研攻关、需求使用、安全展开、工业生态等方面展开协作。
经过推出AI生成动画片,央视总台作为影视范畴的有突出贡献的公司,首要下场创始AI生成影片在干流电视台开播的先河。尽管画面也有一些AI生成的痕迹,但影片的全体作用现已向人工发明看齐,而且功率大大提高。
央视与上海AI实验室的协作创始了生成式AI落地的新范本,“通用模型+职业数据”的笔直模型打法让我国AI在特定范畴,有望更快走在国际的前列。尽管Sora发明的技能顶峰仍有待工业攀爬,但经过串联多种技能东西,结合实际场景,完结更好使用作用,不失为一种可取的技能立异途径。