故宫博物院建院100周年的时刻来临之际 两者携手 火山引擎与故宫博物院 依托豆包・视频生成模型Seedance 1.0 Pro 以及豆包・图像创作模型Seedream 4.0 推出了《故宫宝贝团圆夜》创意视频 达成让故宫馆藏的文物于数字世界里“活跃”起来的效果 。
一支中秋视频被准备制作,这个影片把陶瓷馆、书画馆、家具馆、雕塑馆当作叙事空间,这些地点在故宫博物院。并且东汉、北宋、明、清等超二十件文物被“活化”,具体表现为太和殿前的铜龟在作品里被玉兔唤醒,王献之《中秋帖》获得灵动的特质,三彩马扬蹄而起奔赴月宫。紫禁城中的文物瑰宝借助豆包大模型的助力向观众生动“走”来。首次运用影视级视频生成技术,复原出可感知的历史现场,让故宫“走”到观众面前,让历史在眼前演绎。
视频里,“紫檀重檐楼阁式嵌珐琅更钟”按时敲响,“青花三友花卉玉兔纹盘”中的玉兔猛地跃下,往来于宫墙殿宇当中。所过之地,“酱黄釉陶犬”受惊醒来,“定窑白釉孩儿枕”上的孩童揉了揉双眼,石子桌上的白玉酒壶和花卉盆景也参与了这场中秋团聚。
豆包两大模型协作“执导”,重现文化新生命
这场视觉盛宴的背后,有着技术驱动,这技术驱动来自火山引擎的豆包大模型,豆包图像创作模型Seedream 4.0负责“演员定妆”,其得以确保每个文物的AI形象一致性,豆包视频生成模型Seedance 1.0 Pro担当“导演”,它通过运镜调度、动作协调等实现影视级视频生成。二者协同进行运作,建筑方面,把故宫的,太和殿、慈宁宫、武英殿、文华殿等,建筑逐个进行复刻,文物方面,东汉至明清的,二十余件文物担当演员,在中秋月夜,演绎这场,文物瑰宝“复活”影像大片 。
超强主体一致性,保证文物形象不失真,Seedream 4.0 依靠超强主体一致性能力以及“细节控”特质,从多角度提取文物关键信息,比如毛发柔顺的玉兔,憨态可掬的孩童,精准的文物细节为 Seedance 1.0 Pro 生成视频提供了具有高一致性的图像基础。
Seedream 4.0 能够生成质量达到商业应用水准的 4K 超高清图像,具备 4K 直出的特性,且拥有影视级美感,配合 Seedance 1.0 Pro 的“无缝多镜头叙事”能力,观众能够跟随玉兔的脚步“一镜到底”探索故宫角落,打造出沉浸式体验。
超高的运动稳定性,可再现物理世界的真实感,视频里花瓣飘落,还有釉面高光等画面,Seedance 1.0 Pro的多维度奖励模型,以及反馈学习机制,能够保障画面的稳定,呈现出和真实世界并无多少差别的效果。
使其具备复杂场景调度能力,达成进行多角色有序协同的目标,在诸如要面对玉兔与陶犬,联合仙鹤等情形,也就是多文物同处一种环境同时出现的复杂场景这种状况下,型号为Seedance 1.0 Pro能够针对多个主体开展独立控制,可以精准地去确定设置其动作的时序,以及路径这方面的确定设置,进而让叙事变得更加具备合理性,朝向有序方向去发展进行,也能够让画面变得更加生动,呈现出自然的状态。
AI 助力文化传承,文物“活”出新温度
不在于冰冷,而在于理解以及连接的技术,有着这样一种温度,能让当下的人们,以一种直观的方式,去感受历史跟文化交汇时所涌出的脉搏。现如今,故宫博物院里头,已经有超过100万件文物,完成了数字化的采集工作,“数字文物库”这个平台,文物影像的收录数量,已经达到了10万件,凭借着“云端建库”这样一种创新的模式,那些深藏在宫墙之内的文物瑰宝,正以一种开放的姿态,慢慢地走向大众 。
与此同时,火山引擎在文物活化领域持续探索,在文化传承领域也不断钻研。于数字文博之中,火山引擎以 AIGC 技术绘制非遗百景图,将中国传统技艺生动予以展现。其与北京大学联合研发的“识典古籍”平台,已开放超 3 万部古籍。另外,火山引擎运用数字活化技术,把山西高平二郎庙金代戏台以及北京正乙祠古戏楼等历史建筑生成数字资产,打造出“虚拟直播间”,使观众能够远程“触摸”这些历史建筑,为传统戏剧的当代传播提供助力。
此次由火山引擎跟故宫博物院共同推出的AIGC中秋视频,属于双方于文化传承范畴的再度深度共创行为。依靠数字技术,处于沉睡状态的文物自展厅“跃出”,以生动姿态进入公众的精神生活,文化血脉在创新进程里得以延续,进而焕发出全新的生命力 。
当千年的文明跟前沿的科技相互融合的时候,我们不但见证了技术的跨越,还见证了文物的“苏醒”,并且更感受到了传统文化在当代的传承以及新生。