关于AIGC赋能影视创作的思考
作者
戴清,77779193永利官网教授、中国文艺评论家协会视听专委会秘书长
复旦大学中文系影视美学系列活动之一“AI艺术实践与未来影像发展”学术论坛,于2024年4月5日举行,本文为我院戴清教授参加此次学术论坛发言,经整理如下:
感谢杨俊蕾教授的邀请,十分荣幸能参加复旦大学中文系影视美学系列活动之一“AI艺术实践与未来影像发展”学术论坛。
没想到俊蕾刚才提到的Professor X竟然是艾伦·图灵先生,由这位人工智能之父致辞,你们这个创意实在太棒了,It's amazing!给我带来很大的冲击。图灵奖是数学、计算机类的诺贝尔奖,以数学天才、人工智能之父图灵之名命名,图灵的一生是传奇的,虽然只活了40多岁,但他对人类的贡献却是极高的,以他热情充沛的致辞开启我们的论坛,实在是既恰当又充满深意的。
“AI艺术实践与未来影像发展”学术论坛海报截图
刚才听俊蕾教授介绍今天的发言顺序是由AI确定的,让我这个第一位发言人稍感心安。起初我以为是因我虚长几岁,让我先发言,颇为诚惶诚恐,因为在AIGC这个领域我实在是一个后学者,在此就自己新近调研、学习的一点心得向各位同行专家和同学们汇报,意在抛砖,以引后续真正专家的真知灼见之玉。AIGC本身是一个新领域,我们大家也都在学习探索中,我不揣冒昧以一孔之见跟大家交流、请教,也请专家和同学们多多批评指正。
AIGC,在虚构生成上具有通用性——文生文、图生图、文生图……具有极大的通用性。这种通用性在目前现实世界人工智能的开发应用中还难以实现,比如人工智能可以在餐厅中穿梭送菜,却离研制出管家保姆这样高级的机器人差得很远;在虚实结合——如人工智能与现实接触的物理界面层面,更是难以达到其通用性,如雷达、监控等人工智能覆盖都有其虚实结合面临的较大局限性。最难的则是完全硬件的开发吧,如芯片,其通用性就完全不可与AIGC虚构生成式的全面开花同日而语,这也是考量AIGC已有成绩的一个基本参照。有玩笑说人们本来指望AI做保姆管家,以便解放人们,有闲暇去写诗画画。没想到正好相反,AI小冰们在艺术创作上一发不可收,而管家保姆的琐碎烦杂工作却仍由人类充任。其原因正是由于管家保姆需要做太多协调衔接的工作。
图片来自网络
AIGC中ChatGPT运用自然语言,现在人们用自然语言就能向 AI提问,不再必须经由程序员的代码指令操控,这是巨大的技术飞跃,当它应用到日常生活中,必将是全面渗透性的。对编剧工作来说,也将成为一个极大的赋能与助力,人机协同、“人爱”(AI)合一将成为新的创作趋势,AIGC不仅能提高工作效率、降低成本,如这句英文所说的:AI-Generated Everything. (AIGX),也将极大地改变现在、未来几代人的教育模式,这个冲击是前所未有的。畏惧、逃避没有用,只有直面它,像AI一样进行深度学习,当然我们的学习速度肯定赶不上AI,就像人跑不过汽车一样,所以更需要我们了解和把握AI thinking(思维),善于给它提问题,实际上提出问题永远比回答问题更难更重要。
图源:该论坛会务组依照发言题目和嘉宾信息,使用DALL·E生成
同时,作为老师,我们要向学生学习,在对ChatGPT、Sora等AIGC模型、软件的学习把握上,年轻一代更有优势,老师在教学中也要帮助学生去修正、完善和解释AI提供的答案,实际上AIGC带来的变化将挑战教师的传统教学、提问与考核方式。AIGC在认知上有时候是有缺陷的,有学者将其称为“新常人”,即知识渊博,又不时暴露其认知之平庸,同时它也具有创造力智者的一面。它对人们的赋能是一定的,比如《繁花》电视剧播出时,我通过百度开发的国内版ChatGPT4.0——文心一言提问,请GPT进行评论。它啰里哆嗦了一大通,这里我只截取了一小段。从中,我们发现它的话语中相关性很强,但因果性和准确性都很不足,深入细致程度、特色把握都差得较远。但我们不能忽略此时GPT还没有读过原作,也不了解电视剧情节全貌,也就是说它还不占有新的数据和信息——专业大数据语料投喂不足,GPT缺乏训练、深度学习不够,包括它的智能程度还依赖于我这样一个使用者/用户对专业领域的理解程度以及使用AI的深度,显然GPT还有发掘的潜力空间。
AIGC的创造力是令人刮目相看的,它可以给我们启发,帮我们打开一扇窗,进入一个开阔的天地。AIGC的核心竞争力是它强大的学习能力和多样的学习形态,如所谓监督学习、无监督学习、强化学习和深度学习。在此,各类学习,并不是一个个单纯的名词,它意味着不同的算法、算力和大数据。
图片来自网络
AIGC模型包含着众多的子概念和流程环节,如多头自注意力、注意力权重、位置编码……如ppt中列出来的这些名词。作为非技术人员,我们可能不了解其创造机制和数学、计算机原理,但是我们已能够运用这种大语言模型,初步了解其编码器与解码器的功能,包括上千亿 token的作用,以及其奖励模型对AIGC选择性的肯定,以及通过知识库、小样本、思维链的提示,去减少AI给出答案的错误与不确定性。这方面,与围棋比赛中人工智能AlphaGo可以战胜李世石、孔捷等国际高手的辉煌相对比,AlphaGo更带有确定性与单向维度,而AIGC则更倾向不确定和多维度——尤其是复杂叙事的生成。因此AIGC可以为我们的创作赋能,而不会像围棋人工智能AlphaGo那样完胜人类。
图片来自网络
在创作上,编导演负责的是从0到1的策划、创意环节,人的灵感和创造力是第一位的,而从1-N 中的部分则可由AIGC负责实操,同时编导们要不断修正它的错误,有时候GPT也会正儿八经地胡说八道,有时它连影视剧的人物关系都会弄错。你指出来,它会非常谦虚地道歉,但后面可能还是不可避免错误,其实这和它掌握的语料不足有关系。
未来的影视创作中,人机协作是趋势,如编剧团队中有分工,成熟编剧负责提供0到1的策划和创意,年轻编辑则主要承担和AIGC的沟通工作,彼此协作,团队的效率会大大提高。目前GPT4.0版已经能够承担影视剧策划写作剧本之用,较快的话,一天或许能够达到四五万字——即长剧本三集多的体量,如果几个团队同时创作的话,效率多高,大家可以推想。当然,这个前提是编剧、编辑创意沟通水平都很高,对GPT的训练和高质量语料足够多。如果只追求效率,也可能只生产出一堆垃圾。当下ChatGPT的写作方式,有一种被称为“静态计划”模式,即把整个故事线都策划出来,再生成故事,就是说前期的工作很细致很扎实,情节的连贯性和丰富性也就更强。
图片来自网络
实践出真知,面对新事物,最好的学习方法就是去尝试,因此我也进行了一点儿小实践——我不是编剧,只是试着提出一个创意,稍后详谈。
一般而言,ChatGPT在写作、分析剧本方面有很多优长,关键在于编剧需要像程序员一样去了解它的思维特征,ChatGPT需要清晰的要求,也需要细分要求,还需要不断的细化深化、纠错补充,而不是一蹴而就。目前经典叙事结构比如金字塔结构、英雄旅程结构运用得较多。GPT可以针对剧本的人物、情节、结构、节奏、风格等方面进行创作。不仅写作高效率,还可以仿效多种文风,比如它的小说写作,可以模仿马尔克斯、玛格丽特·杜拉斯等作家的语言风格;悬疑推理影视剧创作,可以仿效阿加莎·克里斯蒂戏剧模式,以及变换视角呈现等等,这些都是AIGC的强项。这方面如果由编剧个人来完成会非常耗时费脑。其他流程工作,如制片需要根据某演员档期,集中安排拍摄该演员的戏,可以让人工智能(实际上excel统计也可以部分完成)去统一安排统筹,规划详细到各场戏涉及哪些场景、和其他演员的对手戏等。在管理上、创作上,人工智能的都可能发挥强大作用。
图片来自网络
为了了解、测试AIGC的创作能力,我在文心一言上设计了一个小创意(再次强调,我不是编剧,但我们每天都在看故事、琢磨故事),故事创意围绕影子爱人展开:每个人都有影子,故事当中的主人公——年轻人柳丛的影子是有灵魂的,她无条件地爱着柳丛。最终,影子爱人为了保护柳丛而消失了。从此,柳丛就踏上了对影子爱人的追寻之路。
我告诉AI这个创意后,它很快给我编了一个小故事,真的是让我非常惊喜,也让我对AI刮目相看。因时间有限,这里不祥细复述,只简要举例。
AI设计出一位神秘老者对柳丛进行提点:影子爱人其实是由一个古老魔法生成的。故事因此带有了很强的魔幻色彩。那么柳丛在追寻影子爱人的道路上都发生了什么呢?有怎样的艰难险阻?在这个基础之上,我又进一步给AI提了一些新要求,主要是为了扩充和丰富情节,生成的内容体量做一个微短剧应该够了。如柳丛和影子之间有哪些温馨的过往和微妙的默契?他们之间怎么互动?误解、闹别扭、解除误会之后的甜蜜是怎样的?柳丛后来在追寻影子爱人的路上,又遇到了哪些敌人?敌人当中,有和影子爱人非常相似的邪恶影子。在困扰时柳丛是如何进行辨别的?这方面我想到的其实是《西游记》中的六耳猕猴。最后,柳丛发现影子爱人消逝的真正原因是古老魔法规定的,她的灵魂是有大限的,这样就引向了一个魔幻浪漫主义的悲情结局;在此基础之上,青年和影子爱人之间实际上是自恋性的纳卡索斯情结,可以设计柳丛最终走出内心封闭,与影子爱人的分别成就了他的精神成长,这样故事就带有哲理思辨的色彩了。GPT持续给我带来惊喜,我一个不会编故事的人,在人工智能的协助下,居然创造了一个微短剧,AIGC算不算是给我赋能了呢?
图片来自网络
AIGC又岂止是给编剧赋能,我们说它对影视创作的全流程各环节而言,简直就是个全能助手。比如导演提出整体构思,AIGC可以在角色塑造、地域特色、制景等方面自动生成所需要的图像和模型。当然,当下由于普及性不够、成本高等原因,有些技术虽然能达到了,但成本上却不经济,还是无法全面实现,从未来趋势看,应该有很大的拓展空间和前景。目前在一些大制作中已有相当多的运用。概念图、分镜头的场景绘制、道具设计、舞台设计等工作,Mid journey软件就可以胜任。网上已经能看到非常多的演示,3D建模早就在用AIGC辅助了,比如《流浪地球》系列、《封神》等。后期的智能剪辑工作,字幕、色彩等也都能用AI来完成,刘德华年轻版本换脸换妆,大家都看到了;另外,当下艺人因各类原因导致的舆情风险较高,有AI的辅助,可以大大降低制片方遭遇艺人舆情问题时的损失。
图源:该论坛会务组依照发言题目和嘉宾信息,
使用Mid journey生成
摄影方面,从光化学显影、数字影像到AI助力摄影,这就像是为摄影机安上了透视眼,借助AIGC的预效果图,可以大大降低实际拍摄成本,找到最佳的拍摄方案、角度、造型、光影、色彩,追求最佳效果。当然前提仍然是需要有成熟的摄影师提出方案、通盘把握并了解熟悉Sora运作规律。
图片来自网络
在此我们也推荐一个英伟达深度学习培训中心的信息,经过深度学习(可能需要付费),未来你可能获得更多的职业选择机会。就像互联网给我们带来极大便利和创造力一样,AIGC赋能影视创作,也会有着巨大潜力,就看我们如何去培训和开发它。
同时,作为学术论题,我们也要进行一种延展性的反思。这种反思既是理论性的、文化层面的,也涉及当下的创作实践。首先,AIGC赋能影视创作有没有题材的优势和劣势,值得我们思考。目前AIGC剧本创作带有模板化特点,前面提到的经典叙事结构反复搬用,对ChatGPT的训练还需拓展拓深,充分开掘AIGC深度学习的能力潜力。语料,特别是优质语料需要不断丰富,可以预期AIGC会给我们带来更多惊喜,当然前提仍然依赖人类的高妙策划创意能力。目前,仅模仿经典叙事结构还远远不够,也容易造成创作门槛低、作品量高质低、扁平化发展趋势,会因此造成管理成本高企,这类问题常常与新事物相伴随,也是我们所忧虑的问题。
图片来自网络
其次,目前对AIGC语料的训练,偏重欧美文化内容方面,今后对AIGC的培训、语料投喂应加强中国优秀传统文化的体量分量;当然语料也应更具开放性,而不是因过多禁忌和限制而画地为牢——那样会限制AIGC的能力和潜力,和我们追求的影视创作高质量发展的目标是不匹配的。
再次,应思考,语料是不是无穷无尽的?有研究显示,高质量语料2026年即将耗尽,这个讯息是否准确?以及据说低质量语料将在2030-2050枯竭,低质量图像将在2030-2060枯竭。这些状况应引起我们的注意。目前仅中关村就有几十家公司致力于人工智能大数据集的开发工作,带有对大数据提前布局的意味,由此在发挥大数据优势的同时,开发成本较高是否会造成实际应用时的占有集中?如人们了解的,互联网发展过程就伴随着快速集中化趋势,也让我们不由得联想,人工智能的发展因资本投入更高会不会带来更强的集中趋势?从而阻碍创作平等,这也是我们忧虑的。
图片来自网络
其他问题如AIGC运用与开发中对语料版权的侵权问题,以及当AIGC以人机协同方式参与创作,是不是可以被视为创作主体?当然还有对AIGC道德伦理水平的要求——AI是很容易受语料影响、带偏的,也是容易被教坏的。那么由谁来确定AIGC的语料构成?以及怎么训练AIGC?这些问题可能对国家的文化安全有长久、潜在的影响,也是我们需要关注和思考的。
我的不成熟的思考就汇报到这里,请各位专家和学者们批评指正。
论坛介绍
人工智能(AI)技术的高速发展,引发了广泛关注。近年来,影视行业积极创新,中央广播电视总台联合上海人工智能实验室发布了“央视听媒体大模型”,加强艺术与技术之间的互动实践。复旦大学与阿里云等共同打造智能计算平台CFFF(Computer for the Future at Fudan),是国内高校最大的云上科研智算平台,为研究者开拓前沿课题提供了新的算力支持。面对人工智能时代的新机遇和新挑战,“AI艺术实践与未来影像发展”学术论坛于2024年4月5日举行。为复旦大学中文系影视美学的系列学术活动之一,此次论坛邀请到了国内多家高校的学者代表,共同讨论高新技术转型升级的时代命题,包括:影视中的AI、AI技术应用和未来影像发展。与会专家学者们共同关注艺术与技术的互动融合,思考影像文化的未来走向。
附:关于生成式人工智能
应用于77779193永利官网在校生学术实践的提醒
同学们需认识使用生成式人工智能等新技术开展毕业论文(设计)的局限性、风险性,包括但不限于生成式人工智能可能产生的信息不准确、缺乏创新性等问题,以及由此可能引发的学术不端风险,
生成式人工智能在毕业创作中的使用规范,应包括但不限于:
(1)不得将人工智能列为成果共同完成人,不得使用生成式人工智能直接生成选题。
(2)遵循相关法律法规及学术规范,依规合理使用生成式人工智能处理文字、数据或学术图像,防范伪造、篡改数据等风险。
(3)不得直接使用未经核实的由生成式人工智能生成的参考文献。
(4)须明确披露是否使用生成式人工智能(情况说明表有相应模板,点击原文可下载)。如使用,须详述使用方式、细节,包括模型/软件/工具名称、版本及使用时间。涉及事实和观点引证的辅助生成内容,须明确说明其生成过程,并同时在毕业论文(设计)相应位置具体标注,确保真实准确和尊重他人知识产权。
(5)如同学在“情况说明表”中未按照实际情况予以说明,视为违规行为,应给予相应惩处。
转载自“中传戏文”公众号