由AI作画应用Midjourney生成的绘画作品《太空歌剧院》在今年9月美国科罗纳州博览会上获得艺术比赛一等奖&＃xff0c;吸引了不少人的眼球。今年以来连续好几个AIGC领域的项目获得了不错的融资&＃xff0c; 到底AIGC有什么特别之处&＃xff1f;本文中&＃xff0c;PANews将对AIGC近来的发展作一个梳理介绍。
美国科罗纳州博览会获奖艺术作品《太空歌剧院》
1
什么是AIGC&＃xff1f;
互联网内容生产方式经历了PGC——UGC——AIGC的过程。PGC&＃xff08;Professionally Generated Content&＃xff09;是专业生产内容&＃xff0c;如Web1.0和广电行业中专业人员生产的文字和视频&＃xff0c;其特点是专业、内容质量有保证。UGC&＃xff08;User Generated Content&＃xff09;是用户生产内容&＃xff0c;伴随Web2.0概念而产生&＃xff0c;特点是用户可以自由上传内容&＃xff0c;内容丰富。AIGC&＃xff08;AI Generated Content&＃xff09;是由AI生成的内容&＃xff0c;其特点是自动化生产、高效。随着自然语言生成技术NLG和AI模型的成熟&＃xff0c;AIGC逐渐受到大家的关注&＃xff0c;目前已经可以自动生成文字、图片、音频、视频&＃xff0c;甚至3D模型和代码。AIGC将极大的推动元宇宙的发展&＃xff0c;元宇宙中大量的数字原生内容&＃xff0c;需要由AI来帮助完成创作。
内容生产方式演变过程
2
AIGC底层技术突破
底层技术的突破使AIGC商业落地成为可能&＃xff0c;传统AI绘画技术采用生成对抗网络&＃xff08;GAN&＃xff09;&＃xff0c;但GAN生成的图片结果输出不稳定&＃xff0c;分辨率低。直到2021年OpenaAI团队开源了其深度学习模型CLIP&＃xff0c;以及今年7月出现的去躁扩散模型Diffusion&＃xff0c;两者相互结合&＃xff0c;让AI自动生成文字和图片的质量得到了质的提升。
Diffusion是一种去噪扩散模型&＃xff0c;工作原理是对图像逐步施加噪点&＃xff0c;直至图像被破坏变成完全的噪点&＃xff0c;然后再逆向学习从全噪点还原为原始图像的过程&＃xff0c;而AI所看到的是全是噪点的画面如何一点点变清晰直到变成一幅画&＃xff0c;通过这个逆向过程来学习如何作画。
CLIP是 OpenAI 在 2021 年初发布的用于匹配文本和图像的神经网络模型&＃xff0c;是近年来在多模态研究领域的杰出成果&＃xff0c;它一方面对文字进行语言分析&＃xff0c;另一方面对图形进行视觉分析&＃xff0c;不断调整两个模型内部参数&＃xff0c;达到文字和图像高度匹配的效果。
在AI生成文字方面&＃xff0c;目前AI已经可以作诗、写邮件、写广告、剧本和小说。在今年&＃xff0c;采用AIGC技术的虚拟人度晓晓写作高考作文&＃xff0c;在不到1分钟的时间&＃xff0c;完成了40多篇文章&＃xff0c;获得专家打分48分的成绩&＃xff0c;击败了75%的考生。目前OpenAI的GPT-3模型是AI生成文字中最成熟的模型&＃xff0c;最近有一些项目把GPT-3模型商业化&＃xff0c;包括自动写邮件的OthersideAI&＃xff0c;自动写广告文案的Copy.ai和Jasper.ai&＃xff0c;在用户数量上突飞猛进&＃xff0c;并获得了大笔的融资&＃xff0c;就在11月16日知识管理和内容协作平台Notion也发布了其文字自动生成产品Notion AI&＃xff0c;并开始Alpha版本测试&＃xff0c;Notion AI也是基于GPT-3模型开发。
在AI生成图片方面&＃xff0c;今年AI作画水平突飞猛进&＃xff0c;其背后的算法模型也在不断迭代&＃xff0c;年初推出的Disco Diffusion只能生成粗糙的图片&＃xff0c;4月OpenAI发布的DALL-E2代已经可以生成完整的人像和图片&＃xff0c;到8月StabilityAI发布的Stable Diffusion模型取得质的突破&＃xff0c;已经可以生成可以媲美专业画师的作品&＃xff0c;生成图片的效率也从年初的数小时到现在的几分钟甚至数十秒。
AI生成图片技术演变
在AI生成音频方面&＃xff0c;10月11日&＃xff0c;AI播客Podcast.ai生成的一段关于乔布斯和美国知名主持人乔·罗根之间的20分钟访谈播客在科技圈广为流传&＃xff0c;在播客中乔布斯谈到自己的大学时代、对计算机、工作状态和信仰的看法&＃xff0c;整个播客听起来毫无违和感&＃xff0c;基本做到以假乱真。
由AI生成的乔·罗根采访乔布斯播客
在AI生成视频方面&＃xff0c;目前AI生成视频的算法模型还未成熟&＃xff0c;也还没出现一家独大的局面。9月底Meta公布了AI制作视频工具Make-A-Video&＃xff0c;Google也紧接着发布了Imagen Video和Phenaki。Make-A-Video具有文字转视频、图片转视频、视频生成视频三种功能。仅仅通过文本描述&＃xff0c;Phenaki就可以生成一段情节连贯的视频。10月9日B站上的UP主“秋之雪华”公布了全球首个AI绘图、AI配音的动画《夏末弥梦》的DEMO&＃xff0c;其画面精美程度不输专业画师的作品。
AI动画《夏末弥梦》DEMO
但PANews观看该DEMO后发现&＃xff0c;动画中人物几乎是静态的&＃xff0c;只是在场景切换时换了个另一张图&＃xff0c;由此可以看出目前AI生成视频中动画的过度和连贯性技术还不是很成熟&＃xff0c;因为AI生成视频需要多个AI模型来配合完成。
AI生成视频技术模型
从技术上看&＃xff0c;视频是把多张图片有逻辑和连贯的组合在一起。由文字生成视频&＃xff0c;首先要生成多张图片&＃xff0c;然后还要把这些图片有逻辑和连贯性的组合起来&＃xff0c;因此难度比文字生成图片高了很多&＃xff0c;如果一旦像文字生成图片那样能够高效率的生成高品质视频&＃xff0c;将对内短视频、影视、游戏、广告等内容生产行业带来重大影响&＃xff0c;不仅提升视频制作的效率和成本&＃xff0c;还能帮助设计师产生更多的灵感和创意&＃xff0c;让视频内容行业变得更加丰富和繁荣。
在AI生成3D方面&＃xff0c;以往的“3D建模”需要利用三维制作软件通过虚拟三维空间构建出具有三维数据的模型&＃xff0c;技术要求比较高&＃xff0c;需要懂美术、熟悉3DMAX和Maya等软件&＃xff0c;还需要大量的时间去人工绘制。但UC Berkeley 的几个博士后发表的论文神经辐射场技术&＃xff08;NeRF&＃xff09;可以把全景相机拍摄的视频自动渲染为3D场景&＃xff0c;减少了人工3D建模的过程&＃xff0c;NeRF技术在2020年的 ECCV (欧洲计算机视觉国际会议) 提出&＃xff0c; 并在2021年的ACM&＃xff08;美国计算机协会&＃xff09;获了荣誉提名奖。著名VR科技博主Robert Scoble 7月在他的Twitter发布了这个视频&＃xff0c;他用NeRF技术渲染Insta360全景相机所拍视频后得到的3D场景&＃xff0c;效果令人惊叹&＃xff0c;预计会有相关项目将NeRF技术进行商业落地尝试&＃xff0c;对于这点非常值得期待。
3
AIGC领域重要项目
今年加入AI作画赛道的公司越来越多&＃xff0c;今年分别出现了Mid Journey、DALL-E2、Stable Diffusion、Tiamat、百度文心等多家AI作画公司&＃xff0c;以及JasperAI、CopyAI这样的AI文字项目。
从融资角度来看&＃xff0c;目前AIGC有3个商业化的方向&＃xff1a;
◎第一个方向是通过AI生成文字&＃xff0c;比如自动写邮件和广告营销文案&＃xff0c;这要归功于OpenAI的GPT-3 AI语言模型&＃xff0c;目前大多数AI生成文字类项目都使用该模型。
◎第二个方向是利用AI作图&＃xff0c;主要技术是结合多模态神经语言模型CLIP和图像去躁扩散模型Diffusion&＃xff0c;仅仅提供一些关键词描述就可以自动生成图片。
◎第三个方向是AIGC的底层技术模型开发&＃xff0c;OPENAI和StableAI 是这个方向的龙头&＃xff0c;也是融资金额最大的。
预计接下来AIGC的热门方向可能是用AI生成视频和动画&＃xff0c;这就看Meta、Google的AI视频模型能不能解决视频的连贯性和逻辑性问题&＃xff0c;或其他公司提出更好的解决方案。
AIGC领域热门项目
OpenAI/GPT-3, OpenAI是由马斯克和Y-Combinator CEO Sam Altman于2015年成立的一个非营利组织&＃xff0c;但2019 年马斯克离开了OpenAI &＃xff0c;紧接着微软注资 10 亿美元将其变为营利性公司&＃xff0c;并与微软的云计算平台Azure展开合作。最近微软正在对OpenAI进行新一轮的投资进行后期谈判&＃xff0c;目前估值已经达200亿美金。GPT-3是OpenAI于2020年5月推出的自然语言处理模型&＃xff0c;支持用户仅输入一些关键词就能生成一封邮件、文章或新闻&＃xff0c;甚至是小说&＃xff0c;它是目前最成熟的自然语言生成技术NLG之一。今年4月OpenAI还推出了DALL-E2项目&＃xff0c;允许用户通过文本生成图像&＃xff0c;成为目前主流的三大AI作画应用之一。
StableAI /Stable Diffusion&＃xff0c;10月17日英国的Stability AI宣布以10亿美元的估值完成1.01亿美元融资&＃xff0c;此次融资由 Coatue 和 Lightspeed 领投。消息称Stability AI正准备下一轮 10 亿美金的融资&＃xff0c;本轮融资Google可能会参与&＃xff0c;如果投资成功&＃xff0c;相信Google将会和StableAI深度合作。Stability AI成立于2020年&＃xff0c;由去中心化组织EleutherAI支持开发&＃xff0c;其理念是“AI by the people, for the people”。StableAI主要研AI生成图片、音频、视频和3D的模型&＃xff0c;其研发的开源AI作图模型Stable Diffusion在2022年8月一经推出就立刻吸引了大家的眼球&＃xff0c;在Stable Diffusion的Dream Studio测试版网站中只要输入文字描述&＃xff0c;它就能生成一副可以媲美专业画师的图片&＃xff0c;Stable Diffusion是开源产品&＃xff0c;一些AIGC项目对其进行了二次开发&＃xff0c;退出了包括图像、语言、音频、视频、3D、生物AI等模型。
由stable diffusion生成的图片
Midjourney&＃xff1a;Midjourney是一款可以和Stable Diffusio以及DALL-E2媲美的AI绘画工具。Midjourney是部署在Discord上的应用&＃xff0c;在Discord里输入文字&＃xff0c;一分钟就可以生成对应的图片&＃xff0c;目前其官方Discord已经拥有140万用户&＃xff0c;其免费版本能生成的图片数量有限&＃xff0c;超出数量需要付费订阅&＃xff0c;如果想体验一下Midjourney作图可以查看这个教程。
由Midjourney生成的图片
OthersideAI&＃xff1a;OthersideAI主打利用AI自动回复邮件&＃xff0c;底层技术采用OpenAI的GPT-3 协议&＃xff0c;OthersideAI曾获得Madrona Venture Group领投的 260 万美金种子轮融资&＃xff0c;Madrona Venture Group曾参投过Amazon 的早期种子轮融资。OthersideAI 的操作非常简单&＃xff0c;只要输入邮件内容的关键要点&＃xff0c;它就可以为生成一封完整的邮件。
CopyAI&＃xff1a;Copy.ai 是一个通过AI来写作广告和营销文案的创业公司&＃xff0c;它可以帮助用户几秒钟内生成高质量的广告和营销文案&＃xff0c;主打 ToB 商业场景&＃xff0c;它的底层技术也是采用OpenAI的GPT-3 协议。目前Copy.ai的用户包括像微软、Ebay 这样的大公司。Copy.ai 曾获得 Craft Ventures 领投的290 万美金种子轮&＃xff0c;A 轮融资 1100 万美金&＃xff0c;由Wing Venture Capital 领投&＃xff0c;红杉资金及Tiger Global 跟投。
JasperAI&＃xff1a;Jasper.ai 成立于2020年&＃xff0c;通过 AI 帮企业和个人写营销推广文案以及博客等各种文字内容&＃xff08;和Copy.ai 类似&＃xff09;&＃xff0c;其底层技术也是 GPT-3。Jasper.ai 10月以15 亿美金估值完成了 1.25 亿美元的 A 轮融资&＃xff0c;由 Insight Partners 领投&＃xff0c;Coatue、BVP以及 IVP 跟投。今年1月推出第一个版本后&＃xff0c;很快受到欢迎&＃xff0c;短时间内获得了数百万美元的收入。
Play.ht &＃xff1a;Play.ht 是一个 AI 文本转换语音应用&＃xff0c;在今年9月发布了第一个语音模型 Peregrine&＃xff0c;包含数千种说话的声音&＃xff0c;可以学习人类的语气、音调和笑声。再进生成采访乔布斯播客的Podcast.ai就是采用Play.ht语音模型&＃xff0c;它通过大量采集网络上关于乔布斯的录音&＃xff0c;然后进行训练&＃xff0c;最终生成假乔布斯的声音&＃xff0c;相似度非常高。
Notion AI: 刚刚于本月16日公布的Notion AI是知名知识管理和内容协作平台Notion基于OpenAI GPT-3模型开发的AI文字生成工具。目前Notion AI的功能包括自动撰写文章、广告文案和播客&＃xff1b;通过头脑风暴为用户提供创意建议&＃xff1b;自动检查文字拼写和语法错误&＃xff1b;自动翻译文章&＃xff1b;目前Notion AI以白名单的形式开放Alpha版本测试。相信Notion AI的加入将会进一步推动AI生成文字走向普及。
4
AIGC如何助推元宇宙发展
虽然元宇宙的终极形态还无法确定&＃xff0c;但可以肯定的是元宇宙将极大扩展人类的存在空间&＃xff0c;在我们迈向元宇宙的过程中&＃xff0c;需要大量的数字内容来支撑&＃xff0c;单靠人工来设计和开发根本无法满足需求&＃xff0c;AIGC正好可以解决这个问题。游戏将是元宇宙中最先落地的场景&＃xff0c;元宇宙和游戏有一个共同点&＃xff0c;都是为用户提供高度的真实感和沉浸式体验&＃xff0c;我们可以拿AIGC在游戏中的应用来说明其将如何主推元宇宙发展。
AIGC技术在游戏中的应用
开发游戏周期长和成本高&＃xff0c;通常需要花费几年时间和上千万资金&＃xff0c;好在AIGC可以极大提高游戏的开发效率&＃xff0c;具体来说&＃xff0c;游戏中的剧本、人物、头像、道具、场景、配音、动作、特效、主程序未来都可以通过AIGC生成。根据AIGC在文字和图像方向的推进速度&＃xff0c;以上应用在五到十年之内应该可以实现。
红杉资本在最近的研究报告中也指出&＃xff0c;到2030年文本、代码、图像、视频、3D、游戏都可以通过AIGC生成&＃xff0c;并且达到专业开发人员和设计师的水平。
图片来源&＃xff1a;红杉资本
除了游戏之外&＃xff0c;虚拟人也是元宇宙的一个重要落地场景&＃xff0c;AIGC同样也会促进虚拟人赛道的发展。
虚拟人是围绕一个虚拟的人设&＃xff0c;为其设计声音、形象、动作、性格以及活动场景&＃xff0c;其本质和游戏相似度很高。虚拟人注重一个人在虚拟世界的表演和功能性&＃xff0c;游戏注重多个人在虚拟世界中的交互体验。游戏是一出戏&＃xff0c;虚拟人也是在演一出戏&＃xff0c;戈夫曼拟剧理论中的“人生如戏”一语道破了现实世界、虚拟世界的本质。
5
AIGC在Web3方向的应用
AIGC听起来这么好&＃xff0c;那跟Web3会有什么关系&＃xff1f;最近听说Web3的基金都在看AIGC方向的项目&＃xff0c;我想大概有这几个方向值得关注。
Gamefi 开发引擎:在传统游戏中应用最广的开发引擎是Unity和Unreal&＃xff0c;但在Web3中&＃xff0c;游戏的开发范式也许会因AIGC带来许多变革&＃xff0c;因此将需要一个采用AIGC技术的Gamefi开发引擎。里面的人物、场景、动画均用AIGC设计&＃xff0c;游戏中的主程序和区块链部分也可以通过AIGC代码生成功能完成&＃xff0c;如果这些都能实现&＃xff0c;设计Gamefi游戏或者元宇宙场景将变得非常高效&＃xff0c;这一套开发引擎将会具有极高的价值。目前看到RCT AI是运用人工智能为游戏行业提供完整解决方式的一个项目&＃xff0c;但其在多大程度上采用了AIGC技术&＃xff0c;还不得而知&＃xff0c;不过已经有一款Gamefi游戏Mirror World是基于RCT AI来开发的&＃xff0c;有兴趣的朋友可以进一步了解。
开发Gamefi游戏&＃xff1a;退而求其次&＃xff0c;如果一套AIGC全集成的Gamefi开发引擎还太遥远&＃xff0c;那采用各个厂商提供的AIGC工具来开发Gamefi游戏也会极大的提高效率&＃xff0c;比如用AIGC来生成游戏剧本、设计人物、生成动画这些都几乎都会很快实现&＃xff0c;特别在AI生成视频和3D场景技术一旦成熟之后Gamefi游戏开发效率将会突飞猛进。
算力和数据共享&＃xff1a;训练AIGC模型需要海量的数据和强大的算力&＃xff0c;这导致成本非常巨大&＃xff0c;AIGC行业龙头 Stability AI 为了训练其 Stable Diffusion模型&＃xff0c;在 AWS 中运行了包含 4000 多个 Nvidia A100 GPU 的集群&＃xff0c;运营成本高达数千万美元 。如果能通过去中心化方式发行Token激励用户提供训练模型所需的数据&＃xff0c;就可以很好的解决AIGC生成中的版权问题。另外也可以通过发行Token的方式&＃xff0c;激励用户提供训练模型所需要的大量算力&＃xff0c;分散算力成本&＃xff0c;实现成本共担&＃xff0c;利益共享。
6
结语
今年7月李彦宏在百度世界大会上判断&＃xff0c;AIGC将分为三个发展阶段&＃xff1a;“助手阶段”——“协作阶段”——“原创阶段”。“未来十年&＃xff0c;AIGC将颠覆现有内容生产模式。可以实现以十分之一的成本&＃xff0c;以百倍千倍的生产速度&＃xff0c;去生成AI原创内容。”
在最近的研究报告中&＃xff0c;红杉资本的两位合伙人也认为&＃xff1a;“AIGC目前已经拥有更好的模型&＃xff0c;更多的数据&＃xff0c;更好的算力&＃xff0c;预计杀手级应用该要出现了”。
对于以上判断&＃xff0c;我们倾向于认同&＃xff0c;AIGC的出现意味着创作者将从繁冗的基础性工作中解脱出来&＃xff0c;把更多的精力放到创意表达上&＃xff0c;这是未来内容创作行业&＃xff0c;甚至是人类工作方式的整体趋势。
巴比特&无界版图感恩节特别活动&＃xff1a;
首次注册无界版图&＃xff0c;
即可免费获&＃xffe5;1000【AI魔法体验卡】&＃xff0c;
5000次免费作画次数&＃xff01;仅限3天&＃xff01;
中文推特&＃xff1a;https://twitter.com/8BTC_OFFICIAL
英文推特&＃xff1a;https://twitter.com/btcinchina
Discord社区&＃xff1a;https://discord.gg/defidao
电报频道&＃xff1a;https://t.me/Mute_8btc
电报社区&＃xff1a;https://t.me/news_8btc
京公网安备 11010802041100号