AI和游戏结合的机会在哪里？

将生成式AI与游戏领域相结合的市场生态概要

A16Z最近，关于他们认为的生成式AI与游戏相结合的机会在哪里，笔者在翻译后对部分内容进行了评论。 文章的第一部分已经发行。 请参阅《a16z：生成式 AI 在游戏领域的观察与预测》。 本篇是第二部分包括A16Z对游戏生成式AI领域市场生态的判断。 (这些大部分是A16Z的Portofolio，请以客观合理的态度阅读。

市场生态概述

下图是整体的市场生态状况，描绘了A16Z在各类别中发现的创业公司。 在这些具体项目中，我们来看看生成式人工智能(aigc )对游戏的影响。 本文介绍了各类中最具特色的公司和机会。根据

文本生成平面图像[2Dimages]

根据文本提示生成2d图像，生成式人工智能。 Midjourney、Stable Diffusion、Dall-E 2等工具可以直接将文本描述转化为高质量的二维图像，在游戏开发和制作生命周期的许多阶段都有使用。

(注释：此处介绍Midjourney也是一种相对容易使用的AI图像生成器，使用更方便，图像生成速度更快，每分钟可以生成4张图像。

概念艺术(Concept Art ) )。

(注释：概念艺术也称为初步设计，通常电影和游戏行业都有这个专业的设计概念。 总的来说，它以产品的视觉效果为基调，应该说是游戏和电影最初的中心工作内容之一。 通过新的设计思路和方向(包括造型、精神、概念等)，创新和颠覆过去的方式，创造新的造型人物和概念。 和插图的区别是什么？ 插图和游戏的关系多是画海报和包装的封面等。 与电影和游戏开发工作真正密切相关的2D艺术工作之一就是我们所说的概念。 和漫画的区别是什么？ Concept Art与漫画大不相同，漫画(manga )是日本的独立体系为热门轻小说的可视化提供更多服务。 概念艺术是为游戏服务的，动画(animation )在风格上的表现形式没有限制，创造出先进或完整的设定是极其重要的。 和原画的区别是什么？ Concept Art几乎包括所有角色、场景建模。 与原来的画师不同，概念设计师必须积极生产更有趣的设计。

Concept Art是区别于原来的画师进行游戏的，在动漫项目中，美术决策的地位仅次于主策划，决定着该项目的风格和受众，因此，以概念艺术家为目标的画师，不适合局限于画风。 (

)。

参考资料：公众号一沙君：史上最完整！ ConceptArt专业解析赛德大学ConceptArt专业Yufei Zhang分享2020-02-0418336000 [ xy 002 ]

生成的人工智能工具可以帮助游戏设计师这样的角色探索游戏的概念和灵感。 这也是生产过程中的重要一环，比如某游戏工作室使用了上述工具，从根本上加速了概念艺术的开发进程因为他们一天就做出了图像。 以前，这个过程需要三个星期，具体怎么操作？

首先，游戏设计师使用Midjourney探索各种灵感生成认为合适的概念图像。 然后，图片被传递给专业的概念艺术家。 艺术家可以组合这些图像以创建相关主题的一致图像，然后将这些图像输入到Stable Diffusion中以形成系列的图像变化。

大家一起讨论这些风格不同的图像风格，决定一个，用刷子手动编辑，重复上述过程直到对作品的结果满意。 在这个阶段最后把这张图片上传到Stable Diffusion，制作最后的艺术作品。 [ xy 002 ] [ xy 001 ]2dproductionart [ xy 002 ]

也有游戏工作室想使用同样的人工智能工具制作游戏中的美术作品。 例如，下图来自Albert Bozesan，了解如何使用Stable Diffusion在游戏中创建二维资源的教程。

[ xy 002 ] [ xy001 ] 3d artwork [ xy 002 ] [ xy001 ] 3d立体模块是所有现代游戏和即将到来的元宇宙的重要构建源。 虚拟世界和游戏等级本质上是3D资产的集合，通过不同的组合和放置方式，更改不同的参数以填充游戏环境。 创建3D元素比创建2D平面更复杂，需要几个步骤：创建3D模型、添加纹理和添加效果。 此外，对于动画角色来说，需要制作内部"轮廓"单击，在轮廓上创建动画。

我们发现有很多初创公司在三维资源创建过程的每个阶段都在寻找机会，包括模型创建、角色动画和关卡创建。 但是，这部分的业务和创新还在探索中。

[

]维度资产(3D assets [ xy001 ] ) xy001 )试图向创建3d模型方向发展的第一家公司包括Kaedim、Mirage和Hypothetic。 大公司也很关注这个问题包括NVIDIA get3d和Autodesk剪辑。 Kaedim和Get3D重点关注图像到3d模型的转换； ClipForge和Mirage侧重于文本到3D的转换Hypothetic公司对从文本到3D检索，从图像到3D感兴趣。

kae dim :总部位于伦敦，主要从二维图像生成三维模型。

3三维纹理[3dtextures]

如果在游戏中可以将三维模型用于基于网格的纹理或材料，则可以使其看起来更真实。 例如，中世纪城堡的模型使用了各种类型的沾有苔藓的风化石可以完全改变场景的外观。 这里的纹理包括与光对材料的反应相关的元数据，即粗糙度、光泽度等，艺术家能够根据文本或图像的提示简单地生成纹理，这在提高创作过程中的重复速度方面非常有价值，BariumAI、Ponzu、ArmorLab这样的公司正在这个领域努力。

动画

制作优秀的动画是游戏制作中最费时间、最昂贵、最有技术的部分之一我会记录下他们的动作。

现在的生成式人工智能可以直接从视频中捕获视频。 这将更有效率，因为不再需要昂贵的运动捕捉设备。 它还意味着可以从现有视频中捕获动画。

人工智能模型的另一个令人兴奋的地方是过滤现有的动画，让角色一键看起来喝醉，看起来很老。 这方面的公司包括Kinetix、DeepMotion、RADiCAL、Move Ai和Plask。

[ xy 002 ] [ xy 001 ] kinetix [ xy 002 ] [ xy 001 ] [ xy 002 ] [ xy 001 ] deep motion [ xy 002 ] [ xy 001 ][ xy 002 ] [ xy001 ] radical [ xy 002 ] [ xy001 ]关卡设计与游戏世界构建[ leveldesignworldbuilding ] [ xy 002 ] [ xy001 ]游戏制作中最耗时的一个方面，生成表达式人工智能可用于此任务。 像《Minecraft》、《No Man's Sky》、《Diablo》这样的游戏因通过编程技术生成等级而闻名，其中等级是随机的但是，它遵循关卡设计师制定的规则。 新的The new Unreal 5游戏引擎的一大卖点是收集了用于开放世界设计的程序化工具，例如叶子的放置。

例如，Promethean、MLXAR或Meta的Builder Bot等公司是查看生成型AI技术的机会。 这方面的学术研究已经有一段时间了包括Minecraft的生成技术和Doom的水平设计。

为什么生成式人工智能工具具有游戏级设计的潜力？ 因为AI具备不同风格的水平和创造游戏世界的能力。 请想象一下用工具快速生成1920年纸醉金迷时代的纽约游戏世界，或者神秘的反乌托邦银翼杀手的设计、或托尔金派()的幻想世界) vsdystopianblade-runner-esque future，vs. Tolkien-esque fantasy world.)。

以下概念是Midjourney通过提示生成的游戏中不同样式的级别。

音频

声音和背景音乐是游戏体验的重要部分。 已经有使用生成式人工智能生成音频的公司为了补充图形工作。

声音

声音效果是人工智能的另一个吸引人的区域。 学术论文已经讨论了使用人工智能在电影中生成“foley”的想法。 (例如脚步声) )。但目前，能在游戏中直接应用的商业产品还很少。

笔者认为，这只是一个时间问题，由于游戏的交互性，产生式人工智能的明显应用，可以作为生产的一部分创建静态声音效果，也可以在运行时创建实时交互式声音效果。

想象一下如何为游戏者角色生成脚步声？ 大多数传统游戏通过少量预先录制的脚步声解决这个问题：在草地上走、在碎石上走、在草地上跑、在碎石上跑。 这些声音的发布和管理很繁琐，在运行时听起来重复且不现实。

更好的方法是使用实时生成的AI模拟声音，通过游戏中的参数生成合适、更真实的声音、地面、角色、重量、步态、鞋类等不同的媒体会呈现不同的声音。

音乐[游戏音乐]

音乐对游戏很重要，因为它有助于为电影和电视一样的故事主题设定情感氛围。 但是，游戏的持续时间很长，有时会持续几百小时到几千小时，所以没有变化的音乐可能会很快重复，或者让玩家感到厌烦。 此外，由于游戏具有互动性，很难使游戏音乐完全准确对准画面上随机发生的场景和运动。

多年来，Adaptive music一直是游戏音乐的关注焦点。 这可以追溯到微软的“DirectMusic”系统，用于制作交互式音乐。 但是，DirectMusic之所以没有被广泛采用，主要是因为采用这种格式作曲难度很大，只有少数游戏，如Monolith的《无人生还》、真正的交互式音乐(Monoliths No One Lives Forever，)。

现在，很多创业公司都在尝试制作用人工智能生成的音乐、Soundful、Musico、Harmonai、Infinite Album、Aiva等目前的许多工具，例如Open AI的Jukebox，计算量都非常大，无法实时运行，但初始模型成功创建后，即可实时运行。

对话语音[ speechanddialog ] [ xy 002 ] [ xy001 ]许多公司试图给游戏中的人物制造逼真的声音。 当然，因为计算机语音合成的历史很长这并不少见。 这些公司包括Sonantic、Coqui、Replica Studios、Resemble.ai和Readspeaker.ai等。 将生成式人工智能用于语音有各种各样的优点，当然这个赛道竞争也很激烈。

即时对话生成。 通常，游戏语音由配音员预先录制，但这些仅限于死板的演讲稿。 如果有生成的人工智能对话的话，角色什么都会说这意味着可以充分反应玩家的行为。

角色扮演。 很多玩家都想扮演与自己的现实世界身份几乎不相似的虚拟人物。 但是只要玩家用自己的声音说话，这个幻想就会消失，通过使用配合玩家头像生成的声音，可以保持这种幻觉。

声音控制。 用AI生成语音时，可以控制语调、转换、感情共鸣、音素的长度、口音等语音的细微差异。 本地化(易于翻译和海外推广)。 对话可以翻译成任何语言，用同样的声音说话。 像Deepdub这样的公司专门针对这个细分市场。

NPC游戏者角色

很多新兴企业都在研究使用生成的人工智能来制作互动角色，不仅是游戏内NPC的市场机会，虚拟助手和接待员也有很大的成长空间这一努力可以追溯到人工智能研究初期。

许多公司都建立了通用聊天机器人，其中许多由类似GPT-3的语言模型驱动。 少数公司专门设立以娱乐为目的的聊天机器人，如Replika和Anima，设立虚拟同伴。 在电影《Her》 (由斯派克琼斯编剧、导演的科幻爱情电影，华金凤凰、斯嘉丽约翰森等主演)中展现的虚拟她的时代或许即将到来。

现在可以看到这些聊天机器人的以下迭代、Charisma.ai、Convai.com或Inworld.ai等，它们不仅可以渲染3D角色并为这些角色提供动力，还提供创作者可以为这些角色设定目标的情感表达它可以在融入游戏和推动故事发展中具有叙事地位，而不是纯粹的装饰。

最成功的产生式人工智能工具，例如[ xy 002 ] [ xy001 ] [ xy001 ] runway ml.com，可将广泛的创作工具1。 但是，目前游戏领域没有这样的公司。 A16Z是涵盖整个制作过程的完整生成式人工智能工具：“代码、资产生成、纹理、音频等”

的生成式A16Z[ xy 001 ] xy 002 [ xy 001 ]适合典型游戏生产的通用场景工具包工具

总结[ xy 002 ] [ xy 001 ] [ xy 001 ] 有一天，可以想象，完全基于玩家的需求，会出现专门为玩家定制的游戏。

这样的场景在科幻小说中已经存在很久了。 例如，《安德的游戏》的“人工智能谜题”或《星际迷航》的全息甲板

推荐阅读

2D像素游戏引擎推荐(像素风游戏制作引擎)

虚拟货币 交易软件 ios

起源引擎(起源引擎是哪个公司的)

虚拟币视频(火爆“油管”的ChatGPT视频教你一夜暴富，赚钱术还是骗术？)

AI和游戏结合的机会在哪里？