对于热爱新媒体艺术的人来说，teamlab这个名字一定很熟悉。 作为新媒体艺术界的当红选手，teamlab的团队成员包罗万象。 他们这样形容自己的团队：一群程序员、CG、美术师、数学家、交互设计师。 。 一个由追求科技极致的各类人士组成的艺术团体。

可以理解为什么teamlab的每一个新作品总是给人很多技术上的惊喜，但对于这些多种技术交叉产生的新媒体艺术作品，我们似乎总是没有一个详细而准确的名称来区分它们。 类别，如teamlab的作品：“将水粒子的世界注入到人们聚集的岩石上”

当人站在作品上触摸作品时，人就变成了一块可以改变水流方向的岩石，而观看者自己就成为了改变水流方向的障碍物。

在介绍它时制作3d动画软件，有人称其为“3D沉浸式互动作品”，有人称其为“互动艺术装置”，或者更直接地称其为“新媒体艺术作品”。 。 。 甚至前几期介绍的时候，我们也纠结了很久，最后只是提了原名，连分类都没有。

可见翻译者确实不容易。 难怪王小波在《我的传承》一文中说：“中国现代文学若有什么功劳，其根源在于那些已故的翻译家”。

看来，人工智能在翻译工作中取代人类还有很长的路要走。 对于类似上述的作品，OF的一位老师给出了这样的作品的描述：“3D实时交互图像作品”。

虽然读起来还是有点困难，但是如果了解了作品中涉及到的技术，就可以清楚地理解它的含义。 因此，腿先生简单梳理了制作“3D实时交互图像作品”过程中所需要的技术和一些相关软件。 希望能解答您的疑惑； 有些地方写得不太准确，希望大家指正。

01

创意阶段

不用说，创意可以很简单，也可以很具体，但要完成一件优秀的作品，自然需要仔细规划作品的每一个执行步骤。 例如，下面是Playmodes Studio 9月份发布的三维光动态雕塑“Espills”。

为了创作这个装置，Playmodes首先勾勒出作品的想法和框架，从几何到叙事概念，以及3D模拟可视化装置的最终形式。

02

3D视觉内容创作

也许流传最广的3D建模软件就是《我的世界》。 “今生加入MC我绝不会后悔，下辈子我依然做魔方人。” 作为一款沙盒游戏，MC不仅仅适合喜欢探索和农场的佛系玩家。 还有很多想象力丰富的人在游戏中发挥自己的创造力，建造出各种令人惊叹的建筑。

国建Cthuwork作品

作者微博：

《别人的世界》

3D建模软件有很多，每种应用都有不同的领域和重点功能。 例如，3ds Max常用于建筑设计，而Autodesk Maya则常用于游戏CG、动画等行业。

这两款软件并不能完全满足大家的需求。 一些设计师希望快速上手3D建模，因此选择学习难度低、作品质量高、预设多的C4D； 有些希望做出爆炸级的特效，我选择了Houdini，它自带Mantra渲染器； 除了这些软件之外，还有ZBrush，常用于3D角色建模； 以及Mandelbulb 3D，用于3D分形成像等。

曼德尔球3D操作界面

有人可能会问，这么多的3D建模软件，我最喜欢哪一款呢？ Legs先生建议你明确需求后，请教3D领域的前辈，或者仔细阅读这篇文章《从百度和谷歌搜索索引看3D软件趋势》

最后，对分形艺术感兴趣但又懒得下载Mandelbulb 3D体验的同学可以直接在App store下载《分形的秘密》App，体验分形之美~

完成工作轮廓并构建原始模型后，下一步是绘制模型并仔细调整折射和反射等参数，以使您的模型显示您想要的材质。

不同的材质在不同的光源下有不同的效果。 因此，一般在贴图模型时，需要先设置光源来观察效果。 但此时的模型还很粗糙，只能简单地看到一些几何、纹理、光照和阴影信息。 因此，必须单独渲染每个场景，观察其最终效果，然后返回原始模型调整参数，直至完美为止。

这里可能有人会有疑问，为什么软件不能打开两个窗口，一个是实时渲染的图像，另一个是原始模型，以便我可以即时修改呢？ 我们先来挖一下这个问题，下面详细解释一下。

如果你的作品还包含移动的角色（人、动物），那么你需要在具有良好纹理的模型上构建骨骼和控制器，以便你可以控制他们的运动。 三维计算机动画本质上是定格动画（stopmotionanimation）。 运动或静止帧采集）； 如果你只是拍摄简单的3D角色动作图像，那么你只需要在关键帧中玩弄角色的图像，然后将后续的动作绘制过程留给计算机即可。

至于后续的图像合成、添加动态特效和视觉特效、调整相机位置等，很难用一两句话来概括，就不赘述了。

3D视觉元素已经准备好了，下一步就是添加交互模块。

03

运动传感设备和实时渲染

很多人可能还记得，曾经有段时间，很多卖电视的店家为了吸引顾客，都放了一个控制器，让大家玩各种体感游戏，比如体感网球、体感排球等。

2006年，任天堂发布了新一代游戏机Wii。 Wii 附带的新游戏控制器首次将体感动作引入电视游戏机。 随后，微软在2010年正式发布了Kinect。Kinect是微软为Xbox开发的动作识别摄像头。 它是为游戏中使用而开发的，但由于价格低廉，在交互领域受到了极大的追捧。

这可能是体感交互第一次大规模出现在公众视野中。 Kinect 上市 60 天就售出了 800 万台，成为当时世界上销售最快的消费电子产品。

落花非无情物，入春泥更四合院。 尽管Kinect最终因体感游戏热度下降等原因停产，但其留下的相关技术在交互等领域继续大放异彩。 使用最广泛的可能是当今iPhone上的面部识别功能。 PrimeSense是Kinect的技术支持公司，早在2013年就被苹果收购。

《马里奥网球》

这些3D体感互动游戏正是“3D实时图像互动游戏”，玩家用动作控制游戏中的3D角色生成图像的过程也是一个实时渲染的过程。

特效CG公司在渲染电影级别的视频时，需要处理的数据量与渲染3D游戏不是一个级别的。 这也是很多3D图形软件不支持实时渲染的原因。 原因很简单：硬件无法支持。 因为即使是1秒的特效场景，也需要多台电脑长时间渲染。 但有人说我只想制作一个简单的3D视频。 如果处理的数据量很小，可以实时渲染，边渲染边改变模型吗？

可视化编程是一种基于“所见即所得”原则的编程技术。 他们努力实现编程工作的可视化，即结果随时可见，程序和结果同步调整。 可视化编程语言有很多种。 这里我们以Touch Designer为例。

给我看看4V的创作图，呵呵

Touch Designer是一款基于Python语言的可视化编程软件（以下简称软件），由多伦多Derivative公司开发。 关于Touch Designer的使用，这里我想引用Touch Designer中文社区对这个软件的说明，同时也向大家推荐他们的网站：（他们的免费Touch Designer教程已经发布到中级了！）

从项目类型来看，Touch Designer可用于创建交互设备、表演视觉设备投影、建筑外部投影； 它还可以控制机械臂、创建 VR 体验以及创建电影工业级界面设计。

针对《纯真·满足2.0》古琴昆曲电子表演的视觉部分，新媒体艺术团队分号C进行了Processing Vision to TouchDesigner视觉滤镜处理。

Unity3D实时渲染视觉

同时，无论什么类型的新媒体项目，在制作过程中，采用TD作为集成统一的平台，都会收到事半功倍的效果。 它可以结合你想要的软件和硬件，并利用它们的特性来创造出更强大的新媒体怪物。

对于艺术家和设计师来说，Touch Designer 非常容易使用； 对于程序员来说，使用TD可以轻松桥接视觉部分和美工制作的后台程序部分。 这样的软件可以很容易地将不同能力的人结合起来，完美地完成项目。

需要特别介绍的是Touch Designer的实时3D渲染功能和编程方法。 传统的编程流程是先编写抽象代码制作3d动画软件，当所有步骤完成后运行生成结果； 而Touch Designer则是利用图形以更直观的视觉方式进行思考，让你设计的每一个程序都可以直观地显示结果并直接进行调整。 同时，它支持很多主流的软硬件接口，比如用于动作识别的Hand Leapmontion、用于体感识别的Kinect，以及现场表演中常用的MIDI、TouchOSC等都受到欢迎。

调整Touch Designer中的程序

马老师的视频演示效果。 左屏是Touch设计器界面，右屏是unreal4，平板电脑是TouchOSC编辑器。 您可以一边观察渲染效果一边调整您的程序。

随着硬件性能的不断提升，游戏的图形越来越爆炸，一些游戏引擎开始瞄准影视行业，不断进化其实时渲染功能。 例如，Unity是一个3D游戏引擎，很多视觉表现阶段也使用Unity3D进行实时渲染。

以下是对 Oats Studio 于 2016 年制作的使用 Unity 实时渲染的动画《ADAM》幕后制作的采访。 您可以亲身感受到实时渲染大片的快感。

Unity在国内流行的部分原因是手机游戏的兴起，因为手机游戏对画质要求不高，而且手机游戏生命周期短，更注重研发效率和兼容性。 Unity恰恰满足了这些条件，因此很多小型团队和个人选择Unity作为他们的主要开发工具。 Unity还提供了商店功能，用户可以购买模型、特效和代码。

说到Unity3D，自然要介绍unreal。 与Unity相比，Unreal系列游戏引擎本身结构复杂，上手难度大，但其渲染质量和效率却比Unity3D好很多。 一般来说，程序员更喜欢Unity，因为它易于调试，而艺术建模师更喜欢Unreal，因为Unreal和TouchDesigner一样，也使用顺序编程来促进艺术家在制作3D内容的各个阶段之间的协作。

虚幻的界面

以上是制作3D实时交互图像作品所涉及的技术、软件和硬件。 最后，腿先生来理清逻辑。 首先需要一个完整的创意执行方案，然后通过Touch Designer等平台构建一个交互程序，处理各种交互硬件收集到的信息，传输到3D场景并实时渲染图像，最终完成一个3D实时交互式图像作品。 。 当然，你也可以选择使用unity、unreal等游戏引擎来完成更高质量的实时渲染工作。

当然，如果想要完成一个高水平的交互作品，上面的很多技术方面可以用到的领域实在是太多了。 例如，这么多跨平台的软硬件协同工作，如何保证它们都能顺利运行？ 等等一系列问题。

正如吴宽先生在《艺术与生产力》一文中所说，“令许多其他艺术家感到沮丧的事实是，艺术史前进的核心动力并非来自艺术家，而是来自生产力技术的创新。从岩画到油画，从石雕到3D打印，从相机到新媒体技术……每一次生产力的创新都会引发艺术的历史性革命，推动新的艺术品种和流派的诞生，催生新的艺术流派。大量成功和著名的艺术家。艺术家。”

可以预见，艺术将越来越科技化，科技也将越来越艺术化。 两人在山脚下分开，但最终还是会在山顶相遇。 未来的艺术家将会有越来越多的身份，艺术的形式将会更加多样、更加丰富、更加有趣。

我们邀请了来自伦敦的新媒体艺术家Matteo Zamagni在思维平台上进行了主题为“实时互动图像艺术”的在线直播讲座。 他将结合自己的经验向大家介绍该领域的优秀作品和创作工具。 ，以及对这种艺术形式的反思。

讲座详情

讲座介绍

主题：可见与不可见的界限——实时互动影像艺术的启示

直播内容：

什么是实时互动视频艺术？

实时互动视频作品介绍

实时交互式成像工具简介