2023年4月6日下午，清华大学美术学院信息艺术设计系邀请新加坡国立大学计算机系赵盛东副教授在美术学院B413举办主题为“合姿计算：迈向下一代交互计算”的学术讲座。

本次讲座作为信息艺术设计系的设计未来系列讲座第一期，系列讲座由信息艺术设计系副教授付志勇发起，包含专题演讲和圆桌论坛两个部分。本场圆桌论坛环节的嘉宾是来自华为人机交互实验室的李维、清华大学计算机系副教授喻纯，以及来自信息艺术设计系副教授付志勇、师丹青，讲座由美院博士生朱琳主持。

论坛海报

合姿计算（Heads-up computing ）是人机交互中的新兴概念，关注的是与技术的自然和直观的交互。通过使技术更无缝地融入日常生活中，头戴式计算有潜力彻底改变我们与设备交互的方式。随着大型语言模型（LLM）的崛起，例如ChatGPT和GPT4，合姿计算的愿景变得更容易实现。LLMs和头戴式计算的结合可以创建更具以人为中心的主动、个性化和响应式的系统。然而，技术常常是一把双刃剑。虽然技术为我们提供了巨大的力量，但与此同时也带来了在伦理上和为所有人谋利益的责任。这就是为什么将基本的人类价值观放在研究计划的中心并在学科间进行协作是至关重要的。当我们所处在这个历史性的转型时期，塑造一个反映价值观并提高生活质量的未来至关重要。

赵盛东副教授

在主题演讲环节，赵盛东副教授深入探讨了未来交互范式的设想，以及人工智能如何影响人类生活。在这个颠覆性的时代，科技的快速发展给人们带来了新的交互方式，研究人员关注的合姿问题是未来交互范式将如何演变。

讲座现场

历史上，人类经历了从采集社会到农业社会，再到工业社会和信息社会的演变。然而，这个过程中，人们可能失去了一些过去拥有的能力。社会的复杂性和专业化使人们只利用了一小部分潜能，活动范围和自由度也大大减少。例如，现代生活中，人们大部分时间都在使用手机和电脑，仅依靠眼睛和手指与世界互动。相较之下，我们的祖先需要运用各种感官和运动能力来应对生活挑战。

人类使用工具的进化图

赵教授提出了一个新的交互范式概念——“合姿计算”。这是建立在由头、手和身体模块组成的可穿戴平台上的下一个交互范式，该平台分布设备的输入和输出功能，以匹配人类的输入和输出通道。提出了语音+手势的多模态交互方法。他认为，未来的设备应该成为人们生活的一部分，能够更好地匹配人的需求，而不需要人们大量去适应设备。在这个范式下，设备将充分融入人们的生活，随时随地提供帮助，而人们无需过度调整姿态和生活方式来使用它们。合姿计算的目标是回归自然状态，让信息和计算成为人们生活的辅助工具，而非生活的主导。

他强调，未来的设备应该成为人们的“第二天性”，无需特别学习或适应。这种理念将引领未来科技发展，使人们能够在不改变生活方式的前提下，更好地利用科技创新。合姿计算的核心观点是让设备更符合人类自然生活状态，而非让人去适应设备。为实现这一目标，需要设计出与人类生活更匹配的设备。

赵盛东副教授分析了人的基本功能，提出合姿计算需要关注大脑皮层的两个热区：头部和手部。头部设备的责任是提供实时的视觉和听觉反馈，理解人的感受，以及了解面部表情、情感和注意力。手部设备则需要提供实时的触觉反馈，并追踪定位手的位置、动作和姿势。他认为智能眼镜和手指鼠标已经初步实现了合姿计算的基本操作。未来可能发展为一副眼镜和手表或手环，提供所需功能并测量手的姿势，给予触觉反馈。这种终极状态将使计算更自然地融入日常生活。

基础版本的合姿计算设备

合姿计算的交互环境将是一个增强现实或混合现实，它会在不影响日常生活的情况下，与生活互补。这种技术将改变现代人的生活方式，让人们在更自然的环境中度过大部分时间，如徒步、野营、散步和交谈。同时，合姿计算也能高效地帮助人们产出有价值的信息。

当然，合姿计算可能无法完全满足所有需求，部分任务仍需在屏幕前完成。然而，它将极大地改变普通人和脑力劳动者的生活。对于脑力劳动者，知识产出的形式将发生重大变革，更多时间将用于与他人交流，而非坐在电脑前敲击键盘。

合姿计算是一种辅助技术，可以通过观察和倾听用户的行为，通过AI整理出观点，并及时提供反馈。人们可以在公园散步时使用合姿计算来撰写文章，而无需坐在桌前。他的实验室已经取得了一些关于输入输出交互的初步成果，如何将信息进行分割处理等。他们还投稿了一篇即将发表在CACM上的论文，并开发了一个名为“PilotAR”的研究辅助工具。这个工具将在发表后开源，以便更好地推动合姿计算领域的创新。

赵盛东副教授明确指出，合姿计算与现有的技术如VR和AR有很大不同。VR技术是将人们带入虚拟空间，而合姿计算的核心目标是让人们更好地与现实世界和其他人交互。与此同时，合姿计算与AR的区别在于，它更像是一种智能助手，可以实时传递信息，而不是仅仅在现实世界中增加三维物体。因此，赵教授认为头戴式设备会比AR更早实现落地应用。

关于合姿计算与元宇宙的关系，赵教授表示，虽然元宇宙是未来的一个方向，但他认为合姿计算是一种更好的方法，可以将现实与虚拟世界结合在一起，并采用相同的交互方式。此外，他还认为合姿计算与普适计算的关系类似于一个具体的设计与大型百货公司的关系。尽管合姿计算是普适计算的一部分，但它具有明确的定义和特性。

合姿计算的最终目标是实现人与环境以及设备之间的无缝衔接。它由三个主要部分组成：分布式硬件（如头部和手持设备）、多模态输入（如语音、眼动、手势和手指动作）以及光学头戴式显示器和多模态输出。此外，合姿计算背后的交互模型被称为“资源感知交互”，可以根据用户所处的环境和状态以及能力来选择信息传递方式。例如，当视觉受限时，系统会通过听觉方式传递信息，并能自由切换，以更智能地将信息呈现给用户。

博士生朱琳担任主持人

圆桌论坛环节，主持人朱琳引导论坛嘉宾们分享了对人工智能与未来交互的看法，并针对学生的提问进行作答。

圆桌论坛（左起：赵盛东、李维、付志勇、喻纯、师丹青、朱琳）

李维针对AIGC将引发什么样的行业变革，数据设计师如何定位自己的工作发表了看法，他认为我们已经逐渐将很多能力交给工具，需要思考人与其他动物的区别是什么？现在我们对工具的使用已经达到了一个很高的程度，这些工具可能是逻辑或计算上的工具，例如超级计算机、大量存储和快速的网络连接等等。我们对工具的使用本身就是对人类能力的一种体现。人类的计算能力已经被机器超越了，未来设计师工程师要在数字化设计过程中进一步发挥机器在优化、大数据检索、态势感知等领域的优势。我们可以从付志勇老师提到的对于未来的期待、对于人类整个需求的把握以及对于创新的重新定义等方面，重新定义人和机器的边界。我们需要学会使用这些工具，并且找到表达自己的方式，例如：通过自然语言来重新定义设计师的角色和工作方式。这不是对设计师的威胁，而是一个新的机会来扩大我们的能力。

华为人机交互实验室首席科学家李维

喻纯副教授所在的组一直从技术角度研究人机交互。他认为人机交互分为三层：人机交互、人机协同和人机共进。接口技术研究的目标是理解人通过语言或手势表达机器需要做的事情。但随着AI技术的发展，人机协同变得越来越重要。个性化需求的实现是一个挑战，需要让终端用户以自然的方式表达需求，然后AI系统感知他们的行为，共同创造出符合需求的规则。人机协同的工作会越来越多，这将导致人机关系的变化。人和机器、人和人、机器和机器之间的联系和关系将会发生变化。我们正在研究人机共进，如何让人和机器相互促进和提高能力。我们写作时发现GPT写出来的东西比我们自己写的还要好，我们可以向它学习和借鉴，但仅靠它还是不够的。最终这些问题将导致人机关系的变革，我们正在探索这一问题。

圆桌论坛讨论（左起：付志勇、喻纯、师丹青）

师丹青谈到，赵盛东在讲座中展示了一张人类与工具共同进化插图，使我想起“evolution” 一词应该是译成“进化”，还是译成“演化”的争议。工具在不断进化，但是作为生物的人类只是在“演化”以更适应环境。人发明了工具，同时需要去适应它。因此“heads up”是不是一定比“heads down”更“进步”是个值得思考的问题。工具的加速进步使人们感到不舒服、不自然，我们应该回归更原始的状态，还是去适应它？未来的自然交互应该是什么样子？我们需要多维角度去做判断。

付志勇谈到，AIGC这对于信息与交互设计专业来说是一个新挑战和机会。当MidJourney和ChatGPT在去年上线，我们又迎来了重新思考人机交互的新机会，以对话方式生成内容并作为互动界面，这意味着需要在方法层面重新思考设计，过去AI只是生成式工具的一部分，未来将成为体验养成伙伴，界面也将和用户一起成长和演变。从本体角度，AI使产品与服务从“Being”到“Becoming”，即从“存在”转变为“成为”。最后还需要从人机共情和共生认知角度，思考AI介入将重塑“人-产品-环境”之间协调动态关系。这些新的概念将对人才培养带来新的挑战，交互设计学科将迎来新的起点，并产生出多元化的可能未来。

朱琳也分享了自己学习工业设计的经验和感想，她认为设计师的共性能力就是能够理解和推导整个设计流程，并且学习不同的表达方式和思考方式。在学习过程中，通过老师的点评和反馈，不断地改进和完善设计。现在的AI技术可以替代这一过程，快速地提供不同的设计方案，帮助学生进行创作和选择。但是对于学生来说，理解设计流程和审美品位是很重要的，AI只是一个辅助工具，设计思维和能力仍然需要不断地提升和完善。在面对技术不断进步和工具不断更新的情况下，学生需要保持开放和接纳新事物的态度，不要停滞于当前的局限和工具，不断地前进和进步，才能不被落下太远。

在问答环节，嘉宾就同学关注的问题进行了回答。 

论坛嘉宾与主持合影

关于信息艺术设计系设计未来系列讲座

世界瞬息万变，探讨趋势、审视变革，从而创造价值已成为全球热议命题。对于设计师而言，传统的设计思维方式正面临着严峻挑战，也同样意识到，时代背景之下亟需能够运用前瞻性思维、方法、技能来引领设计的人才。为了培养设计师应对不确定性与全球共性问题的能力，清华大学美术学院信息艺术设计系付志勇副教授发起了信息艺术设计系学术讲座——设计未来系列，邀请相关领域的专家共同探索设计未来领域前沿理论、探讨国际学术的未来方向，推动全球设计未来领域学科发展及知识构造。

本系列讲座拟邀请8位来自各个国家、不同方向的学术带领人或行业专家，从人机交互、思辨设计、设计预见、服务设计、人机共情、情景规划、未来艺术等方面探讨设计未来在其中的发展。

通过学术讲座与圆桌研讨，探索未来导向的交叉学科设计知识体系，培养学生的未来塑造力，在AI时代预见和设计更合意的未来社会图景。

图、文：信息艺术设计系

付志勇副教授