多模态优先
Multimodality is good. LMMs-Lab 认为多模态是智能的必要条件，The Harness 就是围绕这一点设计的。环境提供的每一种模态都保持原样，系统的每个部分使用最适合它的那一种。
行动的世界是多模态的
Section titled “行动的世界是多模态的”能行动的东西，面对的不只是文字。屏幕是画面，场景有空间和声音，机器有读数，游戏不等人描述就在变化。
语言是世界呈现自己的方式之一，也是很强的一种，但只是其中一种。
感知和行动两头都是多模态的
Section titled “感知和行动两头都是多模态的”行动是一个闭环：感知，决定，行动，再感知发生了什么变化。
进来的可以是看到的、读到的、量到的；出去的可以是一句话、一次按键、一段运动。智能付诸行动，靠的是把它们连起来的能力：读懂一条指令然后去动，看到一处变化然后说出它意味着什么。
从一开始就这样设计
Section titled “从一开始就这样设计”The Harness 不是先做一种模态，以后再加别的。由此有三条原则。
- 每种模态保持原样。 环境给出什么，就以什么形式到达 agent，不先转成另一种模态。
- 没有哪种模态排在前面。 每一步使用最适合它的那一种：答案写着的地方就读，画出来的地方就看，是数值的地方就量。
- 新模态不需要新系统。 一个环境说明自己提供什么、接受什么，同一个控制循环就能在它上面运行。
同一个 agent 可以用在桌面、网站、游戏和机器上。它们除了都需要行动，几乎没有共同点：呈现的东西不同，接受的动作不同，节奏也不同，而 agent 的工作方式不变。
模型能感知和产生的模态一年比一年多。The Harness 的结构已经为此准备好：模型能接收更多，就给它更多，控制循环不用改。