快速开始

从 pip install harness-policy（安装）到得出分数的 episode。示例用 DeepSeek V4.1 Flash 在 RoboDojo 的开发 layout 上运行默认 agent；任何 agent、模型或 benchmark 的用法都一样。

1. 运行一个 episode

harness run dev

dev 是一个实验：默认 agent 使用其默认模型，在一个任务和一个开发 layout 上运行，每个 episode 的费用上限为 $4。第一次运行时，harness 会安装 agent 用到而本机缺少的东西（RoboDojo 的环境、SAM 3 分割器、Simate 策略），并把模型启动在它找到的 GPU 上；之后的运行立即开始。它为每个 episode 打印一行，例如一次评测运行（agent 1.4.1）中的这两行：

[slot 0] stack_bowls seed 0: episode_ended success=True reward=1.0 calls=2 cost=$0.002 wall=272s
[slot 0] general_pickup seed 4: finished success=True reward=1.0 calls=4 cost=$0.003 wall=245s

episode_ended：学习型策略接手任务并完成了它，benchmark 结束了该 episode；finished：某个程序调用了 finish()。结果写入 runs/dev。

2. 查看一次运行解析成什么

一个实验指定 benchmark、任务和 seed，并可以选择一个模型或 agent 的一个变体。harness config 显示它在本机上解析成什么：

harness config dev

agent default 1.6.0  identity 3786ebbcd0e640ae  mode program
main model: deepseek/deepseek-v4.1-flash (openrouter)
bench robodojo, 1 tasks x 1 seeds, procedural layouts, strict False
skill         on   why
core          yes
geometry      yes
kinematics    yes
pointing      yes
vlm           yes
segmentation  yes
grasping      yes
memory        yes
verify        yes
motion        yes
manipulation  no   not in this configuration
eef           yes
reactive      yes
scene         yes
handlers      yes
vla           yes
wam           no   no world_model service
uses       service  status
segmenter  sam3
policies   simate

（manipulation，即按名称拾取和放置，属于 analytic-manipulation 变体；wam，即世界模型的 predict_future，在加上 --set 'agent.services.world_models=["openwam"]' 时启用。）

identity 是决定这次运行计算什么的所有内容的哈希；模型在哪里运行不属于其中。

3. 不用模型检查流水线

回放固定的模型回复，而不调用模型。这会启动环境，运行一个短程序：抬起一只手臂，用一个 guard 拦下第二次抬起，操作夹爪，运行一个控制器，然后结束，全程不产生费用：

harness run dev --script pipeline_check

4. 更换模型、任务、agent

harness run 会续跑：已有结果的 episode 不会再运行。用参数为一次运行更换任务、seed、模型或 agent 中的任何内容：

harness run dev --tasks stack_bowls,stack_blocks --seeds 0-4 --model grok-medium

5. 查看结果

harness report runs/dev     # score and success rate, per task and dimension
harness view runs/dev       # every model request, program, event and action, as HTML

每个 episode 目录包含 manifest.json（配置、lock、identity、代码指纹）、events.jsonl（每次模型请求和回复、每个程序及其事件、结果）、summary.json 和 kernel.log。读懂一次运行逐步讲解其中一个。

下一步

• 快速导览：一个 episode，从第一次模型请求到结果。
• Agentic control：四个层次，以及何时询问模型。
• 在 RoboDojo 上运行 agent：开发 layout 与评测 layout、suite、费用。