跳转到内容

正在加载搜索…

配置运行

一个配置文件可以 include 其他文件:它们按顺序合并,文件自己的键优先(表按键逐个合并;其他值直接替换)。 文件中的路径(prompt、agent、runtime.task_descriptions、runtime.library.path,以及 [overrides.agent] 下的相同键)相对于写出它们的文件。

configs/ablations/no-verifier.toml
description = "without the verifier"
include = ["../default.toml"]
[runtime]
verifier = false

修改单次运行:–model、–agent、–set

Section titled “修改单次运行:–model、–agent、–set”

--model NAME 选择 configs/models/<NAME>.toml(或一个 .toml 文件),--agent FILE 用一个 agent 文件 代替 configs/default.toml(一个消融)。--set key.path=value 在一次调用中写入实验的配置树,可以按需 多次使用;agent. 和 model. 键写入实验对 agent 和模型角色的覆盖:

Terminal window
harness run configs/experiments/dev.toml --output runs/x \
--model grok-medium \
--set budget.max_cost_usd=2 \
--set agent.runtime.keep_images=1 \
--set 'agent.services.policies=["simate", "g05"]' \
--set model.main.model=z-ai/glm-5 \
--set model.main.reasoning_effort='"medium"'

值按 TOML 读取(2、true、"text"、[1, 2]、{k = 1}),不是有效 TOML 时作为普通字符串读取 (z-ai/glm-5)。在实验文件中,同样的改动写成 [overrides.agent] 和 [overrides.model] 表。

tasks(或 --tasks)接受用逗号分隔的任务名,以及下面这些组:

名称 任务
all 42 个计分的 RoboDojo 任务(RoboTwin:其 step-limit 文件中的 50 个任务)
Generalization、Memory、Precision、Long-Horizon、Open 一个维度的任务
moving 两个传送带任务

seeds(或 --seeds)是一个列表,或由数字和范围组成的字符串:"0-9"、"0,2,5"、"0-3,7"。

layouts seed 对应 用途
procedural(默认) dev_layout_dir(默认 <RoboDojo>/harness_dev_layouts/arx_x5)中的开发 layout,首次使用时生成 所有开发工作
eval 官方包 layout_pack_seed(0、1、2)的 layout 测量一个冻结的配置;默认严格解析
[budget]
max_wall_seconds = 5400 # per episode (default 3600); checked before each model call
max_cost_usd = 4.0 # per episode
max_model_calls = 30 # per episode (default: the agent's budget, 30)
max_total_cost_usd = 20.0 # the whole suite: no new episode once spent
[worker]
record_video = true # one MP4 per camera in each episode's videos/
ground_truth = false # write the simulator's object poses to truth/<task>.jsonl (analysis only)
[suite]
boot_timeout = 600 # seconds a worker may take to start

RoboTwin 的 worker 还接受 task_config 和 seed_cache_dir(默认 <RoboTwin>/harness_seeds) (RoboTwin)。

针对已经运行的 worker:harness program

Section titled “针对已经运行的 worker:harness program”
Terminal window
harness serve --factory benches.robodojo.runtime:create_environment \
--options configs/workers/robodojo_runtime_dev.toml --port 8771 # in another shell
harness program configs/experiments/dev.toml --task stack_bowls --seeds 0,1 --output runs/p

harness program 针对实验的 endpoint(或 --endpoint)运行一个任务的各个 seed,并写出 runs/p/<time>-<id>/seed-<n>/。worker 服务一个任务;由它的选项文件指定。

全部键见:配置参考。