trace
每个 episode 目录包含 manifest.json、events.jsonl、summary.json、kernel.log,以及在 worker 录制视频时的 videos/。suite 目录另外包含 suite.json(实验、agent、identity、agent 版本、deploy、任务、seed、layout)、suite.log、workers/,以及在评测 layout 被替换时每个任务的 unstable.json / displaced.json。
manifest.json
Section titled “manifest.json”| 键 | 内容 |
|---|---|
schema_version, kind |
1, program |
config |
environment、agent_version、main(主模型角色)、runtime、verifier、system_prompt、task、seeds、max_model_calls、max_wall_seconds、task_description、max_cost_usd、agent_id(identity)、agent_lock、placement |
config_sha256 |
配置的哈希 |
seed |
|
embodiment_profile, embodiment_sha256 |
reset 之后 worker 的 profile(不含任务特定的键) |
provenance |
Python、git commit 和 dirty 状态、包的文件及其哈希 |
events.jsonl
Section titled “events.jsonl”每行一个 JSON 对象,包含 seq(从 0 开始)、time(epoch 秒)、event 及其字段。
| 事件 | 字段 |
|---|---|
reset |
observation:episode_id、step、instruction、state、images(data URL) |
library_loaded |
version、status、error |
model_request |
call(从 0 开始)、reason、total_messages、sent_messages、new_messages、context(每条消息一行:角色、文本开头、字符数、图像、省略情况) |
context_shortened |
history_turns、sent_messages(在模型耗尽 GPU 显存之后) |
model_reply |
call(从 1 开始)、text、usage(input_tokens、output_tokens、cost、finish_reason)、response_id、seconds,provider 返回时还有 reasoning |
protocol_error |
message、truncated |
malformed_dropped |
messages |
verify |
claim、answer |
cell |
code;action(直接模式);result:status、error、escalation、episode_ended、finish、stdout、seconds、events(每次执行一条:skill、事件、tick 数、是否已处理)、state、usage、report(skill 的本轮报告:text,以及它勾勒的相机)、strategy;attachments(数量) |
policy_to_end |
status、error:策略运行之后的调用用完时,被移交的任务继续运行到结束 |
finish |
text;source:程序调用 finish() 时为 "program",driver 在 policy_to_end 之后结束 episode 时为 "driver" |
wrap_up |
status、error、events |
kernel_died |
message |
outcome |
outcome:success、reward、process_score、terminated、truncated、steps |
episode_video |
files(相机 → 路径) |
interrupted, error, cleanup_error |
message |
summary.json
Section titled “summary.json”| 键 | |
|---|---|
run, task, seed |
|
status |
finished、episode_ended、budget_exhausted、wall_time_exhausted、cost_exhausted、interrupted、error |
success, reward, process_score, steps |
来自 outcome |
model_calls, verifier_calls, cells |
|
input_tokens, output_tokens, cost_usd |
模型和 verifier,加上程序发起的视觉调用 |
agent_seconds, kernel_seconds, wall_seconds |
|
decisions |
按原因统计的模型调用 |
events_handled, events_escalated |
|
vision_calls, vision_cost_usd |
|
strategy |
start(strategy, kind) 的选择:strategy(A、B、C)、kind、policy、step;被移交的任务运行后有 policy_ran;B 较晚移交时有 after |
error |
状态为 error 时 |
cell.result.events 为每次有界执行列出一条记录:
{"skill": "move_eef", "event": {"kind": "COMPLETED", "source": "move_eef", "detail": {}, "tick": 22}, "ticks": 22}事件类型:COMPLETED、PREDICATE_SATISFIED(正常);TIMEOUT、BLOCKED、GUARD_TRIGGERED(或 guard 自己的事件名)、REGION_EXIT、SHIELD_REJECTED、REACTIVE_FAULT、SKILL_ERROR、EPISODE_ENDED。escalation 携带完整的 trace:skill、parameters、start_tick、end_tick、event、samples(每 5 个 tick 记录一次关节)。