跳转至

系统模型

ChemWorld 分离物理真值、实验交互和研究目标,从而避免把评测者持有的隐藏状态泄露给 Agent,也避免把任务得分误当作物理量。

三层系统

负责 不负责
物理因果世界 有类型状态、隐藏转移、构成规律、设备、观测生成与受控干预 任务目标、Agent 信念或排名
实验交互运行时 动作合法性、原子事务、生命周期、测量、失败、资源与可回放轨迹 为 Agent 选择动作或静默修复
任务与评估合同 公开目标、权限、预算、终止与任务特定评估 运行时物理或泄露隐藏真值

规范层级

Campaign
└── Experiment
    └── Operation / Measurement

一个 campaign 是一个 Task × Scenario × Agent × Seed 单元。Experiment 从显式初始化状态开始,在 final assay、显式终止、失败或预算截断时结束。只有合同有效的 final assay 才是可比较的正式终点;失败和未完成尝试仍保留在轨迹中。

三种动作抽象

  • Campaign Design: 选择完整配方或实验。
  • Procedure Execution: 每次选择一个合法操作。
  • Process Control: 选择有边界的设备设定点或过程动作。

Public v0.4 通过同一套任务与运行时合同支持这些抽象。Process Control 是有边界的设定点抽象,并非普适高频连续控制声明。

原子校验

操作提交前,运行时检查 Schema、任务权限、参数边界、装置状态、物料前置条件与剩余资源。被拒绝的操作会返回公开原因,不改变状态或预算;已提交操作则同时更新物料、装置、资源和事件账本。

结果分层

轨迹区分:

  • environment_outcome:世界与运行时实际产生的结果;
  • agent_visible_observation:当前信息条件实际释放的观测;
  • evaluation_outcome:绑定后的终点与评估字段。

改变反馈可以改变可见层,但不能重写底层环境或评估结果。

有边界的完整性

ChemWorld 追求在选定物理化学原型上实现实验交互链的结构完整性。化学覆盖与数值保真度有明确边界,而非穷尽。

下一步:API 参考 · Benchmark 设计 · 适用边界