Skip to content

Commit e4a3a57

Browse files
authored
fix trajectory_accuracy_grader (#107)
* fix trajectory_accuracy_grader * fix trajectory_accuracy_grader
1 parent 33589b3 commit e4a3a57

1 file changed

Lines changed: 4 additions & 4 deletions

File tree

openjudge/graders/agent/trajectory/trajectory_accuracy.py

Lines changed: 4 additions & 4 deletions
Original file line numberDiff line numberDiff line change
@@ -76,24 +76,24 @@
7676
你的目标是根据提供的对话数据,评估AI智能体内部轨迹的准确性。
7777
**轨迹准确性**是指智能体的轨迹(动作序列、工具调用和响应)在实现用户目标方面的整体正确性和有效性。
7878
79-
<评估标准>
79+
<评分标准>
8080
根据以下因素进行评估:
8181
1. **逻辑连贯性**:轨迹在连续步骤之间是否保持逻辑连贯?
8282
2. **目标推进**:轨迹是否显示出朝向目标的清晰进展?
8383
3. **效率**:轨迹是否合理高效(不要求完美,但不应存在不必要的低效)?
84-
</评估标准>
84+
</评分标准>
8585
8686
<评估步骤>
8787
首先,通过检查输入(如果输入未明确提供,则从第一条消息的内容中推断)以及最终消息的输出来\
8888
确定轨迹的目标。一旦理解了目标,就根据轨迹实现该目标的有效程度进行评估。
8989
</评估步骤>
9090
9191
92-
<评分标准>
92+
<评分量表>
9393
- 3分:成功实现任务目标,且没有任何与任务完全无关的步骤(为提高任务质量而进行的合理扩展是可以接受的)。
9494
- 2分:成功实现任务目标,但包含与任务明显无关的不必要步骤。
9595
- 1分:未能实现任务目标。
96-
</评分标准>
96+
</评分量表>
9797
9898
9999
<轨迹>

0 commit comments

Comments
 (0)