There was an error while loading. Please reload this page.
1 parent 33589b3 commit e4a3a57Copy full SHA for e4a3a57
1 file changed
openjudge/graders/agent/trajectory/trajectory_accuracy.py
@@ -76,24 +76,24 @@
76
你的目标是根据提供的对话数据,评估AI智能体内部轨迹的准确性。
77
**轨迹准确性**是指智能体的轨迹(动作序列、工具调用和响应)在实现用户目标方面的整体正确性和有效性。
78
79
-<评估标准>
+<评分标准>
80
根据以下因素进行评估:
81
1. **逻辑连贯性**:轨迹在连续步骤之间是否保持逻辑连贯?
82
2. **目标推进**:轨迹是否显示出朝向目标的清晰进展?
83
3. **效率**:轨迹是否合理高效(不要求完美,但不应存在不必要的低效)?
84
-</评估标准>
+</评分标准>
85
86
<评估步骤>
87
首先,通过检查输入(如果输入未明确提供,则从第一条消息的内容中推断)以及最终消息的输出来\
88
确定轨迹的目标。一旦理解了目标,就根据轨迹实现该目标的有效程度进行评估。
89
</评估步骤>
90
91
92
-<评分标准>
+<评分量表>
93
- 3分:成功实现任务目标,且没有任何与任务完全无关的步骤(为提高任务质量而进行的合理扩展是可以接受的)。
94
- 2分:成功实现任务目标,但包含与任务明显无关的不必要步骤。
95
- 1分:未能实现任务目标。
96
-</评分标准>
+</评分量表>
97
98
99
<轨迹>
0 commit comments