You signed in with another tab or window. Reload to refresh your session.You signed out in another tab or window. Reload to refresh your session.You switched accounts on another tab or window. Reload to refresh your session.Dismiss alert
-`task_id`: Verwenden Sie diesen Wert beim Ausfuehren der Bewertung als `run_id`.
87
101
-`endpoint`: Verwenden Sie diesen Wert als entfernte Bewertungs-URL.
88
102
103
+
#### Demo: `endpoint` und `task_id` automatisch extrahieren
104
+
105
+
Das folgende Beispiel verwendet ein vereinfachtes Python-Skript, um `gmp online submit` auszufuehren und `endpoint` sowie `task_id` aus der Rueckgabe zu extrahieren:
result = subprocess.run(cmd, capture_output=True, text=True, check=True)
126
+
output = result.stdout
127
+
json_start = output.find('{')
128
+
payload = json.loads(output[json_start:])
129
+
endpoint = payload['endpoint']
130
+
task_id = payload['task_id']
131
+
print('endpoint='+ endpoint)
132
+
print('task_id='+ task_id)
133
+
return endpoint, task_id
134
+
```
135
+
136
+
Nach dem Ausfuehren des Skripts werden `endpoint` und `task_id` direkt ausgegeben. Diese Werte koennen Sie anschliessend im Aufruf des Bewertungs-Workers verwenden.
137
+
89
138
### 4. Bewertungs-Worker starten
90
139
91
140
Fuehren Sie den Evaluator gegen den zurueckgegebenen Endpoint aus. Dies ist eine Test-Bewertung. Folgen Sie der Dokumentation, um Ihre eigene Modell-Bewertung zu erstellen.
Wenn Sie Verbindungs-Timeouts feststellen, starten Sie den Client neu, um die Verbindung wiederherzustellen.
187
+
Wenn Sie Verbindungs-Timeouts feststellen, starten Sie den Client neu, um die Verbindung wiederherzustellen. Der Fortschritt wird auf dem Server gespeichert.
137
188
138
189
### 5. Aufgabe ueberwachen
139
190
@@ -148,6 +199,18 @@ gmp status \
148
199
--run_id "$EBENCH_TASK_ID"
149
200
```
150
201
202
+
### 6. Aufgabe stoppen
203
+
204
+
Stoppen Sie eine Evaluierungssitzung mit:
205
+
206
+
```
207
+
gmp online stop \
208
+
--url "$EBENCH_ONLINE_ENDPOINT" \
209
+
--token "$EBENCH_SUBMIT_TOKEN" \
210
+
--run_id "$EBENCH_TASK_ID" \
211
+
--user_id "$USER_ID" # von der Website erhalten, Ihre Kontoseite
212
+
```
213
+
151
214
## URL fuer die Online-Einreichung
152
215
153
216
Erstellen Sie Aufgaben ueber die offizielle Plattform-Base-URL:
0 commit comments