Produktives A/B-Testing, Promotion und Rollback in allen ML/Loop-Pfaden

[makr-code]

Problem:
Das A/B-Testing Framework ist im Code, wird aber nicht im echten Produktionsflow verwendet (hängt an Dummy/Aggregatwerten ohne Live-Traffic/Promotionbindung).

ToDo:

• A/B-Test-Definition und Promotion/Abort-Pfade voll mit Live-Traffic verbinden
• Echtzeitdaten-Eligibility, Testaufteilung und Guardrails implementieren
• Metrik-/Dashboards zur Übersicht aktiver/past Tests und Promotions
• Rollback-Automatik robust machen

Abnahmekriterium:

• Produktionssystem entscheidet über echten Traffic und wertet A/B-Tests signifikant
• Alle Promotionen und Rollbacks kommen aus echten Produktivmetriken

Parent: #roadmap-production-ml-pipeline

[github-actions]

The text discusses the challenge of integrating an existing A/B testing framework with live traffic in a production environment. It outlines tasks such as enabling full connectivity for tests and promotions, implementing real-time data handling and monitoring, creating dashboards for active and historical test metrics, and ensuring robust automation for rollbacks. Success is defined by production-level decisions based on live metrics influencing A/B tests and promotions effectively.