Erklärung SFML: Drift-Monitor Sensor - was ist das?

Solar Forecast ML – Der Drift-Monitor erklärt

Was ist Drift?

In der KI- und Machine-Learning-Welt bezeichnet Drift die Veränderung des Verhaltens eines Modells über die Zeit. Ein Modell, das heute perfekt funktioniert, kann morgen schlechter werden – nicht weil es kaputt ist, sondern weil sich die Realität verändert hat.

Bei einer Solaranlage passiert das ständig und ist völlig normal:

  • Die Sonne steht im Winter tiefer als im Sommer
  • Die Tage werden länger oder kürzer
  • Die Atmosphäre verhält sich im Frühling anders als im Herbst
  • Neue Wettermuster entstehen, die das Modell noch nicht kennt
  • Die Anlage altert minimal, Verschmutzungen kommen und gehen

Das Modell wurde auf vergangenen Daten trainiert. Wenn sich die Bedingungen verändern, entsteht eine Lücke zwischen dem, was das Modell erwartet, und dem, was die Realität liefert – das ist Drift.


Wie erkennt Solar Forecast ML Drift?

Der Drift-Monitor läuft jeden Abend automatisch im EOD-Workflow und analysiert 24 verschiedene Metriken gleichzeitig:

2026-03-01 21:53:34.245 INFO  Drift detection complete: 24 metrics saved, 5 events created
2026-03-01 21:53:34.246 INFO  Drift detection completed for 2026-03-01: 24 metrics, 5 events, 3 scopes

Diese Metriken umfassen unter anderem:

  • Vorhersagefehler-Trend – Werden die Prognosen systematisch besser oder schlechter?
  • Residuen-Verteilung – Weichen die Fehler in eine bestimmte Richtung (zu hoch, zu niedrig)?
  • Saisonale Verschiebung – Hat sich das typische Tagesprofil der Produktion geändert?
  • Wetter-Korrelation – Stimmen die Wetterfaktoren noch mit der tatsächlichen Produktion überein?
  • Physik-KI-Verhältnis – Verändert sich, welche Methode gerade besser funktioniert?

Die Ergebnisse werden in 3 Scopes (Bereichen) bewertet: kurzfristig (letzte Tage), mittelfristig (letzte Wochen) und langfristig (saisonal).


Was bedeuten die Status-Stufen?

Status Bedeutung Was passiert?
OK Kein Drift erkannt Modell verhält sich stabil und erwartungsgemäß
Info Leichte Veränderung Innerhalb normaler Schwankungen – wird beobachtet
Warning Drift erkannt System reagiert aktiv, Gegenmaßnahmen laufen
Critical Starker Drift Modell braucht dringend mehr Trainingsdaten

Warum ist ein Warning kein schlechtes Zeichen?

Das ist der wichtigste Punkt: Ein Warning ist kein Alarm – es ist ein Zeichen dafür, dass das System funktioniert wie es soll → Es erkennt das es nachkorrigierten muss!

Ein Beispiel:
Stell dir vor, du hast einen Thermometer, der immer exakt die Temperatur anzeigt – selbst wenn sich die Jahreszeit von Winter auf Frühling ändert. Das wäre verdächtig. Ein gutes System merkt, wenn sich etwas verändert, und reagiert darauf. Bei HA wird sowas immer mit " Warning" deklariert!

Genau das tut der Drift-Monitor:

Warning = Das Modell hat Veränderungen erkannt

Ein Warning bedeutet: “Ich habe bemerkt, dass sich etwas verändert hat. Ich passe mich an.”

Das ist fundamental anders als: “Ich funktioniere nicht mehr.”

Konkret:
Wenn die Tage im Februar länger werden, verändert sich das typische Produktionsprofil. Das Modell, das im Januar trainiert wurde, passt nicht mehr perfekt zu den Februar-Bedingungen. Der Drift-Monitor erkennt das und gibt Warning – was gleichzeitig das tägliche Neu-Training auf den aktuellen Daten beschleunigt und priorisiert.

Warning = Das System lernt gerade intensiv

2026-03-01 21:53:34.246 INFO  Drift detection: 24 metrics, 5 events, 3 scopes

5 Drift-Events in 3 Scopes bedeutet:
Das System hat in 5 Bereichen Veränderungen erkannt und wird diese beim nächsten Training gezielt berücksichtigen. Die Seasonal-Archive (Frühling/Sommer/Herbst/Winter) werden dabei als Referenz genutzt, um zwischen echter Verschlechterung und saisonalem Wandel zu unterscheiden.

Warning = Alles läuft nach Plan

Ein System das niemals Warning zeigt, wäre eines von zwei Dingen:

  1. Zu unempfindlich – Es erkennt Veränderungen gar nicht
  2. Statisch – Es passt sich nie an und wird über die Jahreszeiten immer schlechter

oder schlicht weg KAPUTT :slight_smile:


Was passiert konkret bei einem Warning?

Der Drift-Monitor löst im Hintergrund automatisch mehrere Gegenmaßnahmen aus:

Kurzfristig (sofort):

  • Die Ensemble-Gewichtung zwischen KI und Ridge wird stärker angepasst
  • Die Methoden-Auswahl (KI vs. Physik) für betroffene Wetter/Tageszeit-Kombinationen wird überprüft

Mittelfristig (nächste Trainingsläufe):

  • Das KI-Training priorisiert die Datenpunkte aus dem Drift-Bereich
  • Die saisonalen Faktoren werden intensiver aktualisiert
  • Die Physics-Kalibrierung bekommt mehr Gewicht auf aktuelle Messungen

Langfristig (über Wochen):

  • Das Seasonal Archive wird mit dem aktuellen Modell verglichen
  • Bei Bedarf wird ein gespeichertes Saison-Modell als Startpunkt für das Re-Training genutzt
  • Die Rolling Correction Factors (z.B. solar=0.714) verschieben sich graduell

Ein praktisches Beispiel

Szenario: Anfang März, Tage werden deutlich länger

Im Januar lag der Sonnenaufgang um 8:15 Uhr. Anfang März bereits um 6:55 Uhr. Das Modell wurde auf Januar-Daten trainiert und erwartet Produktion erst ab ~8 Uhr. In Wirklichkeit produziert die Anlage aber schon ab 7 Uhr.

→ Drift-Monitor erkennt: Systematischer Fehler in den Morgenstunden
→ Status: WARNING (Scope: kurzfristig + saisonal)
→ Maßnahme: Morgenstunden-Gewichtung im Training erhöht
→ Ergebnis nach 5-7 Tagen: Modell hat sich angepasst, Status: OK

Das ist kein Problem – das ist das System, das exakt das tut, wofür es gebaut wurde.


Fazit

Was du siehst Was es bedeutet
Drift: OK Stabiler Zeitraum – Modell passt gut zur aktuellen Realität
Drift: Warning Übergangsphase – Modell erkennt Veränderungen und passt sich an
Drift: Critical Zu wenig Daten oder sehr starke Saisonveränderung – mehr Trainingsdaten nötig

Warning ist das häufigste und gesündeste Signal – besonders in Jahreszeiten-Übergängen (Winter → Frühling, Sommer → Herbst). Es zeigt, dass dein System wachsam ist und aktiv daran arbeitet, die Prognosequalität zu erhalten.

Ein dauerhaftes OK im März wäre eher ein Zeichen, dass der Drift-Monitor zu wenig misst – kein Zeichen für ein besonders gutes Modell.

Die beste Nachricht: Du musst bei einem Warning nichts tun. Das System handelt vollständig autonom – jeden Abend, lokal, ohne dass Daten das System verlassen.

4 „Gefällt mir“

Danke für die Erklärung, jetzt habe ich das auch verstanden :grinning_face: wären für die breite Masse vielleicht verständlichere Bezeichnungen sinnvoll, z.B. statt Warning → Learning?

Meines Wissens nach, sind das HA Bezeichnungen.

Ich würde da evtl. “normal Learning” wählen, denn wenn nur Learning da steht, wird irgendwann wieder jemand einen Bug melden, weil da immer Learning steht. Mit “normal” davor suggeriert es ja dann, dass es so okay ist.

1 „Gefällt mir“

Das ist leider nicht möglich, ich muss hier den Vorgaben von HA Folgen (Terminus)

1 „Gefällt mir“