Erklärung SFML: Drift-Monitor Sensor - was ist das?

Solar Forecast ML – Der Drift-Monitor erklärt

Was ist Drift?

In der KI- und Machine-Learning-Welt bezeichnet Drift die Veränderung des Verhaltens eines Modells über die Zeit. Ein Modell, das heute perfekt funktioniert, kann morgen schlechter werden – nicht weil es kaputt ist, sondern weil sich die Realität verändert hat.

Bei einer Solaranlage passiert das ständig und ist völlig normal:

  • Die Sonne steht im Winter tiefer als im Sommer
  • Die Tage werden länger oder kürzer
  • Die Atmosphäre verhält sich im Frühling anders als im Herbst
  • Neue Wettermuster entstehen, die das Modell noch nicht kennt
  • Die Anlage altert minimal, Verschmutzungen kommen und gehen

Das Modell wurde auf vergangenen Daten trainiert. Wenn sich die Bedingungen verändern, entsteht eine Lücke zwischen dem, was das Modell erwartet, und dem, was die Realität liefert – das ist Drift.


Wie erkennt Solar Forecast ML Drift?

Der Drift-Monitor läuft jeden Abend automatisch im EOD-Workflow und analysiert 24 verschiedene Metriken gleichzeitig:

2026-03-01 21:53:34.245 INFO  Drift detection complete: 24 metrics saved, 5 events created
2026-03-01 21:53:34.246 INFO  Drift detection completed for 2026-03-01: 24 metrics, 5 events, 3 scopes

Diese Metriken umfassen unter anderem:

  • Vorhersagefehler-Trend – Werden die Prognosen systematisch besser oder schlechter?
  • Residuen-Verteilung – Weichen die Fehler in eine bestimmte Richtung (zu hoch, zu niedrig)?
  • Saisonale Verschiebung – Hat sich das typische Tagesprofil der Produktion geändert?
  • Wetter-Korrelation – Stimmen die Wetterfaktoren noch mit der tatsächlichen Produktion überein?
  • Physik-KI-Verhältnis – Verändert sich, welche Methode gerade besser funktioniert?

Die Ergebnisse werden in 3 Scopes (Bereichen) bewertet: kurzfristig (letzte Tage), mittelfristig (letzte Wochen) und langfristig (saisonal).


Was bedeuten die Status-Stufen?

Status Bedeutung Was passiert?
OK Kein Drift erkannt Modell verhält sich stabil und erwartungsgemäß
Info Leichte Veränderung Innerhalb normaler Schwankungen – wird beobachtet
Warning Drift erkannt System reagiert aktiv, Gegenmaßnahmen laufen
Critical Starker Drift Modell braucht dringend mehr Trainingsdaten

Warum ist ein Warning kein schlechtes Zeichen?

Das ist der wichtigste Punkt: Ein Warning ist kein Alarm – es ist ein Zeichen dafür, dass das System funktioniert wie es soll → Es erkennt das es nachkorrigierten muss!

Ein Beispiel:
Stell dir vor, du hast einen Thermometer, der immer exakt die Temperatur anzeigt – selbst wenn sich die Jahreszeit von Winter auf Frühling ändert. Das wäre verdächtig. Ein gutes System merkt, wenn sich etwas verändert, und reagiert darauf. Bei HA wird sowas immer mit " Warning" deklariert!

Genau das tut der Drift-Monitor:

Warning = Das Modell hat Veränderungen erkannt

Ein Warning bedeutet: “Ich habe bemerkt, dass sich etwas verändert hat. Ich passe mich an.”

Das ist fundamental anders als: “Ich funktioniere nicht mehr.”

Konkret:
Wenn die Tage im Februar länger werden, verändert sich das typische Produktionsprofil. Das Modell, das im Januar trainiert wurde, passt nicht mehr perfekt zu den Februar-Bedingungen. Der Drift-Monitor erkennt das und gibt Warning – was gleichzeitig das tägliche Neu-Training auf den aktuellen Daten beschleunigt und priorisiert.

Warning = Das System lernt gerade intensiv

2026-03-01 21:53:34.246 INFO  Drift detection: 24 metrics, 5 events, 3 scopes

5 Drift-Events in 3 Scopes bedeutet:
Das System hat in 5 Bereichen Veränderungen erkannt und wird diese beim nächsten Training gezielt berücksichtigen. Die Seasonal-Archive (Frühling/Sommer/Herbst/Winter) werden dabei als Referenz genutzt, um zwischen echter Verschlechterung und saisonalem Wandel zu unterscheiden.

Warning = Alles läuft nach Plan

Ein System das niemals Warning zeigt, wäre eines von zwei Dingen:

  1. Zu unempfindlich – Es erkennt Veränderungen gar nicht
  2. Statisch – Es passt sich nie an und wird über die Jahreszeiten immer schlechter

oder schlicht weg KAPUTT :slight_smile:


Was passiert konkret bei einem Warning?

Der Drift-Monitor löst im Hintergrund automatisch mehrere Gegenmaßnahmen aus:

Kurzfristig (sofort):

  • Die Ensemble-Gewichtung zwischen KI und Ridge wird stärker angepasst
  • Die Methoden-Auswahl (KI vs. Physik) für betroffene Wetter/Tageszeit-Kombinationen wird überprüft

Mittelfristig (nächste Trainingsläufe):

  • Das KI-Training priorisiert die Datenpunkte aus dem Drift-Bereich
  • Die saisonalen Faktoren werden intensiver aktualisiert
  • Die Physics-Kalibrierung bekommt mehr Gewicht auf aktuelle Messungen

Langfristig (über Wochen):

  • Das Seasonal Archive wird mit dem aktuellen Modell verglichen
  • Bei Bedarf wird ein gespeichertes Saison-Modell als Startpunkt für das Re-Training genutzt
  • Die Rolling Correction Factors (z.B. solar=0.714) verschieben sich graduell

Ein praktisches Beispiel

Szenario: Anfang März, Tage werden deutlich länger

Im Januar lag der Sonnenaufgang um 8:15 Uhr. Anfang März bereits um 6:55 Uhr. Das Modell wurde auf Januar-Daten trainiert und erwartet Produktion erst ab ~8 Uhr. In Wirklichkeit produziert die Anlage aber schon ab 7 Uhr.

→ Drift-Monitor erkennt: Systematischer Fehler in den Morgenstunden
→ Status: WARNING (Scope: kurzfristig + saisonal)
→ Maßnahme: Morgenstunden-Gewichtung im Training erhöht
→ Ergebnis nach 5-7 Tagen: Modell hat sich angepasst, Status: OK

Das ist kein Problem – das ist das System, das exakt das tut, wofür es gebaut wurde.


Fazit

Was du siehst Was es bedeutet
Drift: OK Stabiler Zeitraum – Modell passt gut zur aktuellen Realität
Drift: Warning Übergangsphase – Modell erkennt Veränderungen und passt sich an
Drift: Critical Zu wenig Daten oder sehr starke Saisonveränderung – mehr Trainingsdaten nötig

Warning ist das häufigste und gesündeste Signal – besonders in Jahreszeiten-Übergängen (Winter → Frühling, Sommer → Herbst). Es zeigt, dass dein System wachsam ist und aktiv daran arbeitet, die Prognosequalität zu erhalten.

Ein dauerhaftes OK im März wäre eher ein Zeichen, dass der Drift-Monitor zu wenig misst – kein Zeichen für ein besonders gutes Modell.

Die beste Nachricht: Du musst bei einem Warning nichts tun. Das System handelt vollständig autonom – jeden Abend, lokal, ohne dass Daten das System verlassen.

4 „Gefällt mir“

Danke für die Erklärung, jetzt habe ich das auch verstanden :grinning_face: wären für die breite Masse vielleicht verständlichere Bezeichnungen sinnvoll, z.B. statt Warning → Learning?

Meines Wissens nach, sind das HA Bezeichnungen.

Ich würde da evtl. “normal Learning” wählen, denn wenn nur Learning da steht, wird irgendwann wieder jemand einen Bug melden, weil da immer Learning steht. Mit “normal” davor suggeriert es ja dann, dass es so okay ist.

1 „Gefällt mir“

Das ist leider nicht möglich, ich muss hier den Vorgaben von HA Folgen (Terminus)

1 „Gefällt mir“

Und so schaut das dann aus wenn es wirksam wird :wink:

1 „Gefällt mir“

Und so sieht das bei mir aus seit…. Keine Ahnung seit ca. 1-2 Monaten….

Ich weiß nicht was ich davon halten soll, vor allem da zumindest seit 2-3 Wochen auch die Attribute unverändert sind (da würden ich zumindest irgendeine Veränderung erwarten), außer die Anzahl der Driftevents die hochgeht.

1 „Gefällt mir“

Ich muss hier noch mal einhaken. Mein System wurde am 13.04. aufgesetzt und seitdem steht der “System-Status” auf “Warning” und der “KI Drift Status” hat sich auf “kritisch” geändert. Nach 10 Tagen hätte ich schon erwartet, dass sich da eine Änderung einstellt. Ich habe auch das Gefühl, dass die Prognosen eher schlechter werden. Für heute werden für meine 6 kW Peak Anlage sagenhafte 57 kWh vorhergesagt. Meine Anlage hat noch nie mehr als ca. 43 kWh produziert. So war es übrigens auch gestern und da hat die Vorhersage annähernd gestimmt. Nachdem heute mehr oder weniger die gleichen Bedingungen herrschen, hatte ich eine ähnliche Prognose erwartet.

@Rainman67 , Moin Michael, hilft das dem Verständnis?

Ja und nein. Ich bin halt auch etwas verwundert über den “System Status”. Was hat es mit diesem auf sich?

Guten Morgen Rainman

dazu gibt es eine sehr ausführliche und einfach gehaltende Erklärung. Bitte lese diese und wenn Du dazu noch weitere Fragen hast, you are welcome!

Moin,

juhu. mein Drift Status ist seit zwei Tagen nicht mehr kritisch… sondern nur noch auf warnung.

Warum? keine Ahnung zumal alle werte incl 7d mae absolut identisch mit denen oben vom 22.03. und gar nach länger ist (mit Aussnahme der Drift events natürlich). Evtl stimmt da was mit der Anzeige der MAE nicht…

Keine Ahnung…

Ich zitiere mal den ersten Post, da steht es genau drin.

Okay, sorry hab ich dann bin ich vermutlich zu doof…

Ich hatte gedacht, dass die textliche Anzeige “kritisch", “warning” auf Grundlage der MAE und anderer wichtiger Statistischer Parameter gebildet wird. Ich kann aus dem von dir zitierten Text leider nicht herauslesen wie es sein kann, das sich die Bewertung von Kritisch zu Warning ändern kann obwohl sich die MAE sich nicht geändert hat. Zumindest die 7Tages MAE muss ich doch in einem Zeitraum von 30-60Tagen mal in der letzten signifikanten Nachkommastellen geändert haben da diese ja sensibler reagieren sollte als die 30d MAE.

Was drift ist, ist allgemein klar, die einzige die ich hier meiner Meinung nach habe ist Degradation, Verschmutzung, Temperatur einflüsse und astronomischer Natur. Die beiden letzteren sollten jedoch im Model hoffentlich beachtet werden. (Nein, Vegetation und Schattenwurf, Sat-Antenne,… habe ich nicht)

2 „Gefällt mir“

Korrekt.

Das ist der wichtigste Punkt: Ein Warning ist kein Alarm – es ist ein Zeichen dafür, dass das System funktioniert wie es soll → Es erkennt das es nachkorrigierten muss!

Also läuft wie es soll. Und die Tage werden noch länger.

Darum geht es doch gar nicht…

Letzter Versuch:

Wie kann sich die Bewertung verändert haben obwohl sich zumindest die angezeigten relevanten Bewertungsparameter sich nicht mal in der letzten Nachkommastelle geändert haben. Alles andere ist irrelevant da verstanden!

Oder evtl anders gefragt:

Wie wahrscheinlich ist es, das die 7d MAE in einem Zeitraum von 60 Tagen unverändert ist. Meiner Einschätzung ist dies extrem unwahrscheinlich!

1 „Gefällt mir“

Ich denke ich nehme die KI-Anzeigen und Sample-Anzeige beim nächsten Update wieder raus… das verwirrt zu sehr, ist nicht verständlich genug und ich kann nicht erwarten, dass Leute googlen und sich einlesen → dafür ist es zu komplex und bedarf einiges an Verstädnis. … sorry habe es zu sehr durch die Entwickler-Brille gesehen, dabei vergessen wie komplex es ist … mein Fehler! … Ich baue es wieder hinter eine PIN → Dev Pin..

1 „Gefällt mir“

Bist du im falschen Thread?

Von welchen Samples und welcher KI-Anzeige redest du?

Du hast doch die KI-Attribute gar nicht mehr in Stats drin, oder täusche ich mich da?
Die stehen doch in den Attrubuten, willst du das dermassen umbauen das die nur noch mit einer SFML-Pin die Attribute kommen?

Ich fände es schade, das die Informationen durch die wenigen Leute, die sich nicht richtig einlesen für die große Masse eingeschränkt wird. Leider können wir lange darüber diskuttieren, das ein Warnung oder ein kritisch normal ist, es wird leider immer wieder den ein oder anderen geben die das nicht verstehen wollen.

Nur meine 5 cent, Ralf

Ich versuch nochmal sachlich zu bleiben…

Dass der MAE bei einem 7-Tage Fenster sich in einem volatilen Umfeld wie einer Solarprognose überhaupt nicht ändert ist mathematisch so gut wie ausgeschlossen. Das ist mein Kernproblem welches mir auch noch keiner überzeugend erklären konnte. Da bringt mir auch kein angebliches googlen oder die Unterstellung eines mangelndes Verständnis.

Wenn es sich hier lediglich um ein Anzeigeproblem handelt und dieser Wert eh nicht mehr berechnet wird, oder der berechnete nicht mehr angezeigt wird und hier nur alte Daten drinstehen. Dann bitte sagt das, dann kann das weg.

1 „Gefällt mir“