INFO: Prognosegüte und Prognosevergleich(e)

Da dieser Beitrag ein Teil eines anderen war / ist habe ich ihn einmal herausgelöst um ihn leichter auffindbar zu machen:

Nun wird’s sachlich / wissenschaftlich — ab wann gilt eine Prognose eigentlich als gut?

Das ist eine Frage die mich am Anfang sehr beschäftigt hat! Ich habe unzählige Apps ausprobiert und war irgendwie immer genervt. Ich wollte die ungeschönte Wahrheit und keine Marketingversprechen, nichts das sich immer wieder anpasst. Dann fand ich heraus, dass dafür tatsächlich eine wissenschaftliche Antwort gibt. Genau nach diesem System / Zielen / Vorgaben arbeite ich..

Die Messlatte der Wissenschaft

In der Solarforschung hat sich eine Kennzahl durchgesetzt: der nMAE (Normalized Mean Absolute Error) — der durchschnittliche Fehler normiert auf die Anlagenkapazität. Einfach gesagt: wie weit liegt die Prognose im Schnitt daneben, ausgedrückt in Prozent der maximal möglichen Leistung.

Als grobe Orientierung für die Praxis:

nMAE < 10%   → exzellent (Weltklasse, professionelle Utility-Systeme)
nMAE 10-15%  → sehr gut  (solide Day-Ahead Prognose)
nMAE 15-25%  → gut       (typisch für KI-gestützte Heimsysteme)
nMAE > 25%   → schwach   (Wettbewerb kaum besser als Persistenz-Modell)

Wobei man fair sein muss: für sonnige Tage erreichen gute Modelle MAPE-Werte um 10%, für bewölkte Tage schnellt der Fehler auf 60-70% — das Wetter selbst ist das größte Problem, nicht das Modell.

Der heilige Gral: Statische vs. rollende Prognose

Ein Unterschied den die meisten Nutzer gar nicht kennen — obwohl er fundamental ist.

Eine rollende Prognose aktualisiert sich ständig. Alle 30 Minuten, alle 15 Minuten, manchmal noch öfter (Forecast Solar, Meteo, SolCast,..)
Die Prognose für “heute 15:00 Uhr” wird um 14:30 Uhr nochmal neu berechnet — mit den aktuellsten Messdaten, dem aktuellen Satellitenbild, dem aktuellen Wolkenzug. Das ist technisch einfacher weil man immer auf frische Daten zurückgreift, und die meisten kommerziellen Systeme machen genau das.

Der Nachteil:
Die Prognose “wackelt”. Was um 7:00 Uhr für 15:00 Uhr vorhergesagt wurde, kann um 14:30 Uhr komplett anders aussehen. Für Energieautomatisierung ist das problematisch — wer seinen Akku um 7:00 Uhr auf Basis der Prognose lädt, bekommt um 10:00 Uhr vielleicht eine völlig andere Realität präsentiert.

Eine statische Prognose wird einmal am Morgen berechnet — und bleibt den ganzen Tag. Was sie morgens sagt, gilt. Das klingt weniger präzise, hat aber einen entscheidenden Vorteil: Energieentscheidungen können darauf gebaut werden.

SFML und TFS sind beides statische Systeme — und das ist bewusst so. Keine rollende Nachkorrektur, keine Schwellenwert-Kappung die unangenehme Wahrheiten versteckt. Was das Modell morgens berechnet, ist die ehrliche Schätzung für den Tag. Wenn es falsch liegt, lernt es daraus — beim nächsten Training und wird so immer besser.

Das ist übrigens auch der Grund warum ich bei SFML STATS keine “glättende” Nachbearbeitung eingebaut habe. Ihr sollt sehen was die Modelle wirklich denken — nicht eine weichgespülte Version davon.

Warum SFML + TFS zusammen besonders sind

Die meisten Systeme die ihr kennt machen eines von beiden:

  • Wetterbasierte Prognose (Open-Meteo, Solcast etc.): nehmen Wetterdaten und rechnen daraus Solarertrag. Gut bei bekannten Wetterbedingungen, schwach bei Anomalien.
  • Historische Prognose (simple ML-Modelle): schauen was an ähnlichen Tagen passiert ist. Gut bei stabilen Mustern, blind für neue Situationen.

SFML und TFS machen beides gleichzeitig — und kombinieren es zu einem Ensemble:

SFML  →  kennt eure Anlage, eure Verschattung, euren Mikroklima-Effekt
TFS   →  kennt Klimageschichte, weiß wann Wettermodelle lügen
          ↓
      Ensemble-Blend → P10 / P50 / P90

Das ist der Unterschied zwischen einem Wettermodell das rechnet, und einem System das versteht.

Ob das am Ende besser ist als kommerzielle Lösungen? - Ich denke schon, das ist meine Motivation! Ihr könnt es auch jeden Abend sehen in Stats und an den Sensoren, wie “genau / ungenau” sie war. Entscheidener ist aber das Jahr insgesamt. Da steht SFML aktuell bei 9,9 % ehrlichen MAE (!!!)

Zara

3 „Gefällt mir“

Da bin ich anderer Meinung. Problematisch wird es dann, wenn die statische Prognose vom Morgen bereits zur Mittagszeit deutlich von der Realität abweicht – was ja immer wieder vorkommt, etwa durch unzutreffende Wetterdaten oder andere Einflussfaktoren, die auch SFML und TFS nicht vollständig kompensieren können. In so einem Fall wären die am Morgen getroffenen Energieentscheidungen bzw. gestarteten Automationen schon am späten Vormittag hinfällig oder sogar kontraproduktiv.

Ein praktisches Beispiel ist für mich der evcc Optimizer, der perspektivisch ebenfalls scharf geschaltet werden soll. Dieser zeigt mir bereits morgens an, wann ein an der Wallbox angeschlossenes BEV X mit aktuellem SoC Y im reinen PV-Überschussladen gemäß SFML-Prognose vollgeladen sein soll – beispielsweise um 11:00 Uhr. Ungünstig wäre es, wenn sich im Tagesverlauf herausstellt, dass die Vollladung tatsächlich erst gegen 14:00 Uhr erreicht wird, ich meine Abfahrt mit benötigtem vollem Akku aber für 11:00 Uhr geplant hatte.

Ich vermute, genau das ist einer der Gründe, warum kommerzielle Lösungen dynamisch nachkorrigieren. Wäre der „heilige Gral“ einer Prognose mit garantierter maximaler Abweichung X zuverlässig erreichbar, sähe das anders aus. Solange das nicht der Fall ist, würde ich mir auch für SFML zumindest optional eine dynamische Tageskorrektur wünschen.

3 „Gefällt mir“