Solar Forecast ML - Solar Forecast STATS - TFS HA Version
Walkthrough: Das Solar Forecast ML Ökosystem
Als Entwickler dieses Systems ist es mein Ziel, die technische Komplexität so aufzulösen, dass das Zusammenspiel für jeden nachvollziehbar ist. Ich möchte aufzeigen, was das Solar Forecast ML Ökosystem in seiner Gesamtheit leistet – von der Wetterwahrheit bis zur transformerbasierten Prognose.
1. Gesamtüberblick
Das Gesamtsystem habe ich aus drei eng miteinander verbundenen Bausteinen entwickelt:
- SFML: Der eigentliche Prognosekern und das operative Herz.
- Stats: Die Analyse-, Visualisierungs- und Transparenzschicht.
- TFS HA: Der transformerbasierte Zusatz-Prognostiker.
Zusammen entsteht daraus kein einfaches Einzelsystem, sondern ein mehrstufiges lokales Solarprognose-Ökosystem.
Die zentrale Idee dabei:
Ich nehme nicht einfach irgendeine Wetterprognose und berechne daraus direkt einen Ertragswert. Stattdessen erzeugt mein System zuerst eine möglichst realistische Wetterwahrheit, verknüpft diese mit Physik, Anlagenwissen und KI, vergleicht die Vorhersage später mit der Realität und lernt daraus wiederum für die Zukunft.
Vorteile meines Ansatzes:
- Vollständig lokal: Keine externen KI-Dienste notwendig.
- Datenschutz: Keine Daten verlassen dein eigenes System.
- Lernfähig: Individuelle Anpassung an deine örtliche Situation (Wetter und Anlage).
- Anlagenspezifisch: Schattenwurf und Besonderheiten werden präzise erkannt.
- Selbstverbessernd: Das System optimiert sich langfristig von selbst.
2. Sinn und Zweck von SFML
SFML ist die zentrale Solarprognose-Integration. Ihr Zweck ist es, für eine konkrete PV-Anlage eine realistische, lokale und lernende Solarprognose zu erzeugen – ohne „schönrechnen“ oder rollendes Nachjustieren, wie es viele bekannte kommerzielle Dienste tun.
Im Unterschied zu Standardlösungen bildet SFML das echte Verhalten der konkreten lokalen Anlage ab. Dabei berücksichtige ich unter anderem:
- Ausrichtung der Module und Dachneigung.
- Spezifische Panelgruppen und lokale Verschattung.
- Wetterbesonderheiten vor Ort sowie Jahreszeit und Sonnenstand.
- Wechselrichterverhalten (z. B. Clipping, Drosselung).
- Störsituationen wie Frost oder Schnee.
SFML ist die operative Wahrheit. Der Baustein entscheidet, wie viel Ertrag erwartet wird, welche Stunden als „sauber“ für das Lernen gelten und welche historischen Daten für das zukünftige Training verwendet werden dürfen.
3. Wie SFML arbeitet
3.1 Wetterberechnung aus Rohdaten
Ein besonderer Unterschied: Ich betrachte Wetterdaten eines einzelnen Dienstes (ECMWF, ICON, etc.) nicht automatisch als Wahrheit. SFML baut aus mehreren Quellen eine korrigierte Wetterprognose auf. Wetterbeschaffung und Solarprognose sind hierbei bewusst getrennt; Rohdaten werden bewertet, gewichtet und korrigiert.
3.2 Physikmodell plus lokale KI
Die Prognose entsteht aus einem Zusammenspiel:
- Physikalische Schicht: Beantwortet, was unter gegebenen Bedingungen theoretisch möglich wäre.
- KI-Schicht: Beantwortet, wie sich diese konkrete Anlage in der Praxis wirklich verhält.
Die Kombination sorgt dafür, dass das System realistisch rechnet und nicht nur theoretische Idealwerte liefert.
3.3 Panelgruppen statt Gesamtsumme
SFML kann Panelgruppen getrennt betrachten. Dadurch unterscheidet das System unterschiedliche Dachseiten, erkennt lokale Verschattung besser und wendet Physik sowie KI differenzierter an. Das macht die Prognose deutlich feiner als bei pauschalen Ansätzen.
3.4 Tagesverlauf mit echter Betriebslogik
Das System lebt mit dem Tag mit:
- Morgendliche Fixierung eines autoritativen Tagesstands.
- Laufende Erfassung echter Ist-Werte.
- Adaptive Nachkorrektur (nur auf User-Wunsch, max. 2x am Tag).
- Abendliche End-of-Day-Auswertung und Übergabe in den nächsten Tag.
4. Kalkulation der Prognose
Zur Berechnung zieht SFML mehrere Ebenen gleichzeitig heran:
- Wetterdaten: Temperatur, Wolkenlage, Strahlung, Regen, Luftfeuchtigkeit, Sichtweite, Nebel, Wettercodes sowie direkte/diffuse Einstrahlung.
- Astronomie: Sonnenstand, Tageszeit, Jahreszeit und tageslichtspezifische Zeitfenster.
- Anlagengeometrie: Panelgruppen, Ausrichtung, Neigung und Kapazitäten.
- Physik: Ein Fundament für Leistungsgrenzen und Einstrahlungswinkel.
- Lokale KI-Erfahrung: Lernen aus systematischer Über- oder Unterperformance und wetterabhängigen Fehlern.
- Qualitätslogik: Ausschluss von Stunden mit MPPT-Drosselung, Clipping oder Ausreißern (z. B. Schnee), um die Lernbasis nicht zu verfälschen.
5. Welche Rolle die KI in SFML spielt
In SFML arbeitet keine Blackbox, sondern die von mir entwickelte KI-Struktur “Hubble”. Ihre Aufgabe ist es, die Physik intelligent zu ergänzen. Hubble übernimmt dabei operative Intelligenz in Bereichen wie Wetterkorrektur, Experten-Gewichtung, Drift-Erkennung, Physik-Kalibrierung und dem Erlernen von Schattenmustern. Die KI ist somit auch für die Selbstüberwachung und Qualitätskontrolle zuständig.
6. End-of-Day-Lernen in SFML
Jeden Abend läuft ein zentraler Prozess, der den abgeschlossenen Tag auswertet. Das System vergleicht Prognose vs. Erzeugung und Vorhersage vs. tatsächliches Wetter. Aus diesem Rückblick entstehen neue Lerninformationen für die Hauptprognose, die Wetterlogik und die Panelgruppen. Jeder Tag ist Trainingsmaterial für den nächsten.
7. Sinn und Zweck von Stats
Stats ist die Analyse- und Transparenzschicht. Es erzeugt selbst keine Prognose, sondern liest die gemeinsame Datenbank aus und macht die Komplexität von SFML sichtbar. Stats ist der Teil, der Vertrauen aufbaut, indem es die Qualität des Systems verständlich kommuniziert.
8. Was Stats zeigt
- Home: Tagesprognose, Ist-Ertrag, Abweichung, Hybrid-Sicht und Prognosegüte.
- Solar: Historische Vergleiche, Peak-Zeiten und der “Schatten-Fingerprint”.
- Weather: Transparenz über Strahlung, Astronomie und den Vergleich von erwartetem vs. beobachtetem Wetter.
- Energy: Verbindung zur Energiewirtschaft mit Preisen, Billing und dynamischer Preislogik (via integriertem GPM).
- Settings: Sensorstatus, KI-Status (Hubble-Stack), Driftstatus und Physics-Calibrator.
9. Die gemeinsame Datenbank
Die Datenbank ist das operative Gedächtnis meines Ökosystems. Hier liegen alle korrigierten Wetterdaten, stundenweisen Prognosen, Ist-Werte, Schattenmuster und Physik-Kalibrierungen. Sie ist das Bindeglied: SFML schreibt die Wahrheit, Stats macht sie sichtbar und TFS nutzt sie als Eingangswahrheit.
10. Sinn und Zweck von TFS HA
TFS HA ist der transformerbasierte Zusatz-Prognostiker. Er ersetzt SFML nicht, sondern erweitert es um eine zusätzliche starke KI-Schicht als Ensemble-Partner.
Das Besondere an TFS:
- Transformer-Ansatz: Ein von mir mit Millionen historischer Daten trainierter 4-Head Transformer.
- 72-Stunden-Prognosen: Erweiterter Zeithorizont.
- Quantilprognosen: Statt eines Einzelwerts liefert TFS P10 (vorsichtig), P50 (wahrscheinlich) und P90 (optimistisch). Das ist entscheidend für Risikoeinschätzungen.
11. Wie TFS HA arbeitet
TFS läuft als eigenes Home-Assistant-Add-on mit eigener Laufzeit und API.
- Datenbezug: TFS liest historische Produktionsdaten, Wetter-Istwerte und Degradationshinweise direkt aus SFML.
- Wetteraufbereitung: TFS besitzt eine eigene Wetterblender-Schicht.
- Transformer-Inferenz: Das Modell arbeitet relativ zu einer physikalischen Baseline. Es lernt: Wie stark weicht die reale Leistung von der theoretischen Basis ab?
- Nachbearbeitung: Eine erneute physikalische Plausibilitätsprüfung garantiert valide Ergebnisse.
12. Die Rolle der KI in TFS HA
In TFS arbeitet ein Transformer mit lokaler Feinjustierung. Das starke Grundmodell bleibt erhalten, während anlagenspezifische Anpassungen separat ergänzt werden. TFS lernt bewusst aus den realen SFML-Istwerten, um so nah wie möglich an der Praxis zu bleiben.
13. Wie SFML und TFS zusammenspielen
Die Rollenverteilung ist klar:
- SFML ist der Kern: Verantwortlich für operative Prognose, Tageslogik und die zentrale Datenbank.
- TFS ist der starke Zusatzspieler: Liefert den Transformer-Kanal und Quantil-Informationen.
Das Zusammenspiel: TFS zieht die Wahrheit aus SFML, SFML wiederum kann TFS als Ensemble-Mitglied adaptiv einbeziehen. Die Gewichtung des TFS-Anteils ist dabei nicht starr, sondern wird vom System gelernt.
14. Der Gesamtprozess in 7 Schritten
- Wetter sammeln und korrigieren.
- SFML erzeugt die lokale Hauptprognose.
- TFS berechnet die 72h-Quantilprognose.
- SFML blendet TFS adaptiv und kontextabhängig ein.
- Echtzeit-Ist-Daten fließen im Tagesverlauf ein.
- Am Tagesende erfolgt die Bewertung und das Lernen.
- Stats visualisiert die Ergebnisse für den Nutzer.
15. Zusammenfassung der Besonderheiten
Dieses System ist weit mehr als eine Prognosemaschine. Es bietet:
- Anzeige von Lernbasis und verworfenen Stunden.
- Schatten-Fingerprint und Drift-Überwachung.
- Physics-Calibrator zur ständigen Nachjustierung.
- Vollständige Integration in die Home-Assistant-Welt.
Dieses System ist handgemacht. Es wurde nicht mittels KI entwickelt, daher hat es Ecken und Kanten, die nach und nach immer weiter geschliffen werden. Es treten immer mal wieder seltsame Dinge auf / Fehler → die ich aber versuche schnell zu beheben!
Auch gibt es sicherlich an der einen oder anderen Stelle im Code Dinge die man hätte einfacher lösen können, wo echte Entwickler die Hände über dem Kopf zusammenschlagen.. aber so what 
es ist ein Hobby!
Was mir wichtig ist:
Ohne die User, also Euch wäre es nicht auf dem Stand den es heute bereits erreicht hat! Mein Dank gilt auch Simon, der diesem zugegeben großen Projekt in seinem Forum ein Zuhause geboten hat und natürlich auch Harry und all die anderen die hier moderieren, helfen, unterstützen und fleißig posten!
Besonderen Dank möchte ich an:
@Kaysen899
@Joachim-xo
@dietmar1968
@nightrunner
@alteMade
@Johnny_1993
@lemuba
@nobbilie
@ottokar
@Tajano
und viele andere (ich kann nur 10 anfügen) richten, für ihr Durchhalten, Fragen, Inputs und soviel mehr..!
by HarryP: Zusammenführung Doppelpost (bei Änderungen oder hinzufügen von Inhalten bitte die „Bearbeitungsfunktion“ anstatt „Antworten“ zu nutzen)
