Erste KI-basierte Solarprognose die selbst lernt und deine Anlage kennenlernt - veröffentlicht-!

Heute scheint aber schonmal wieder die :sun: für @Tom-HA :slightly_smiling_face:

Der erste Tag in diesem Jahr, bei dem wir mal wieder unser Auto mit PV-Überschuss laden können:

Das ist für mich leider keine Option. Zeitlich ist das absolut nicht zu bewältigen, zumal es sich oft um Konfigurationsfehler und nicht um echte Bugs handelt. Ein Support auf Englisch würde zudem eine zusätzliche Hürde darstellen, die in dieser Form nicht zielführend ist.

Hier im Forum können wir uns flexibel und gegenseitig unterstützen. Auf GitHub müsste ich Anfragen oft mit einem knappen ‚Check your system‘ oder ‚English please‘ abweisen – damit wäre niemandem geholfen. Da meine Ressourcen begrenzt sind, konzentriere ich mich lieber weiterhin auf den Austausch hier. Ich bitte um Verständnis, dass ich Anfragen auf GitHub nicht bearbeiten kann.

UPDATE IS OUT 16.4.0

Fuel my late-night ideas with a coffee? I’d really appreciate it!

Buy Me a Coffee

:rocket: Release v16.4.0 - Physics Engine & AI Overhaul + Self-Healing Migration

This update represents a major stabilization and important bugfixes of the prediction engine. I have eliminated several critical calculation “blind spots”—specifically regarding radiation correction and database handling—while introducing a multi-stage migration process that automatically repairs corrupted historical data.

:hammer_and_wrench: Bug Fixes & Core Logic

  1. Radiation Key Mismatch: Fixed a critical naming mismatch where the Solar Correction Factor and Temperature Offset were saved under different keys than they were read from (effectively locking them at 1.0).
  2. The Physics Paradox: Resolved an issue where Global Radiation (GHI) was reduced via correction factors, but Direct and Diffuse radiation (DNI/DHI) remained at uncorrected raw values. This led to physically impossible states and massive overestimations for tilted panels.
  3. Low Sun Correction: Radiation correction for low sun angles now actively applies the learned factor instead of ignoring it.
  4. Database “NULL-Bug”: Resolved a database error in Performance Learning that created new entries for every cycle instead of updating existing ones. I’ve stopped the learning tables from bloating with duplicates.
  5. Smart AI Training: AI Training now correctly ignores hours with missing weather data instead of training on zero-values.
  6. Sensor Freezing: The “Best Hour Forecast” sensor now updates reliably after every morning routine instead of getting stuck on old values.
  7. Granular Shadow Detection: I now evaluate each panel group individually rather than applying a global logic, allowing for much higher spatial accuracy.

:chart_increasing: Improvements // HW detection and fixes // Proxmox fixes // AI & Transformer Attention fixes

  1. Safety Catch: The AI model now catches NaN/Inf values before they can produce nonsensical predictions.
  2. Dynamic kWh Limits: The maximum kWh limit per hour now automatically adjusts to the actual size of your installation.
  3. Frost Classification: Improved classification logic to distinguish correctly between light and heavy frost.
  4. Advanced Snowmelt: Adjusted snowmelt progress to account for panel tilt during rising temperatures.
  5. Ridge Regression Optimization: I’ve implemented bias regularization and now optimize the Alpha value across all panel groups simultaneously for better stability.
  6. Precision Handling: Rolling averages for weather precision no longer falsely exclude factors of exactly 1.0.
  7. Data Loss Prevention: Fixed an issue where the daily energy counter was saved even if no matching forecast entry existed, preventing the loss of hourly kWh data.
  8. AI per String and hour: with this build predictor decides per panel-group, conditions and hour which model will deliver the best prediction
  9. DNI-Tracker: massiv improvement and rebuild of the core-logic
  10. SQL fixes: SQL-Schemata and migration-skript update and write/read/journaling/crud update
  11. Proxmox-Legacy Fix: solves the not yet fixed problems by Proxmox-DEV and HA-DEV with actual Kernel problems
  12. Proxmox-Timing Fix: based on the fact that HA and Proxmox did not comunicate Proxmox sometimes stops HA if scrips run longer f.e. GRID-SEARCE
  13. Proxmox-Downscale: based on the fact that HA is not able to scale RAM and CPU load on Proxmox the scripts will “slow down”
  14. Proxmox API-Error: since Proxmox has sometimes API problems since actual HA-Kernel i added a 3 retry (0 - 30 - 90 Sek)
  15. Proxmox Entity lost: since Proxmox sometimes looses entities since actual HA-Kernel i build a new sensor registration
  16. ARM-Support: full scale ARM (Raspberry 4/5) support for Solar Forecast ML
  17. x86_64 boost: Solar Forecast ML boost for native bare-metal HA systems up to 60%
  18. x86_64 update: runtime and python update - based on actual (original) HA Reposity fully compatible
  19. x86_64 task handling: performance-boost for EOD and Prediction for low budget bare metal systems
  20. Linux Ubuntu VM: performance tweaks
  21. GENTO Based Linux VM: Performance tweaks
  22. UnRaid VM: now similar performance like x86_64 native HA
  23. Synology VM: better performance for low-level cpus (DS before 2025)
  24. Transformer Attention Model: now HW-Binding detection for more stability on Proxmox and VM
  25. Fixes: lots of smaller fixes based on word-wide notice

##INFO: Last build with Proxmox fixes! If you encounter SFML issues on Proxmox, please reach out to the Proxmox developers.

:desktop_computer: Solar Forecast STATS & UI (LCARS Overhaul)

  1. Resource Efficiency: Performed a complete rewrite of the CSS and Vue components to significantly reduce CPU load and fix memory leaks.
  2. Reliability: Fixed z-index issues where pop-ups were hidden behind other elements and ensured error messages remain visible during reloads.
  3. Visual Alignment: Fixed SVG rendering issues in the LCARS layout and refreshed the weather icons for better clarity.
  4. UI Sync: Fixed the Day/Night toggle and ensured that loaded values are always reliably displayed on the screen.
  5. NEW Category: For better info there is a new KI-Chart
  6. Improved charts: all charts have been updatet to new DB
  7. Fix Peak: Daily-Peak has been fixed
  8. Fix Time: Production-time has been fixed
  9. New Chart: Panel-Shadow now also visible via Chart
  10. Last 7 Days: The chart has been rebuild
  11. Forecast: The forecast chart is now also DB
  12. Fixes: some fixes based on world wide community inputs

:warning: IMPORTANT: Update & Migration Notes

This update performs a two-stage automatic repair of your data. No manual intervention is required.

Proxmox Users: I have split the migration into two tasks (Instant & Background) to prevent communication timeouts between the Host and Home Assistant. If the start seems slightly delayed, do not force a restart; HA is managing the tasks to prevent Proxmox from “killing” the container.

Phase 1: Immediate Migration (On Startup)

  1. Historical Repair: Weather correction factors are recalculated from existing hourly values to fix the previous “Key Error.”
  2. Database Cleanup: Learning tables are scanned for duplicates caused by the “NULL-Bug” and reset once to allow for a clean rebuild.
  3. Sanity Check: The DNI Tracker resets “poisoned” values (entries >200 W/m² caused by previous calculation bugs).

Phase 2: First End-of-Day (23:30)

  1. Clean Rebuild: Performance Learning and Ensemble weights (LSTM vs. Ridge) will be rebuilt using the now-accurate physics data.
  2. Convergence: The system begins a 7-day convergence period where rolling averages and trackers will fully populate with clean data.

Summary: Your prediction accuracy will improve immediately and will reach its full potential after approximately 7 days.

5 „Gefällt mir“

Update lief sauber durch, kompletter System neustart auch ohne Probleme

1 „Gefällt mir“

Update Proxmox VM lief auch sauber durch.

1 „Gefällt mir“

Update lief bei mir auch ohne Probleme auf Proxmox durch, vielen Dank

Habe mir jetzt auch ein Dummy-System (alter i7-Laptop - also nicht Proxmox / virtualisiert) angelegt und mit der jetzigen Version neu gestartet - da hab ich jetzt einfach manuelle, dumme Sensoren angelegt.
Einfach mal, um künftig solche Dinge besser zu testen und falsche Sensoren auszuschließen.

2 Dinge sind mir aufgefallen:

  1. Mein Fehler aus meinem "Echtsystem”: Die Wattanzeige bei der Batterie bleibt bei 0.
    Dieser Fehler ist auch bei der Dummy-Installation vorhanden. Also muss es ein Bug sein bzw. irgendein Fehler sein, der mit einer Neuinstallation in Verbindung steht. Wie als ob da die Verknüpfung zum Sensor nicht passt/klappt. Alle anderen Sensoren im Flussdiagramm funktionieren anscheinend.

  1. Bei der Autarkie scheint ein Formelfehler zu sein, siehe hier:

50% Autarkie, obwohl die Batterie bisher nur vom Netz geladen wird - da stimmt was nicht.
Er rechnet den Netzbezug als autarke Energie. Ich denke mal, das soll so nicht sein, oder?
Sollte ja nur das als autark gerechnet werden, was nicht “zugekauft" wird…

Bitte Release - Notes zu V16.0.0 lesen! Das ist kein BUG sonder noch nicht fertig!

Was sind denn “Drift Events”?

Du meinst das mit der Autarkie? Eben die Notes zu 16.0.0 gelesen, aber nix dazu gefunden.

Update no problems. Datum leider US-Style. Absicht? 2 Tage fehlen, warum auch immer…

Hier scheint er aber die Daten zu haben. Auch US-Datum.

Selbstkontrolle der Ki

Stell dir vor, deine Solarprognose hat über Wochen super funktioniert — die Vorhersagen lagen nah an der Realität.

Dann passiert etwas:

  • Vielleicht wächst ein Baum höher und wirft neuen Schatten
  • Die Panels verschmutzen langsam
  • Das Wetter verhält sich plötzlich ganz anders als gewohnt

Die KI merkt das. Sie vergleicht ständig ihre Vorhersagen mit dem, was wirklich an Strom produziert wurde. Wenn die Abweichung über einen längeren Zeitraum (7 oder 30 Tage) zu groß wird, erkennt sie: “Meine Vorhersagen driften von der Realität ab” das ist ein Drift-Event.

Der Sensor zeigt dir dann einen von vier Zuständen:

  • stable — Alles in Ordnung, Prognosen stimmen gut
  • warning — Die Abweichungen nehmen zu, die KI beobachtet das
  • critical — Die Vorhersagen weichen deutlich von der Realität ab
  • recovering — Die KI hat das Problem erkannt und korrigiert sich gerade

HINWEIS:
Wenn ein Drift-Event erkannt wird, kann die Integration automatisch den Physics Boost aktivieren — das bedeutet, sie stützt sich stärker auf physikalische Berechnungen (Sonnenstand, Panelausrichtung etc.) statt auf das angelernte Muster, bis die KI sich wieder kalibriert hat.

FAZIT:
Ein Drift-Event ist der Alarm der KI, dass ihre Vorhersagen ungenauer werden und sie sich neu justieren muss.

glaube das system braucht nach einem update erstmal eine weile um sich selbst zu finden, alles durchzugehen und so nach und nach sich selbst zu aktualisieren

Update ohne Probehme.

Danke und Gruss

SQL… :slight_smile: Ich denke das sollte kein großes Problem sein :slight_smile: und ehrlich gesagt aktuell auch nicht so wichtig, dass ist Kosmetik die ich dann später mal angehe.. :slight_smile: :slight_smile: oder ich vernachlässige es bis der Keilriemen reißt :wink:

1 „Gefällt mir“

Wie immer, just 4 info!!!

Der hatte keine 1500 Kilometer…. :woozy_face: :face_vomiting: Wahrscheinlich falsch montiert!!!

Ish abe gar keine Schnee….

Einer noch….

ich habe noch das hier im log:
grafik

Danke, weil da in deinem neuen Abschnitt in Stats eine Zahl steht, kein Typ…war ich etwas verwundert, was das genau ist.

**UPDATE KOSTENBERECHNUNG in STATS **

Ich werde es nicht mehr schaffen (zeitlich) die Kostenberechnung für alle erdenklichen Systeme fertig zu machen - ist einfach zu viel. - Wird aber nachgereicht. Aktuell geht mit ANKER und Systeme die ähnliche Sensoren haben (man kann sie sich die natürlich auch bauen) folgendes:

Dynamischer Stromtarif incl Netzladung Akku (muss über GPM laufen)

Stundengenaue Preisberechnung mittels meiner Integration Grid Price Monitor. Es wird exakt der Preis genommen, der zum Zeitpunkt des Netzbezuges gültig gewesen ist.

Beim Einspeisen wird der “Gewinn” exakt berechnet an dem zu dem Zeitpunkt gültigen Preis dabei wird unterschieden zwischen:

  • Netzbezogenen Strom zum Akkuladen (da ist der Gewinn die Differenz zwischen Einkaufspreis und Preis zum Zeitpunkt des Einspeisens) und
  • Eingespeisten Solarstrom (da ist der Gewinn der zu dem Zeitpunkt gültige Preis.

Festpreis (direkt in STATS)
Ist glaube ich selbsterklärend.

:wink:

Jaap… ist doch okay! Kein BUG sondern nur ein Hinweis das Du keine Default-Gruppe hast und alles in Ordnung ist!

1 „Gefällt mir“

Da haben wir es wieder… Du machst einfach immer alles kaputt :slight_smile:

Das ist ein einmaliges Vorkommnis (“1 Vorkommnis”) und bedeutet, dass die SQLite-Datenbank in dem Moment kurz nicht erreichbar war - z.B. weil ein anderer Prozess sie gerade gelockt hatte oder das Dateisystem kurz beschäftigt war. Zum Beispiel durch die Migrations-Skripte die im Hintergrund noch laufen und aufräumen..

Solange der Fehler nicht dauerhaft auftritt, kannst du das ignorieren. Falls er regelmäßig kommt, dann schick mir bitte dein LOG

1500km uhhh das ist echt nicht viel!!!

1 „Gefällt mir“