SFML Problem? CPU Last - Solar Forecast ML Next Scheduled Update (Midnight Task)

[Schwippser]

Seit einiger Zeit (genau kann ich das leider nicht sagen) habe ich festgestellt, dass bei einem meiner Verbrauchszähler (Energie Hausverbrauch) täglich Ausreißer auftreten.
Heute habe ich Zeit gefunden diesem mal nachzugehen.

Zeitpunkt der Ausreißer im Verbrauchzähler ist täglich 23:35 Uhr. Ich habe mir dann die Ereignisse der letzten Tage zwischen 23:29 Uhr und 23:45 Uhr angesehen und musste feststellen, dass alle Geräte in HA nach "nicht verfügbar wechseln.

Ein Blick auf die CPU-Last zeigt folgendes.
28.04.2026

27.04.2026

Was also löst diese hohe CPU-Last aus? Zu diesem Zeitpunkt (23:30 Uhr) gibt es keine besonderen Ereignisse auf dem HA-System - kein Backup, keine ausgelöste Automation. Auch die Netzwerk-Komponenten Router, Repeater etc. arbeiten normal.

Das einzige Ereignis, dass ich feststellen konnte ist:

Die hohe CPU-Last betrifft genau den Zeitpunkt des “Midnight Task” von 23:30 Uhr bis 23:47 Uhr.

SFML läuft glücklicherweise bei mir auf einen Test-System (identisch mit Produktiv-System - einziger Unterschied ist die Integration SFML und die App TFS)
Das Produktiv-System ohne SFML/TFS läuft normal zu diesem Zeitpunkt.

Kurzes Edit: - Auszug aus den Logs zu diesem Zeitpunkt

• Installationsmethode Home Assistant OS
• Core 2026.4.4
• Supervisor 2026.04.0
• Operating System17.2
• Frontend 20260325.8

*Proxmox
*X86 32GB RAM Core i3

*SFML Version 20.2.0
*TFS Version 20.8.0

[Kaysen899]

Die Hohe CPU last wird durch den EOD getriggert,
Hier wird der Tag durch die Ki “Ab”gerechnet und benötigt für diese zeit CPU Leistung.

2026-04-28 23:30:00 - custom_components.solar_forecast_ml.ai.ai_predictor - INFO - AI training started: 1 outputs
2026-04-28 23:30:06 - custom_components.solar_forecast_ml.ai.ai_predictor - INFO - Prepared 789 training samples from 60 days, 1 outputs
2026-04-28 23:30:06 - custom_components.solar_forecast_ml.ai.ai_predictor - INFO - Training Ridge with 789 samples...
2026-04-28 23:30:06 - custom_components.solar_forecast_ml.ai.ai_tiny_ridge - INFO - TinyRidge training started: 789 samples
2026-04-28 23:30:07 - custom_components.solar_forecast_ml.ai.ai_tiny_ridge - DEBUG - Alpha 0.001: LOO-CV MSE = 0.052610
2026-04-28 23:30:07 - custom_components.solar_forecast_ml.ai.ai_tiny_ridge - DEBUG - Alpha 0.01: LOO-CV MSE = 0.010619
2026-04-28 23:30:07 - custom_components.solar_forecast_ml.ai.ai_tiny_ridge - DEBUG - Alpha 0.1: LOO-CV MSE = 0.005019
2026-04-28 23:30:07 - custom_components.solar_forecast_ml.ai.ai_tiny_ridge - DEBUG - Alpha 1.0: LOO-CV MSE = 0.003769
2026-04-28 23:30:07 - custom_components.solar_forecast_ml.ai.ai_tiny_ridge - DEBUG - Alpha 10.0: LOO-CV MSE = 0.003267
2026-04-28 23:30:07 - custom_components.solar_forecast_ml.ai.ai_tiny_ridge - DEBUG - Alpha 100.0: LOO-CV MSE = 0.003151
2026-04-28 23:30:07 - custom_components.solar_forecast_ml.ai.ai_tiny_ridge - DEBUG - Alpha 1000.0: LOO-CV MSE = 0.003751
2026-04-28 23:30:07 - custom_components.solar_forecast_ml.ai.ai_tiny_ridge - INFO - Selected alpha = 100.0 (LOO-CV MSE = 0.003151)
2026-04-28 23:30:08 - custom_components.solar_forecast_ml.ai.ai_tiny_ridge - INFO - TinyRidge trained: alpha=100.0000, R²=0.961, RMSE=0.0294, samples=789, outputs=1
2026-04-28 23:30:08 - custom_components.solar_forecast_ml.ai.ai_predictor - INFO - Ridge trained: R²=0.961, alpha=100.0000
2026-04-28 23:30:08 - custom_components.solar_forecast_ml.ai.ai_tiny_lstm - INFO - Weights loaded: layers=(48,24), outputs=1, heads=4
2026-04-28 23:30:08 - custom_components.solar_forecast_ml.ai.ai_predictor - INFO - Seasonal warm-start: spring, archive 2026 (785 samples, R²=0.950)
2026-04-28 23:30:08 - custom_components.solar_forecast_ml.ai.ai_predictor - INFO - Training LSTM with 789 samples...
2026-04-28 23:30:08 - custom_components.solar_forecast_ml.ai.ai_tiny_lstm - INFO - Training V3.0: 789 samples, 200 epochs, 1 outputs
2026-04-28 23:32:19 - custom_components.solar_forecast_ml.ai.ai_tiny_lstm - INFO - Epoch 10: train=0.0013, val=0.0009, lr=0.004970
2026-04-28 23:34:31 - custom_components.solar_forecast_ml.ai.ai_tiny_lstm - INFO - Epoch 20: train=0.0012, val=0.0009, lr=0.004880
2026-04-28 23:36:43 - custom_components.solar_forecast_ml.ai.ai_tiny_lstm - INFO - Epoch 30: train=0.0011, val=0.0009, lr=0.004733
2026-04-28 23:36:56 - custom_components.solar_forecast_ml.ai.ai_tiny_lstm - INFO - Early stopping at epoch 31
2026-04-28 23:36:57 - custom_components.solar_forecast_ml.ai.ai_tiny_lstm - INFO - Training complete: R2=0.954, RMSE=0.029 kWh, outputs=1, layers=2, heads=4

Das Problem ist bei einigen Personen hier im Forum aufgetreten ist aber nicht konsistent abzubilden.
Da es bei vielen, keine Sensorprobleme produziert.
Zum großen Teil ist HA selbst schuld, da der Eventloop nur mit 1 Core arbeitet.

Während EOD ist Dashboard nicht erreichbar

Hallo @ottokar ich verstehe den Frust und auch das Problem. Gefunden habe ich es auch.. es ist nicht die Leistung, nicht die i/o es ist der sogenannte Event-Loop von Home Assitant selber, der besonders in der aktuellen Version von HA noch Probleme macht. Das führt dazu, dass Sensoren für wenige Sekunden (ja nach HW) die Verbindung verlieren, wenn ein Event läuft. Es betrifft nicht nur " Mich" sondern alle großen Integrationen, die Daten verarbeiten, pullen, .. es ist kein reines SFML Problem I…

Hier ist schon ein Thread, der genau das Adressiert.

Während EOD ist Dashboard nicht erreichbar

NUC Generic x86-64 CPU: Intel Pentium N3700, 4x 1.60GHz(2.4Ghz Burst), 2MB InstallationsmethodeHome Assistant OS Core2026.3.0 Supervisor2026.02.3 Operating System17.1 Solar Forecast ML Version 18.0.0 Problem auch schon vor Update 18.0.0. Ich wollte hier nochmal das Thema mit Zugriffsproblemen in der Zeit während EOD aufgreifen. Ich hab jetzt ein paar Tage um 23.30Uhr beobachtet, dass beim Start von EOD für ein paar Minuten das Dasboard nicht erreichbar ist. Gestern z.…

[Schwippser]

diesen Thread habe ich tatsächlich auch gelesen … nur weiterhelfen tut es nicht, da keine Lösung. Der Thread ist ja nun auch schon etwas älter (letzter Beitrag 12.04.) und betraf die Nichterreichbarkeit des Dashboards. Ja - auch mein Dashboard ist zu diesem Zeitpunkt nicht erreichbar, aber es treten auch noch zusätzliche Probleme auf. Und das Thread-Thema deutet auf Dashboard-Probleme hin und nicht auf Sensor-Probleme bzw. das komplette Aussetzen des HA-Systems während EOD.

Schlussendlich bedeutet es, dass SFML dann auf Produktiv-Systemen nicht einsetzbar ist - Oder?

Falls dieser Thread besser in den alten passt - bitte verschieben!

[Kaysen899]

Das problem ist, das es nicht bei jedem auftritt.
Siehe @ottokar Beiträge.
Es scheint so, das gerade CPUs mit schlechter 1 Core Leistung und Dual Core CPUs von dem Problem betroffen sind.
Was hast du denn genau für ein CPU Modell?

EDIT: Ich sehe, das du Proxmox benutzt, da liegt der Hase noch mehr im Pfeffer. Da kann ich leider nicht weiterhelfen, da eine falsche Konfiguration ein Problem darstellt.

[Schwippser]

CPU(s)

4 x Intel(R) Core™ i3-7100U CPU @ 2.40GHz (1 Socket)

[Kaysen899]

@Schwippser

*Proxmox
*X86 32GB RAM Core i3

Also doch i3?
Kaby Lake von 2016
Performance technisch auf einem Lvl vom Pi5

Siehe meinen letzten Beitrag. → Proxmox

Ich muss gerade mal suchen, was @Tom-HA bzgl Proxmox und CPU alter geschrieben hat.

Edit: Wann ist dir das erste mal aufgefallen, das die Sensoren Probleme machen? Und was hast du davor geändert? (SFML,HA oder Poxmox)?