Hallo zusammen hier ist Basti (im Auftrag von Tom)
Tom hat mich gebeten euch ein schnelles Update zu geben. Wir haben uns heute ausgetauscht über die Problematik mit fragmentierten, korrupten Daten in euren Solar Forecast Datenbanken und mich gebeten aus Zeitgründen mal fix einzuspringen.
Hierzu möchte ich euch mal fix abholen!
Das Kernproblem ist, dass eine Prüfung auf Plausiblität allein nicht ausreicht.
Hierzu muss man folgendes wissen: Die Transformer AI die Tom hier gebaut hat hat mehrere Schichten und ist sehr sensibel wenn es um den Input geht. Alles zusammengenommen sind es 48 einzelne Parameter die gerlernt wurden und in einem bestimmten Raster zu dem Import passen müssen. Die Schwierigkeit ist, dass es nicht so einfach ist dem Transformer beizubringen was “gute” und was “schlechte” Daten sind.
Die erste Idee war die Daten mit einer sogenannten Normalisierungschicht so vorzubereiten das sie passen. Das hat Tom aber schon gemacht.
Es ist auch nicht damit getan Werte die pysikalisch nicht möglich sind, einfach abzuschneiden (dann würde dort eine Null stehen / gelernt werden) anders herum kann man aber auch nicht einfach 0 Werte ignorieren, das würde ebenso schief gehen, da zum Beispiel die Einstrahlung durchaus mal Null sein kann - oder ein Sensor mal stockt (vermutlich eher eure Home Assistants)
Man muss sich weiterhin im Klaren sein " alle 48 Features" müssen matchen. Wenn in einem Datensatz nur ein Wert rausfällt ist der ganze Datensatz verloren.
Nach den technischen und zugegeben auf den ersten Blick schlechten Nachrichten, nun die Gute (das Beste kommt zum Schluss) :
Ich code euch (Tom) ein Skript, dass die Einheit erkennt und bei fehlenden oder falschen Werten nicht kappt, sondern plausible (basierend auf historischen Daten und physikalischer Logik) Werte inkrementel in die die Datenbank einträgt.
Tom baut das dann in die sehr komplexe Struktur von seinem Transformer und Esenble ein.
Der Transformer muss für diesen Eingriff am offenen Herzen allerdinge neu Trainiert werden. Ich bin schon dran und erledigen das gerade. Damit es möglichst schnell geht, darf / kann ich das bei mir auf der Arbeit auf sehr Leistungstarken Rechnern machen - allerdings nur heute und in der Nacht, damit es den Geschäftsbetrieb der Firma nicht gestört wird - er hat euch bestimmt erzählt, was für ein Training notwendig ist.
Morgen Vormittag schicke ich es ihm und er macht ein sogenanntes Resume und trainiert weiter. So sollte es möglich sein das es morgen Abend fertig ist!
Viel Spaß und ich bin gespannt zu hören wie es läuft
Basti
Ach noch was er hat mir auch von meinem Fauxpas mit Trekki-Ansicht erzählt, ich werde mir das mal ansehen sobald ich Zeit habe.