Iobroker Migration Influxdb Daten

Hallo zusammen,

ich finde es wirklich super hier auch eine deutschsprachige HA Community zu finden :slight_smile:
Aktuell bin ich gerade dabei von iobroker auf HA zu wechseln. Die meisten Integrationen und AddOns laufen soweit gut und auch meine influxdb in HA läfut soweit.

Ein großer Punkt auf meiner Liste ist aber noch die Migration meiner alten Daten in HA influxdb.

Kurz zu meinem Setup: HA OS läuft als VM auf meinem Unraid System. Der iobroker läuft dort als Docker wie auch meine alte influxdb Instanz. In HA OS habe ich das Influxdb AddOn genutzt, um von der einfachen Integration zu profitieren.

Nun möchte ich gewisse alte Daten wie bspw. im Bereich Energie aus meiner alten influxdb ziehen und in die neue bringen. Die Strukturen der Daten sind etwas unterschiedlich und zum anderen habe ich keine Ahnung vom Prozedere. Evtl hat hier ja jemand schon Erfahrung damit gemacht.

Beispiel
HA: Bucket - Einheit - entity_id/… -->(homeassistant.autogen - MWh - “SMA-NeuerName” - value)

iobroker: Bucket - Entityname - value -->(SMA - sma-em.0.xxxxx.pregrad_counter - value)

Hinzu kommt eben das exportieren der Daten und hineinkopieren in ein measurement mit dem neuen Namen.

Mir graust es etwas davor. Falls da also schon jemand durch ist, wäre ich über Tipps. Dankbar!

Niemand eine Erfahrung?

Hi,
vielleicht kann ich Dir helfen.
Ich bin auch ein Umsteiger von IoBroker ( :slight_smile: ) hatte zu IoBroker Zeit auch die InfluxDB v2 laufen und Grafana.
Ich habe hier zwar eine reines HAOS ohne Docker oder VM, aber ich denke da spielt nicht so eine große Rolle, da man Daten anfügen oder ändern eh am Besten im Influxcli macht
Also:
Cli-zugriff bei der alten und neuen InflluxdB
Dann die Daten aus der alten DB mit einer Query rausholen und die CSV dann entsprechend der neuen DB anpassen.
( Vielleicht auch mal eine Query der neuen DB machen, um die Strukturen zu sehen )
Die Daten kannst Du dann in die neue DB schreiben

Ich fand noch wichtig:
HA schreibt jede Menge Daten in die Datenbank. Ich habe da explizit nur die Sachen aktiviert, die ich auch wirklich brauche.

War jetzt erstmal nur eine grobe Übersicht was auf Dich zukommt.
Details, wenn Du den Aufwand betreiben willst… :slight_smile:

Hi Bobbi,

ich freue mich einen gleichgesinnten zu treffen :grinning: Der iobroker war auch super, aber HA macht doch noch ein wenig mehr Spaß :wink:

Das hört sich zwar nach Arbeit an, aber ich hätte vor allem gerne meine historischen Energiedaten (PV, Verbräuche, Netzbezug, etc.) wiederhergestellt. CLI Zugriff auf die alte influxdb habe ich und in HASIO geht das wohl mit Portier, eine einfachere Variante habe ich noch nicht gefunden.

Magst du mal ein paar Tipps teilen?

Danke schonmal!!

Hi,
welche Influxdb Version hast Du denn installiert ?
Ich hab die version 2 und da konnte ich die Cli-Version auch gut installieren.
Ich schreibe hier mal was ich so getan habe. Ich weiß nicht wie Du so im Thema bist, vielleicht kann ich ja noch helfen…

Download:
wget https://download.influxdata.com/influxdb/releases/influxdb2-client-2.7.5-linux-amd64.tar.gz

Entpacken:
tar xvzf ./influxdb2-client-2.7.5-linux-amd64.tar.gz

In den Pfad einbinden ( Optional )
sudo cp ./influx /usr/local/bin/

und dazu dann die passende Config erstellen

influx config create --config-name DeinConfigName \

–host-url http://localhost:8086
–org DeineOrg
–token DeinInfluxdbToken
–active

CSV-Dateien erstellen ( aus Iobroker CLI , oder wenn vorhanden dann nur bearbeiten )

Dann habe ich mir .flux Dateien erstellt :
( So wie Du die Daten brauchst, kann man ja so aus der Influxdb entnehmen
als Editor habe ich immer Nano genommen )

from(bucket: “iobroker”)
|> range(start: -2y)
|> filter(fn: (r) => r[“_measurement”] == “DeinMeasurement”)
|> filter(fn: (r) => r[“_field”] == “value”)

Dann Daten aus der alten DB auslesen:

influx query --file DeineFluxDatei.flux --raw >DeineZieldatei.csv

Bearbeitet habe ich die Dateien auf dem Mac mit dem EasyCSVEditor, der kann das meiner Meinung nach am besten.

Und nach dem Bearbeiten in die neue DB einfügen

influx write -b DeinBucket -f /home/DeinVerz/DeineCSVDatei.csv

Wie du Daten migrierst wurde dir schon geschrieben. Ob du überhaupt migrieren muss bzw. willst ist eine Frage die du dir selbst beantworten muss.

Du schreibst nicht wo du deine Dashboard hast. Da InfluxDB meist in Grafana angezeigt wird ein Beispiel dazu.

Ich habe Daten aus einer anderen Quelle übernommen und wollte mir das sparen. Nicht weil ich es scheue sondern einfach nicht Zeit investieren wollte. 2 Mal die Query in den Plot eintragen und selbe Linienfarbe dann wird dir das fortlaufend angezeigt. Query A ist das alte Device, Query C das neue. Synchron B/D für Luftfeuchte.