Scrape Sensor Hilfe gesucht

Allgemein
1

Hallo,
ich möchte mehrere Scrape Sensoren definieren, wobei ich Simons Anleitung gefolgt bin.

scrape:
  - resource: https://fahrplan.oebb.at/bin/stboard.exe/dn?L=vs_liveticker&evaId=1231201&boardType=dep&productsFilter=1011111111011&dirInput=&tickerID=dep&start=yes&eqstops=true&showJourneys=2
    sensor:
      - name: Zeit_1
        select: "#data > tbody > tr:nth-child(2) > td.ze"
      - name: Ziel_1
        select: "#data > tbody > tr:nth-child(2) > td.ri"
      - name: Zeit_2
        select: "#data > tbody > tr:nth-child(3) > td.ze"
      - name: Ziel_2
        select: "#data > tbody > tr:nth-child(3) > td.ri"

Alle Sensoren liefern nur “Unknown”
In einem anderen Thread las ich den Tipp, tbody > wegzulassen, aber auch das bringt keinen Wert.
Muss der select hier anders definiert werden, als der kopierte selector?

2

Die Selektoren stimmen eigentlich. Hast du HA mal neu gestartet?
Kenne mich allerdings mit scrape nicht aus.

3

Das mit dem tbody ist kein Trick für Websiten in denen etwas dynamisch durch scripte nachgeladen wird.

Wenn du den multiscrape (HACS) anstelle des scrapers benutzt und “log_response: true” einstellst kannst du das wunderbar checken.
Der multiscrape zieht dann die website wie unter resource angegeben.
Bevor diese Daten überhaupt nachgeladen wurden.
Sprich der komplette Quellcode dieser Website ist sozusagen leer was die Einträge an Fahrten wann wo und wohin angeht. Und deshalb bekommst du auch “unknown”.

Du kannst beim multiscrape die log_resonse datei page_response_body.txt mal in html umbenennen und dann mit nem Webbrowser öffnen. Dann siehst du was die Seite liefert … prägnant ist das “Bitte warten…” was man im normaler Browser kaum wahrnimmt weil er direkt anfängt die Seite mit den Inhalten zu füllen.

Da brauchst du einen echten scraper Profi … und da bin ich vermutlich auf dem Level wie @sirector sprich das ist dann mehr ein Zufallsprodukt wenn es mal funktioniert wie gewünscht.

1 „Gefällt mir“
4

Danke für die Erklärung.
Ich denke es ist einfacher, wenn ich die Seite weiterhin über ein iFrame aufrufe. Es wäre mir nur um eine einheitliche Darstellung gegangen.

5

Man sieht im Reiter Netzwerk beim Seitenquelltext, dass folgende Datei im Hintergrund ausgelesen wird:
https://fahrplan.oebb.at/bin/stboard.exe/dn?L=vs_liveticker&evaId=1231201&boardType=dep&time=12:39&productsFilter=1011111111011&additionalTime=0&maxJourneys=50&outputMode=tickerDataOnly&start=yes&selectDate=today
Dort sind die Daten auch drin, allerdings weiß ich jetzt nicht direkt, wie man die da auslesen kann

1 „Gefällt mir“
6

Danke ! Das sieht schon mal besser aus. Werd mal schauen, ob sich das irgendwie auseinander dividieren oder in einen Sensor übernehmen läßt.