WebGrab+Plus Howto

Discussion in 'Elektronischer Programmführer (EPG)' started by Lehmden, October 1, 2014.

  1. Lehmden
    • Premium Supporter

    Lehmden Retired Team Member

    Joined:
    December 17, 2010
    Messages:
    11,860
    Likes Received:
    2,147
    Gender:
    Male
    Location:
    Lehmden
    Ratings:
    +3,619 / 28
    Home Country:
    Germany Germany
    Show System Specs
    Hi.
    Da es in letzter Zeit vermehrt zu Problemen sowohl mit Clickfinder als auch mit mc2xml und selbst mit dem DVB-EPG gekommen ist, habe ich mir mal die Mühe gemacht, mich in WebGrab+Plus einzuarbeiten.
    WebGrab+Plus ist ein kostenloses Programm, mit dem man EPG Daten von vielen verschiedenen Webseiten legal und kostenlos laden kann. Leider ist WG+ (ab jetzt kurz für WebGrab+Plus) nicht völlig trivial einzurichten und da es wie alle Website-grabber eher langsam ist, macht das "Try and error" doch viel Mühe. Im Prinzip gibt es so etwas schon als Plugin im MP TV Server und heißt WebEPG. Nur ist das MP Plugin doch stark eingeschränkt, was die zur Verfügung stehenden Webseiten, Daten und Möglichkeiten betrifft.
    Dieses Howto will nicht alle der nahezu unendlichen Optionen von WG+ erläutern, sondern zeigen, wie man WG+ für die deutschen (deutschsprachigen) Astra 19,2 FTA Sender ohne die vielen Telefonsex- und Werbesender optimal konfiguriert und mit MP zusammen bringt. Bei Web EPG muss man sich im klaren sein, das jeder zusätzliche Sender die Grab- Zeit spürbar verlängert. Also solle man sich überlegen, ob man für HSE24, QVC und Co. unbedingt ein "perfektes" EPG benötigt oder ob da nicht die Basis- Informationen aus dem DVB-EPG reichen. Ich habe diese Art Sender (bis auf Sonnenklar.TV) erst gar nicht in meiner Senderliste drin...

    Genug der Vorrede, fangen wir an. Als erstes lädt man sich die aktuellste Version von WG+ (aktuell ist V1.1.1) sowie das neueste Update (aktuell 54) runter. Dann installiert man das Programm und anschließend das Update. Des weiteren benötigen wir noch sogenannte SiteINI Dateien. Man kann das komplette internationale Paket laden, oder alle deutschen oder, wenn man dieser Anleitung folgt, braucht man nur drei dieser Dateien und zwar für TVToday.de, TVSpielfilm.de und die wichtigste "tvtv.de.xmltv_ns", die man auch einzeln laden kann, wenn man mag. In den SiteINI Dateien ist definiert, wie WG+ die entsprechende Webseite interpretieren muss, um Daten laden zu können. DIe tvtv.de siteini gibt es zwei mal, einmal mit xmltv_ns und einmal ohne diesen Anhang am Namen. Die Datei mit dem Namensanhang bereitet die bei TVTV.de bei nahezu jeder Serie vorhandenen Staffel- und Episoden Nummern so auf, das MP etwas damit anfangen kann. Die andere( n ) SiteINI ignorieren diese Nummern einfach. TVTV ist die einzige deutschsprachige Seite, die nahezu durchgehend Staffel- und Episoden Nummern bereit stellt. Außerdem bietet TVTV 3 Wochen Programmvorschau und auch sonst die umfangreichsten Daten. Deswegen wird TVTV immer verwendet, so lange der entsprechende Sender auch gelistet ist.
    So ähnlich sieht das MP EPG mit WG+ und TVTV als Quelle aus:
    Zwischenablage-1.jpg

    Ich habe mir die tvtv.de.xmltv_ns.ini allerdings ein wenig modifiziert (die entsprechender Datei ist angehängt). Und zwar aus folgendem Grund. Auf TVTV.de werden die Nummern immer in der Form Episode 7 von 23 angegeben. Die Original- ini verwendet diese Zusatz- Information. Im EPG sieht das dann so aus:
    Zwischenablage-3.jpg Empfinde ich als überflüssig, würde mich aber normalerweise nicht stören. Nur leider resultiert beim Aufnehmen daraus eine Namensgebung der Dateien als "S3E5_13 - Klingelingeling.ts" Ich habe kein Rename- Programm gefunden, das damit problemlos klar kommt. Deswegen habe ich mir die ini dahingehend modifiziert, das die Gesamt- Zahl der Episoden in der Staffel nicht genutzt wird. Das Ergebnis sieht dann so aus:
    Zwischenablage-2.jpg

    Das ergibt dann eine aufgenommene Datei "S3E5 - Klingelingeling.ts". Manchmal ist weniger halt doch mehr...;)

    Jetzt kommt das schwierigste Kapitel, die Konfiguration von WG+. Das Programm selbst wird (auf 64 Bit Windows) nach "c:\Program Files (x86)\ServerCare\WebGrab+PlusV1.1.1\" installiert. Wichtig für uns ist aber das Daten- Verzeichnis "c:\ProgramData\ServerCare\WebGrab\". Wie bekannt ist "C:\ProgramData\" in der Regel ein versteckter Ordner und wird deswegen im Explorer nicht angezeigt. Da hier aber auch die für MP wichtigen Daten liegen, ist immer eines der ersten Dinge, die ich mache, wenn ich Windows installiere, den ProgramData Ordner zu "unverstecken". Kann ich nur jedem empfehlen... Egal wie, wir müssen unbedingt an diesen Ordner, denn hier liegen unsere Sintini Dateien, die dazu gehörenden channel.xml Dateien und auch die nun zu editierende WebGrab++.config.xml (meine config ist hier mit angehängt)
    XML Dateien sind einfache Text Dateien, die mit jedem Text Editor erstellt, bearbeitet und verändert werden können. Eine XML Datei besteht aus Tags (Befehle), die in <> eingerahmt sind. Jeder Tag wird mit <Tag> geöffnet und muss mit </Tag> abgeschlossen werden. Dazwischen kann beliebig viel Text, aber auch beliebig viele andere Tags enthalten sein. Die Config.xml enthält viele Kommentare (in Englisch). Kommentare bestehen aus Text, der nicht abgearbeitet wird sondern normalerweise nur zur Verbesserung der Übersichtlichkeit dient. Damit das nun als Kommentar erkannt wird, muss es mit <!-- am Anfang und --> am Ende eingeschlossen werden. Das sieht im XMl Dokument dann so aus:

    <!-- Das ist ein Kommentar-->

    Ein Kommentar kann beliebigen Text enthalten und sich über beliebig viele Zeilen erstrecken. Also ist auch so etwas möglich:

    <!-- Hier fängt der Kommentar an
    Blablabla
    Blablablub

    Hier hört der Kommentar auf-->

    Bessere Editoren wie Notepad++ heben die XML Syntax durch unterschiedliche Text- Farben hervor, so das man so ein Dokument viel leichter lesen kann. Will man aber nur die WG+ Konfiguration anpassen, tut es der Windows- eigene Minimal- Editor Notepad auch.

    Wenn wir nun die "Nicht- Kommentarzeilen" von Oben nach unten durchgehen, so stoßen wir zuerst auf <settings> Das dazu gehörende </settings> steht erst ganz am Ende des Dokuments, womit klar gestellt ist, das all unsere Eingaben eben Einstellungen sind.
    Die nächste aktive Zeile ist <filename>C:\ProgramData\ServerCare\WebGrab\guide.xml</filename> und legt fest, wohin die gegrabbten Daten gespeichert werden sollen. MediaPortal benötigt eine "tvguide.xml", kann also direkt mit der voreingestellten Form nicht umgehen. Trotzdem ändern wir hier nichts. Warum erkläre ich später.
    Dann kommt <mode>m</mode> was den WG+ "Betriebsmodus" festlegt. Ist für uns nicht wichtig und sollte auf m bleiben.
    Jetzt kommt eine Zeile, in der wir was ändern. <postprocess run="y" grab="y">mdb</postprocess> wird geändert in <postprocess run="n" grab="y">mdb</postprocess> Der Postprozess, den WG+ bietet ist in vielen Fällen sicher sehr hilfreich. Bei tvtv als Quelle sind die Daten aber auch ohne diesen zeitaufwendigen Prozess sehr gut. Deswegen wird das hier durch diese Änderung abgeschaltet, was ca 1 Stunde pro Durchlauf an Grab- Zeit einspart.
    Die nächste Zeile, in der wir was ändern kommt erst weiter unten: <timespan>6</timespan>. Hier wird festgelegt, wie viele Tage in die Zukunft das EPG geladen wird. Etwas verwirrend ist wohl dass 0 für heute steht und man somit für eine Woche 6 eintragen muss. TVTV liefert EPG Daten für 3 Wochen. Das sollten wir auch ausnutzen, da es ab dem zweiten Durchlauf völlig egal ist, ob wir Daten für 3 Tage oder 3 Wochen abrufen. Die notwendige Zeit pro Durchlauf ist (bis auf vernachlässigbare Schwankungen) identisch. Der erste Durchlauf dauert so allerdings viele Stunden. Damit muss man leider rechnen. Da man das aber in aller Regel nur einmal macht, ist es nicht so tragisch und der Mehr- Nutzen überwiegt deutlich... Deswegen ändern wir diese Zeile so ab: <timespan>20</timespan> Es passiert übrigens nichts, wenn man hier eine zu große Zahl eingibt. Bietet die Seite nicht so viele Daten, werden einfach so viele geladen, wie angeboten werden.

    Direkt darunter wird der globale Update-Modus festgelegt, in dem auch begründet liegt, warum wir ruhig Daten für 3 Wochen grabben können: <update></update> Steht hier nichts drin, wird der Modus individuell pro Kanal festgelegt. Default ist der schnellste Modus "Incremental" oder auch "i" voreingestellt. Dabei werden nur die seit dem letzten Durchlauf neuen Daten geladen, alle anderen bleiben unberührt. Daneben gibt es noch light, smart und full. Bei full wird immer alles neu geladen, was in der Regel keinen Sinn macht. Bei Light werden die Daten von heute und das was neu ist geladen, bei smart die Daten von heute und morgen und natürlich die Neuen. Da TVTV seine "Uhr" erst um 6 Uhr morgens umstellt (vorher ist noch "gestern") sollte man den automatischen Durchlauf unbedingt nach 6 Uhr legen. Ich machen das z.B. um 9 Uhr, da um die Zeit eine tägliche Serie, die ich aufnehme, wiederholt wird und der Rechner sowieso wach ist. Welche Zeit ihr wählt, ist natürlich individuell unterschiedlich. Da man aber den Daten- Download eben nicht mitten in der Nacht machen kann, kann es, wenn man "Light" verwendet vorkommen, das Programmänderungen für morgens nicht mehr berücksichtigt werden können. Deswegen nutze ich im Alltag die "Smart" Option, womit auch weitestgehend aktuelle Änderungen für den ganzen Tag mit abgedeckt sind. Deswegen sieht diese Zeile bei mir so aus: <update>s</update>.

    Und nun sind wir beim Herzstück der Konfiguration angelangt, der Kanalliste. Diese steht am Ende der WebGrab++.config.xml. Hier muss nun jeder Kanal einzeln aufgelistet werden, für den Daten geladen werden sollen. Diese Kanal-Listen können bei Bedarf selbst hergestellt werden. Doch es ist viiiiel bequemer, die fertigen Listen von der WG+ Seite gleich mit zu laden, wenn man die SiteINI dateien lädt. Denn zu (fast) jeder Webseite die unterstützt wird, gibt es neben der ini, auch eine passende channels.xml. Erkennbar an dem weißen x auf blauem Grund:
    Zwischenablage-4.jpg
    Lädt man Pakete, entweder das Globale oder auch nur das Deutsche, werden die channels.xml automatisch mit geladen.
    Die Kanäle aus der "original" config dienen nur als Beispiel und müssen komplett entfernt werden, da sonst für Sender aus der ganzen Welt Daten geladen werden, was u.U zu Downloadzeiten von mehreren Tagen führen könnte. So sieht meine Kanal- Liste aus:
    Code (XML):
    1.     <channel update="i" site="tvtv.de.xmltv_ns" site_id="ARD" xmltv_id="Das Erste">Das Erste</channel>
    2.     <channel update="i" site="tvtv.de.xmltv_ns" site_id="ZDF" xmltv_id="ZDF">ZDF</channel>
    3.     <channel update="i" site="tvtv.de.xmltv_ns" site_id="ZDNEO" xmltv_id="ZDFneo">ZDFneo</channel>
    4.     <channel update="i" site="tvtv.de.xmltv_ns" site_id="FES" xmltv_id="Einsfestival">Einsfestival</channel>
    5.     <channel update="i" site="tvtv.de.xmltv_ns" site_id="3SAT" xmltv_id="3sat">3sat</channel>
    6.     <channel update="i" site="tvtv.de.xmltv_ns" site_id="ARTE" xmltv_id="ARTE">ARTE</channel>
    7.     <channel update="i" site="tvtv.de.xmltv_ns" site_id="KKA" xmltv_id="KiKA">KiKA</channel>
    8.     <channel update="i" site="tvtv.de.xmltv_ns" site_id="SEAT" xmltv_id="ServusTV">ServusTV</channel>
    9.     <channel update="i" site="tvtv.de.xmltv_ns" site_id="ANIXE" xmltv_id="ANIXE HD">ANIXE HD</channel>
    10.     <channel update="i" site="tvtv.de.xmltv_ns" site_id="MUX" xmltv_id="EinsPlus">EinsPlus</channel>
    11.     <channel update="i" site="tvtv.de.xmltv_ns" site_id="ZTK" xmltv_id="ZDFkultur">ZDFkultur</channel>
    12.     <channel update="i" site="tvtv.de.xmltv_ns" site_id="NO3" xmltv_id="NDR Fernsehen">NDR Fernsehen</channel>
    13.     <channel update="i" site="tvtv.de.xmltv_ns" site_id="S3" xmltv_id="SWR Fernsehen">SWR Fernsehen</channel>
    14.     <channel update="i" site="tvtv.de.xmltv_ns" site_id="MDR" xmltv_id="MDR">MDR</channel>
    15.     <channel update="i" site="tvtv.de.xmltv_ns" site_id="HR3" xmltv_id="hr-fernsehen">hr-fernsehen</channel>
    16.     <channel update="i" site="tvtv.de.xmltv_ns" site_id="BA3" xmltv_id="BR Fernsehen">BR Fernsehen</channel>
    17.     <channel update="i" site="tvtv.de.xmltv_ns" site_id="RBB" xmltv_id="rbb Brandenburg">rbb Brandenburg</channel>
    18.     <channel update="i" site="tvtv.de.xmltv_ns" site_id="WDR" xmltv_id="WDR Fernsehen">WDR Fernsehen</channel>
    19.     <channel update="i" site="tvtv.de.xmltv_ns" site_id="ZDI" xmltv_id="ZDFinfo">ZDFinfo</channel>
    20.     <channel update="i" site="tvtv.de.xmltv_ns" site_id="PHX" xmltv_id="PHOENIX">PHOENIX</channel>
    21.     <channel update="i" site="tvtv.de.xmltv_ns" site_id="EXT" xmltv_id="tagesschau24">tagesschau24</channel>
    22.     <channel update="i" site="tvtv.de.xmltv_ns" site_id="SAT1" xmltv_id="Sat.1">Sat.1</channel>
    23.     <channel update="i" site="tvtv.de.xmltv_ns" site_id="RTL" xmltv_id="RTL">RTL</channel>
    24.     <channel update="i" site="tvtv.de.xmltv_ns" site_id="RTL2" xmltv_id="RTL II">RTL II</channel>
    25.     <channel update="i" site="tvtv.de.xmltv_ns" site_id="PRO7" xmltv_id="ProSieben">ProSieben</channel>
    26.     <channel update="i" site="tvtv.de.xmltv_ns" site_id="KAB" xmltv_id="kabel eins">kabel eins</channel>
    27.     <channel update="i" site="tvtv.de.xmltv_ns" site_id="VOX" xmltv_id="VOX">VOX</channel>
    28.     <channel update="i" site="tvtv.de.xmltv_ns" site_id="DMAX" xmltv_id="DMAX">DMAX</channel>
    29.     <channel update="i" site="tvtv.de.xmltv_ns" site_id="RTLN" xmltv_id="RTL NITRO">RTL NITRO</channel>
    30.     <channel update="i" site="tvtv.de.xmltv_ns" site_id="PR7M" xmltv_id="ProSieben Maxx">ProSieben Maxx</channel>
    31.     <channel update="i" site="tvtv.de.xmltv_ns" site_id="SIXX" xmltv_id="sixx">sixx</channel>
    32.     <channel update="i" site="tvtv.de.xmltv_ns" site_id="SATG" xmltv_id="SAT.1 Gold">SAT.1 Gold</channel>
    33.     <channel update="i" site="tvtv.de.xmltv_ns" site_id="TL5" xmltv_id="Tele 5">Tele 5</channel>
    34.     <channel update="i" site="tvtv.de.xmltv_ns" site_id="DIC" xmltv_id="Disney Channel">Disney Channel</channel>
    35.     <channel update="i" site="tvtv.de.xmltv_ns" site_id="SUPER" xmltv_id="Super RTL">Super RTL</channel>
    36.     <channel update="i" site="tvtv.de.xmltv_ns" site_id="COCE" xmltv_id="Comedy Central">Comedy Central</channel>
    37.     <channel update="i" site="tvtv.de.xmltv_ns" site_id="EURO" xmltv_id="Eurosport">Eurosport</channel>
    38.     <channel update="i" site="tvtv.de.xmltv_ns" site_id="DSF" xmltv_id="SPORT1">SPORT1</channel>
    39.     <channel update="i" site="tvtv.de.xmltv_ns" site_id="ALP" xmltv_id="ARD-alpha">ARD-alpha</channel>
    40.     <channel update="i" site="tvtoday.de" site_id="WDWTV" xmltv_id="Welt der Wunder">Welt der Wunder</channel>
    41.     <channel update="i" site="tvtv.de.xmltv_ns" site_id="VIVA" xmltv_id="VIVA">VIVA</channel>
    42.         <channel update="i" site="tvspielfilm.de" site_id="DMC" xmltv_id="DELUXE MUSIC">DELUXE MUSIC</channel>
    43.     <channel update="i" site="tvtv.de.xmltv_ns" site_id="NTV" xmltv_id="n-tv">n-tv</channel>
    44.     <channel update="i" site="tvtv.de.xmltv_ns" site_id="N24" xmltv_id="N24">N24</channel>
    45.     <channel update="i" site="tvtv.de.xmltv_ns" site_id="GOT" xmltv_id="gotv">gotv</channel>
    46.     <channel update="i" site="tvtoday.de" site_id="JOIZ" xmltv_id="joiz">joiz</channel>
    47.     <channel update="i" site="tvspielfilm.de" site_id="RIC" xmltv_id="RiC">RiC</channel>
    48.     <channel update="i" site="tvtv.de.xmltv_ns" site_id="SONNE" xmltv_id="sonnenklar.TV">sonnenklar.TV</channel>
    49.  
    Wie man sieht, habe ich für je 2 Sender TVToday und TVSpielfilm als Quelle genutzt. Außerdem sind noch 2 Sender nämlich ORF2E (der unverschlüsselte Teil von ORF2) und Tectime TV per DVB- EPG versorgt, da beide sonst nirgends zu finden sind. ORF2 wäre kein Problem, aber meist sind ja gerade die Sachen interessant, die der ORF verschlüsselt senden muss. Und die würden dauernd im EPG auftauchen, deswegen begnüge ich mich mit dem DVB- EPG...
    Wenn wir uns so eine Zeile mal genauer ansehen:

    <channel update="i" site="tvtv.de.xmltv_ns" site_id="DIC" xmltv_id="Disney Channel">Disney Channel</channel>

    finden wir als erstes den Update Modus upate="i" (erklärung wie oben beim globalen Modus). Dann die Webseite, die verwendet werden soll site="tvtv.de.xmltv_ns". Dahinter die ID, die auf der Seite verwendet wird site_id="DIC". Und dann die ID, die dem xmltv Standard für diesen Sender entspricht xmltv_id="Disney Channel". In dem Tag steht dann noch mal der Sender im Klarname...

    Wenn wir alle Sender, die wir nutzen wollen, aus der ...channels.xml in die Config kopiert haben, speichern wir die Datei ab und WG+ ist fertig für den ersten EInsatz. Um euch die Download- Zeit zu verkürzen habe ich die guide.xml von heute, 1.10.2014 angehängt. Spart je nach dem wie bald ihr das nachmacht extrem viel Zeit ein.

    DIeses war der erste Streich, doch der zweite folgt sogleich... Darin wird dann das nahtlose EInbinden von WG+ in MP beschrieben.



    Edit 17.2.2015:
    Die .ini von @morpheus_xx angehängt, mit der die Länder- Informationen auch dargestellt werden.
     

    Attached Files:

    Last edited: February 17, 2015
    • Like Like x 6
    • Thank You! Thank You! x 5
  2. Google AdSense Guest Advertisement



    to hide all adverts.
  3. Lehmden
    • Premium Supporter

    Lehmden Retired Team Member

    Joined:
    December 17, 2010
    Messages:
    11,860
    Likes Received:
    2,147
    Gender:
    Male
    Location:
    Lehmden
    Ratings:
    +3,619 / 28
    Home Country:
    Germany Germany
    Show System Specs
    Wie schon im ersten Teil erwähnt, kann MP direkt noch nicht mit den Daten von WG+ umgehen. Im zweiten Teil wird beschrieben, wie die Daten automatisch und regelmäßig nach MP importiert werden können.
    Um die Daten zu nutzen, benötigen wir das TV Server Plugin XMLTV, welches sowohl zur Grundausstattung des MP1 TV Servers gehört als auch zur neuen experimentellen TVE 3.5. Somit ist diese Methode auch zukunftssicher. Wir können unser EPG ohne jede Änderung auch für die neue TV Engine nutzen, wenn wir umsteigen. Das XMLTV Plugin überwacht im Minutentakt, ob neue EPG Daten vorhanden sind. Da das Grabben per WG+ eine Weile dauert und die Daten nach jedem Sender abgespeichert werden, würde XMLTV also ca 50 Mal einen Import machen, bis alles fertig ist. Das ist natürlich Unsinn und außerdem belastet es den TV Server ziemlich. Deswegen rufen wir WG+ durch eine kleine Batch- Datei auf:
    Code (Winbatch):
    1. c:
    2. cd "C:\ProgramData\ServerCare\WebGrab"
    3. "C:\Program Files (x86)\ServerCare\WebGrab+PlusV1.1.1\WebGrab+Plus.exe"
    4. copy /y C:\ProgramData\ServerCare\WebGrab\guide.xml C:\WebGrab\tvguide.xml
    Hiermit wird WG+ gestartet. Dann wird gewartet, bis WG+ fertig ist. Anschließend wird die erzeugte guide.xml umkopiert und umbenannt. Somit bekommt xmltv nur einmal etwas "zum fressen" vorgesetzt.
    Normalerweise sollte man diese Batch problemlos vom PowerSheduler ausführen lassen können, doch aus was für Gründen auch immer klappt das bei mir nicht. Deswegen lasse ich die Batch von der Windows Aufgabenplanung täglich einmal ausführen. Wichtig ist, das man anhakt, diese Aufgabe so bald wie möglich nachzuholen, falls es mal zum genauen Termin nicht geklappt hat.
    Zwischenablage-5.jpg
    Außerdem sollte man WG+ im PowerScheduler Plugin als "Standby- Verhinderer- Task" eintragen, damit PS den Rechner nicht schlafen legt, so lange WG+ noch am laden ist.
    Zwischenablage-6.jpg
    Außerdem sollte man zu der Zeit, wann WG+ laufen soll, auch das automatische DVB-EPG grabben legen. Damit ist sichergestellt, das der Rechner aufwacht, wenn WG+ laufen soll und außerdem geht er so erst wieder schlafen, wenn das EPG komplett erneuert ist. Klappt bei mir bisher 100% zuverlässig.
    Zwischenablage-7.jpg


    Nun fehlt noch das Einrichten (vor allem das Mappen) von XMLTV. Ich habe mir für die Batch und die tvguide.xml einen eigenen Ordner auf C: angelegt. C:\WebGrab\. Hierhin wird die fertige tvguide.xml kopiert und hier muss auch die xmltv.dtd Datei, die bei MP mitgeliefert wird, zu finden sein. (Ich hab den kompletten Ordner als Archiv mit angehängt). Um XMLTV konfigurieren zu können, muss bereits eine tvguide.xml Datei existieren, also muss WG+ bereits einmal durchgelaufen sein. Vorher kann man das Mapping nicht einstellen.
    Der erste Reiter sollte so (oder so ähnlich bei anderen Pfaden) eingestellt werden:
    Zwischenablage-8.jpg

    Der dritte Reiter ist hier völlig uninteressant. Wichtig ist vor allem der zweite Reiter. Dazu maximiere ich das Fenster sogar, um einen besseren Überblick zu bekommen. Man wählt seine Haupt- Sendergruppe aus (bei mir Favoriten) in der alle oder möglichst viele der genutzten Kanäle zu finden sind. Dann hakt man "Partial Match" an und drückt auf load/refresh.
    Zwischenablage-9.jpg
    Links steht der Sender Name, wie er in MP verwendet wird. Rechts daneben gibt es eine Dropdown- Liste in der alle im EPG vorhandenen Sender zu finden sind. Beim ersten Aufruf werden einige der Sender wohl noch nicht automatisch gefunden werden. Partial match vergrößert die Chance, aber auch die Möglichkeit von Fehltreffern. In der Regel hat man aber weniger Arbeit, wenn man partial match anhakt. Wenn ein 100% Treffer vorhanden ist, wird das Grün markiert (da wo die beiden roten Markierungen für die beiden Sender, die es hier überhaupt nicht gibt, sind). Bei "Vielleicht" Treffern ist die Markierung Gelb. Trotzdem sollte man auch die "Grünen" Sender kontrollieren und im Zweifel korrigieren. Wählt man die oberste, leere Zeile aus, wird dieser Kanal gar nicht gemappt.
    Zwischenablage-10.jpg
    Das EPG für HD und SD Sender ist identisch. Deswegen spielt es natürlich keine Rolle, das ich für ZDF HD die EPG Daten von ZDF verwende....

    Passen alle Sender, unbedingt auf "save" drücken, sonst wird die Einstellung gleich wieder vergessen. Damit ist die Konfiguration von XMLTV abgeschlossen. Man kann nun im ersten Reiter auf "Import" drücken um die neuen EPG Daten sofort zu nutzen. Ab morgen geht das dann automatisch ohne unser Zutun. Der Lohn dieser Mühsal ist ein zukunftssicheres, kostenloses EPG mit sehr gutem Datenmaterial.

    Um die Episoden- Nummern auch "genießen" zu können, müssen wir sie in der Konfig von MP aktivieren:
    Zwischenablage-12.jpg

    So, das wars. Ich hoffe, dies kleine HowTo hat ein wenig geholfen.
     

    Attached Files:

    • WebGrab.7z
      File size:
      3 MB
      Uploaded:
      October 1, 2014
      Views:
      570
    Last edited: October 1, 2014
    • Thank You! Thank You! x 8
    • Like Like x 3
  4. juro

    juro Portal Pro

    Joined:
    March 23, 2009
    Messages:
    1,113
    Likes Received:
    32
    Ratings:
    +49 / 0
    Home Country:
    Germany Germany
    Show System Specs
    Lehmden,

    mal wieder ein super Bericht. Klingt aber alles sehr kompliziert. Ich habe es mal probiert habe es dann aber gelassen, ....

    LG
    Juro
     
  5. Lehmden
    • Premium Supporter

    Lehmden Retired Team Member

    Joined:
    December 17, 2010
    Messages:
    11,860
    Likes Received:
    2,147
    Gender:
    Male
    Location:
    Lehmden
    Ratings:
    +3,619 / 28
    Home Country:
    Germany Germany
    Show System Specs
    Hi.
    Wer's ganz leicht haben will, kann ja meine Konfig 1 zu 1 übernehmen und/oder erst mal mit der (im zweiten Post) angehängten tvguide.xml experimentieren...
     
  6. Lightning303
    • Premium Supporter

    Lightning303 MP Donator

    Joined:
    September 12, 2009
    Messages:
    798
    Likes Received:
    384
    Gender:
    Male
    Ratings:
    +578 / 0
    Home Country:
    Germany Germany
    Show System Specs
    Hey,
    danke für die ausführliche Anleitung :).
    Nutze WebGrab+Plus nun schon seit Jahren, daher wollte 2 Anmerkungen hier lassen ;).
    Vielleicht sind die ja für einige von Interesse.

    Ich habe für die längste Zeit auch tvtv.de benutzt, jedoch haben die nachdem sie von einer anderen Firma aufgekauft wurden viele der Sender rausgeschmissen. Daher nutzte ich inzwischen tvtoday. TVToday hat zwar wie du schon anmerktest keine gute Episoden Nummerrierung, jedoch ansonsten die meisten Sender im Angebot mit guten Infos (ich rede nicht von den Sendern die WebGrab schon kennt und vorschlägt sondern die die wirklich auf der Seite verfügbar sind). Die ini wurde damals von mir auch ein wenig an Mediaportals Bedürfnisse angepasst und ein anderer User hat die Episoden Nummern so gut wie möglich hinzugefügt.

    Außerdem habe ich nachdem ich meine letzte Stromrechnung bekommen hatte, die Art und Weise wie und wann gegrabbt wird geändert.
    Vorher hatte ich wie du beschrieben hast jeden Tag eine bestimmt Zeit an dem der HTPC auswacht und grabbt. Inzwischen grabbt WebGrab nurnoch wenn der HTPC auswacht (manuell), jedoch maximal einmal am Tag.
    Habe bis jetzt noch nie Probleme damit gehabt und es wird häufig genug gegrabbt (grabbe nur 7 Tage).
    Batch Script hierfür kann ist hier zu finden.

    Gruß
     
  7. Lehmden
    • Premium Supporter

    Lehmden Retired Team Member

    Joined:
    December 17, 2010
    Messages:
    11,860
    Likes Received:
    2,147
    Gender:
    Male
    Location:
    Lehmden
    Ratings:
    +3,619 / 28
    Home Country:
    Germany Germany
    Show System Specs
    Hi.
    Ja, das ist immer so eine Sache. Nicht zuletzt deswegen habe ich für mich 9:00 Uhr gewählt, da mein Rechner dann sowieso immer an ist. Leider kann die FritzBox im Gegensatz zu den Downloads das EPG grabben ja noch nicht übernehmen...

    Das "nur einmal am Tag" Batch ist interessant, kann in diesem Kontext aber zu Fehlern führen, wenn der Rechner aus was für Gründen auch immer, vor 6 Uhr Morgens aufgeweckt wird. Wie gesagt vor 6 Uhr morgens sollte man keine EPG Daten grabben. Und das wird nicht von dem Batch abgefangen, da es nur %date% verwendet. Trotzdem vielen Dank für den Link. Wird bestimmt noch mal nützlich.


    Ich hab weder SKY noch HD+. Alle wichtigen unverschlüsselten Sender sind bei TVTV vorhanden. Die Daten allgemein (mal ganz ab von den Episoden Infos) gefallen mir (bisher zumindest) auch besser. Von daher habe ich mich ohne Zweifel für tvtv als "Master" Quelle entschieden. RiC, DeluxeMusic, ORF2E und TecTime sind auf TVToday genau so wenig zu finden wie auf tvtv. Für mich bleiben dann genau 2 Sender, die es auf TVToday gibt, aber nicht auf tvtv. Welt der Wunder und Joiz. Deswegen hole ich mir die Daten der 2 Sender dann auch bei TVToday. WIchtig sind diese Sender mir aber nicht. Zur Not hätte da auch DVB gereicht.

    Das Schöne ist ja, dass man sich alles ganz individuell anpassen kann, wenn man mag. Von daher haben wir beide für uns passende Settings im EInsatz...
     
  8. Lightning303
    • Premium Supporter

    Lightning303 MP Donator

    Joined:
    September 12, 2009
    Messages:
    798
    Likes Received:
    384
    Gender:
    Male
    Ratings:
    +578 / 0
    Home Country:
    Germany Germany
    Show System Specs
    Die Batch ist ja auch eine allgemeine einmal am Tag Batch ;).
    Ich weiß nicht genau wie die tvtv.ini funktioniert, aber bei tvtoday ist dies aufjedenfall kein Problem. Hier ist es egal wann die Seite etwas als Heute oder Morgen klassifiziert.


    Wollte auch lediglich eine weitere Option für Leute die viele "exotische" Sender haben erwähnen :).


    RiC: http://www.tvtoday.de/programm/?channelId=RIC&key=null
    Deluxe Music: http://www.tvtoday.de/programm/?format=channel&date=01.10.2014&slotIndex=now&genre=all&channel=DMC
    ORF2: http://www.tvtoday.de/programm/?format=channel&date=01.10.2014&slotIndex=now&genre=all&channel=ORF2
    Jedoch keine AHnung inwiefern ORF2 und ORF2E sich nun unterscheiden.

    TecTime ist wirklich nicht auffindbar ;).
     
  9. RicoHTPC
    • Super User

    RicoHTPC Super User

    Joined:
    February 4, 2011
    Messages:
    1,441
    Likes Received:
    97
    Location:
    Cuxhaven
    Ratings:
    +178 / 6
    Home Country:
    Germany Germany
    Show System Specs
    Danke für deine Arbeit @Lehmden!
    Ein Parallelbetrieb von wg+ und mc2xml ist aber scheinbar ausgeschlossen, richtig?

    Edit: Achso und wie ist denn nun der Zeitbedarf eigentlich?
     
    Last edited: October 1, 2014
  10. Lehmden
    • Premium Supporter

    Lehmden Retired Team Member

    Joined:
    December 17, 2010
    Messages:
    11,860
    Likes Received:
    2,147
    Gender:
    Male
    Location:
    Lehmden
    Ratings:
    +3,619 / 28
    Home Country:
    Germany Germany
    Show System Specs
    Hi.
    ORF2E ist der unverschlüsselte Ableger. Wenn man dafür das EPG von ORF2 nimmt (gibt es natürlich auch auf tvtv) werden auch all die Sendungen im EPG angezeigt, für die der ORF keine Europa Lizenz hat. Das sind aber meist die interessantesten. Deswegen kann man das nicht verwenden... RiC und Deluxe sind zumindest in der channels.xml nicht drin... Ist aber auch Wurscht, sind sowieso völlig unwichtige Sender.

    Das geht, wenn man eine tvguide.lst verwendet, eine Textdatei, in der pro Zeile der Pfad zu einer TVGuide.xml steht. Man muss dann natürlich auf dem ersten Reiter bei xmltv das entsprechend anders konfigurieren...


    Bei mir dauert ein normaler Durchlauf mit Einstellung auf Smart gut eine Stunde. Da der Rechner dann sowieso läuft, stört mich das nicht weiter. Der erste Durchlauf, das hat extrem lange gedauert (so 9 oder 10 Stunden). Deswegen habe ich immer noch "falsche" Episodennummern an einigen Tagen in der XML. Sie werden aber rechtzeitig vor der eventuellen Aufnahme aktualisiert und passen dann. Deswegen wollte ich mir einen neuen Voll- Durchlauf dann doch nicht antun.
     
  11. Brudertac
    • Premium Supporter

    Brudertac MP Donator

    Joined:
    October 26, 2006
    Messages:
    978
    Likes Received:
    117
    Gender:
    Male
    Location:
    Augsburg
    Ratings:
    +277 / 1
    Home Country:
    Germany Germany
    Show System Specs
    @Lehmden

    Danke für dein Howto!
    Ich habe ein paar eigentümliche Episodennummern entdeckt die auf einen Fehler beim Importieren deuten könnten?
    Kannst du dir nen Reim draus machen?

    Episodennummern falsch.png

    Das gleiche hatte ich vor 2 Wochen bei einem Test mit einer tvtoday siteini aus dem ArgusTV Forum.
    Ich stehe auch mit dem ersteller in Kontakt, er ist aber derzeit im Urlaub...
     
Loading...

Users Viewing Thread (Users: 0, Guests: 0)

  1. This site uses cookies to help personalise content, tailor your experience and to keep you logged in if you register.
    By continuing to use this site, you are consenting to our use of cookies.
    Dismiss Notice
  • About The Project

    The vision of the MediaPortal project is to create a free open source media centre application, which supports all advanced media centre functions, and is accessible to all Windows users.

    In reaching this goal we are working every day to make sure our software is one of the best.

             

  • Support MediaPortal!

    The team works very hard to make sure the community is running the best HTPC-software. We give away MediaPortal for free but hosting and software is not for us.

    Care to support our work with a few bucks? We'd really appreciate it!