WebGrab-Buddy (oder so) - Planungsthread

Discussion in 'Elektronischer Programmführer (EPG)' started by Lehmden, September 7, 2016.

  1. Lehmden
    • Premium Supporter

    Lehmden Retired Team Member

    Joined:
    December 17, 2010
    Messages:
    11,874
    Likes Received:
    2,148
    Gender:
    Male
    Location:
    Lehmden
    Ratings:
    +3,621 / 28
    Home Country:
    Germany Germany
    Show System Specs
    Hi.
    Auch wenn ich diese Woche nicht zu hause bin und somit nicht produktiv arbeiten kann, hindert mich das ja nicht daran, mir Gedanken zu machen. Nachdem in letzter Zeit immer häufiger nach einer "einfachen" Lösung zum Beschaffen von guten EPG Daten gefragt wurde, bin ich dabei, so ein Programm zu planen. Ich möchte hier Anregungen, Ideen usw einsammeln, die dann direkt in das Programm einfließen können. Das Ziel ist eine einfache Methode um an gute und möglichst vollständige EPG Daten zu kommen, ohne selbst aufwändig Konfigurationsdateien zu editieren und Batch Dateien zu schreiben, Das Ganze soll so einfach wie möglich zu bedienen sein, um auch weniger versierten Anwendern die vielfältigen Möglichkeiten von WebGrab und xmltv zur Verfügung zu stellen.

    Meine bisherigen Vorstellungen:
    Als "Datenquelle" ist WebGrab+Plus vorgesehen, Das neue Programm soll dann die MP1 und MP2 TV-Datenbank auslesen, um zu erkennen, welche Sender in eine Sendergruppe aufgenommen wurden. Diese Sender werden dann im Programm angezeigt, wahrscheinlich in einem DropDown Menü. Aus dem WebGrab Verzeichnis werden die vorhandenen siteini Dateien eingelesen, Der User kann jetzt global eine Seite für alle Kanäle festlegen und/oder für jeden Sender individuell auswählen. Also einfach Sender aus der einen Liste wählen und die Seite, von der die Daten für diesen Sender gegrabbt werden soll, aus der nächsten Liste. Eine dritte Spalte ist zum "Mappen" der Kanäle in der TV Datenbank zu den Kanälen aus den Sieteini Dateien. So etwas vollautomatisch zu verbinden ist schier unmöglich, deswegen wird es diese manuelle Eingriffsmöglichkeit geben Daraus generiert das Programm dann die passende WebGrab Konfiguration.



    Weiterhin wird es ein "Hilfsprogramm" geben, das man (durch eine Funktion im Hauptprogramm) per Windows Aufgabenplanung automatisch ausführen lässt, um den eigentlichen Grabvorgang durchzuführen. Das Hilfsprogramm wird über eine .ini aus dem Hauptprogramm heraus konfiguriert und ersetzt die bisherigen Batch Dateien, die zum grabben genutzt werden.

    Selbstverständlich wird auch episodes2tvguide mit integriert, so das man stets die Staffel- und Episoden Nummern der Serien und, bei Bedarf auch die Beschreibungen von TVDB in den EPG Daten stehen hat. Des weiteren stelle ich mir einige Erweiterungen der Möglichkeiten von e2t vor. Unter anderem sollte es möglich sein, das für MP2 Nutzer (auf Grund der zentralen Datenbank) ein Hinweis im EPG erscheinen kann, der markiert, ob man diese Episode (und später vielleicht auch Film) schon in seiner Bibliothek hat. Über Einzelheiten werde ich mit @lightshock diskutieren, wenn er aus dem wohlverdienten Urlaub zurück ist, MP1 Nutzer werden wohl auf dieses extra Schmankerl verzichten müssen, da die zerstreute und uneinheitliche Datenbank Struktur von MP1 es fast unmöglich macht, so etwas auch für MP1 zu realisieren. Falls überhaupt so ist das sowieso nur für SingleSeat Installationen möglich, da das Programm auf jeden Fall auf dem gleichen System wie der TV/MP2 Server laufen muss.. Hinzu kommt, das sowohl lightshock als auch ich ausschließlich MP2 verwenden, was eine entsprechende Entwicklung sehr erschwert,
    So weit meine bisherigen Pläne. Was sagt ihr dazu?
    Ach, auch wenn ich Teile des Codes aus meinen früheren Programmen weiter verwenden kann, so ist doch noch nicht eine einzige Zeile Code programmiert. Erwartet also bitte keine funktionsfähige Version gleich nächste Woche.
     
    • Like Like x 5
  2. Google AdSense Guest Advertisement



    to hide all adverts.
  3. DiBS
    • Premium Supporter

    DiBS MP Donator

    Joined:
    July 31, 2009
    Messages:
    435
    Likes Received:
    58
    Gender:
    Male
    Location:
    Allgäu (West)
    Ratings:
    +105 / 1
    Home Country:
    Germany Germany
    Show System Specs

    (...dann halt übernächste Woche.) ;)
     
    • Agree Agree x 1
  4. Lehmden
    • Premium Supporter

    Lehmden Retired Team Member

    Joined:
    December 17, 2010
    Messages:
    11,874
    Likes Received:
    2,148
    Gender:
    Male
    Location:
    Lehmden
    Ratings:
    +3,621 / 28
    Home Country:
    Germany Germany
    Show System Specs
    war ja klar...:D
     
    • Agree Agree x 1
  5. lightshock
    • Team MediaPortal

    lightshock Test Group

    Joined:
    June 3, 2008
    Messages:
    531
    Likes Received:
    58
    Gender:
    Male
    Location:
    bei Karlsruhe
    Ratings:
    +122 / 0
    Home Country:
    Germany Germany
    Pustekuchen... arbeiten war er, der Bub...
    Urlaub gibt es erst ab jetzt. Die Insel zum Entspannen hab ich schon gebucht, komme erst irgendwann 2019 zurück :ROFLMAO:

    Ich finde die Idee gut, würde sowas aber eher mit einem Programm erschlagen. Man hätte die Möglichkeit direkt auf MP1 oder MP2 zuzugreifen, könnte auch ebenso das EPG grabben lassen, sogar gezielt für einen oder mehrere Sender oder eben für alle vorhandenen.
    Parallel könnte man auch die Staffel- und Episodennummern auslesen und gleichzeitig mit dem aktuellen Datenbestand abgleichen und eben mit den Infos erweitern, welche Serien schon vorhanden sind und welche nicht. Was eben bei mehreren Programmen nicht geht. Da muss ich erst warten bis ein Job erledigt ist.

    Wenn wir schon dabei sind, könnte man auch eine Liste mit kommenden Sendungen anzeigen für die man sich interessiert, um somit auch eine Aufnahme nicht zu verpassen.
    Ruft man das Programm mit einem Parameter könnte man auch definieren was das Programm machen sollte. Also nur Daten abrufen oder was auch immer.

    Ich würde das Programm zusätzlich um die Funktion erweitern das man auch direkt auf eine XML-Datei zugreifen kann und nicht unbedingt auf WG++ angewiesen ist. Die eigentliche "arbeit" passiert ja eh erst wenn eine XML-Datei mit EPG vorhanden ist.


    Aber mal was völlig anderes (aber gleiches Thema)...
    Wie viele wollen denn ein vernünftiges EPG?
    Meint ihr nicht das man sich vllt. mit ein paar Anbietern (z.B. epgdata) zusammensetzen sollte und fragen ob man nicht ein "Community-EPG" haben kann für einen Betrag X im Jahr? Dieser wird aufbereitet und an alle verteilt die einen Anteil daran zahlen? Man müsste das ganze natürlich schriftlich bekommen das man die Daten auch weiter nutzen darf. Von mir aus steht in jedem Plot ein Copyright. Wenn es dadurch günstiger wird.
    Aber so müsste man nur auf einem System die EPGs für alle verfügbaren Sender grabben und diese müssen dann nur noch heruntergeladen und eingelesen werden.

    Man könnte über eine Art Hash-Wert auch Einstellungen vornehmen. So könnte jeder sein eigenes EPG laden.
    Einen Webserver hat man schnell gemietet. So teuer sind die auch nicht. Ein bisschen Webseite drumherum und klar, das Programm zum Grabben der Daten und zum Aufbereiten.

    Und wehe da kommt ein "jetzt spinnt der aber", oder so :D
     
    • Thank You! Thank You! x 2
  6. DiBS
    • Premium Supporter

    DiBS MP Donator

    Joined:
    July 31, 2009
    Messages:
    435
    Likes Received:
    58
    Gender:
    Male
    Location:
    Allgäu (West)
    Ratings:
    +105 / 1
    Home Country:
    Germany Germany
    Show System Specs
    Wäre dabei, wenn die Kosten sich in einem vernünftigen Rahmen bewegen. Vielleicht ähnlich wie bei einem TVMovie Clickfinder Abo.

    Gruß D!BS
     
    • Thank You! Thank You! x 1
  7. Scheibes

    Scheibes Portal Pro

    Joined:
    June 14, 2012
    Messages:
    672
    Likes Received:
    22
    Gender:
    Male
    Ratings:
    +37 / 0
    Home Country:
    Germany Germany
    Show System Specs
    Da wäre ich auch dabei! :)
     
    • Thank You! Thank You! x 2
  8. larry_S
    • Premium Supporter

    larry_S MP Donator

    Joined:
    December 11, 2008
    Messages:
    1,420
    Likes Received:
    93
    Ratings:
    +149 / 1
    Home Country:
    Germany Germany
    Show System Specs
    Dann könnte man aber auch noch eine automatische Zuordnung der Sender einbauen.
    Hier kann man das System oder vielleicht sogar die Daten vom Logomanager übernehmen. Hier werden "einfach" für alle Sender alle möglichen Schreibweisen hinterlegt.
     
  9. kruemelchen1970

    kruemelchen1970 Portal Pro

    Joined:
    February 21, 2012
    Messages:
    182
    Likes Received:
    17
    Gender:
    Male
    Location:
    Kiel
    Ratings:
    +32 / 0
    Home Country:
    Germany Germany
    Show System Specs
    Klingt verdächtig nach einem Plan!!!!!
     
  10. schwarzrz

    schwarzrz Portal Pro

    Joined:
    May 23, 2010
    Messages:
    370
    Likes Received:
    28
    Gender:
    Male
    Location:
    Frankfurt
    Ratings:
    +57 / 1
    Home Country:
    Germany Germany
    Show System Specs
  11. Lehmden
    • Premium Supporter

    Lehmden Retired Team Member

    Joined:
    December 17, 2010
    Messages:
    11,874
    Likes Received:
    2,148
    Gender:
    Male
    Location:
    Lehmden
    Ratings:
    +3,621 / 28
    Home Country:
    Germany Germany
    Show System Specs
    Hi.
    Willst du wirklich die ganze Graber Engine von WebGrab nachbauen? Jede Seite ist anders und liefert die Daten auf eine völlig unterschiedliche Weise. Und ich hatte das Ganze nicht als eine rein deutsche Angelegenheit gedacht, sondern als etwas, das man auch in allen anderen Ländern (sofern es dafür entsprechende Webseiten gibt) nutzen kann. Klar, wenn man nur eine oder zwei Seiten als Quelle verwenden will, kann man das leicht integrieren. Aber um eine mit WebGrab vergleichbare Flexibilität zu erreichen, ist dann doch ungleich mehr Arbeit nötig. Und selbst wenn wir nur für Deutschland arbeiten würden, hakt es schon daran, dass es keinen Anbieter gibt, der alle in Frage kommenden Sender abdeckt. Um mal bei epgdata als Beispiel zu bleiben. Von den deutschsprachigen FTA Sendern (also noch gar kein Pay TV dabei) fehlen z.B. RTLplus, ZeeOne, ToggoPlus, R9 Österreich und Welt der Wunder TV. Dazu noch (auf Englisch, aber trotzdem sehr interessant) Insight HD und ein paar englischsprachige Nachrichtensender (BBC World usw)... Wobei der Bollywood Sender ZeeOne sogar in HD unverschlüsselt gesendet wird und deswegen relativ weit oben in meiner Kanal- Liste gelandet ist, gleich neben Anixe HD und Servus TV HD. Das sind nur die über Astra unverschlüsselt empfangbaren Sender. Alles was z.B. im Kabel an extra Sendern ausgestrahlt wird sowie der riesige PayTV Bereich (auch HD+ ist PayTV, trotz der Unmengen an Werbung die dort ausgestrahlt wird), kommt noch dazu.

    An sich eine gute Idee, vor allem wenn man dafür einen möglichst international agierenden Anbieter finden würde. Aber...
    Wie ich aus anderen Bereichen leider mit 100% Sicherheit sagen kann, geht so etwas immer schief. Am Anfang sind alle Feuer und Flamme, doch wenn es tatsächlich ans Bezahlen geht, machen mindestens 50% einen Rückzieher. Und der Rest bzw der Initiator der Geschichte bleibt auf den Kosten hängen. Das passiert garantiert immer. Falls wir eine Lösung finden könnten (z.B. über Werbebanner, Backlinks usw), bei der wir die Daten den "Endkunden" kostenlos zur Verfügung stellen können, dann würde ich auch sehr dafür sein. Auf regelmäßige Beiträge einer "anonymen Masse" zu setzen, das findet aber ohne mich statt. An vergleichbaren Geschichten habe ich mir schon mehrmals die Finger verbrannt, das passiert mir garantiert nicht noch einmal.

    Das wäre gar nicht nötig. Der Team Mediaportal Server hat genug Kapazität, um das mit abzuwickeln... Und MediaPortal hätte damit ein herausragendes Alleinstellungsmerkmal. Anständige EPG Daten exklusiv für die Nutzer eines Open Source Projekts. Das gibt es sonst nirgends.
     
    • Agree Agree x 1
Loading...

Users Viewing Thread (Users: 0, Guests: 0)

  1. This site uses cookies to help personalise content, tailor your experience and to keep you logged in if you register.
    By continuing to use this site, you are consenting to our use of cookies.
    Dismiss Notice
  • About The Project

    The vision of the MediaPortal project is to create a free open source media centre application, which supports all advanced media centre functions, and is accessible to all Windows users.

    In reaching this goal we are working every day to make sure our software is one of the best.

             

  • Support MediaPortal!

    The team works very hard to make sure the community is running the best HTPC-software. We give away MediaPortal for free but hosting and software is not for us.

    Care to support our work with a few bucks? We'd really appreciate it!