WebGrab-Buddy (oder so) - Planungsthread (2 Viewers)

[lightshock]

Moin,

Willst du wirklich die ganze Graber Engine von WebGrab nachbauen?

Das hatte ich dann wohl falsch formuliert
Ich meinte, dass das Programm mit WG++ einen Sender grabbt und während der nächste gegrabbt wird, lässt man E2T schon auf die gegrabbten Daten los und versucht zu ermitteln welche Episoden schon im Bestand sind und welche nicht.
Das geht aber nur wenn jeder Sender für sich gegrabbt und später, nach der Bearbeitung durch E2T, verschmolzen wird. Sonst dauert das alles wirklich verdammt lange.
Vor allem könnte man auch sagen ob E2T einen Sender überhaupt verarbeiten soll oder nicht. Ich glaube nicht das es Sinn macht Tageschau24 oder 1-2-3.TV zu bearbeiten

Ich würde in diesem Zusammenhang auch E2T komplett über den Haufen schmeißen und mir was anderes überlegen. Und eben komplett von vorne anfangen.
Dann aber mit direktem Zuschnitt auf diesen Bereich hier. Da sollten wir auf jende Fall noch ne Runde Brainstormen

Thema Online-Version:
Ich kenne in diesem Zusammenhang nur den Clickfinder und epgdata. Beide liefern aber nur Daten für den deutschsprachigen Raum. Fehlen wird da immer was. Ich denke solche Anbieter sind bestimmt bereit ihre Daten für etwas herzugeben. Ob das nun ein Geldbetrag oder Werbung ist (letzteres wäre mir persönlich auch lieber).
Die Frage ist nur, wie kommt man an die anderen Daten heran und wie könnte man diese legal verteilen.
Auch wenn es für MediaPortal ein Alleinstellungsmerkmal wäre glaube ich nicht, denn das würde ich auch nicht wollen, das die Webseite und/oder Forum voll mit Werbebanner und der Gleichen zugepflastert werden soll.

Da ich eh epgdata nutze, würde ich da mal anfragen ob und in wieweit man bereit wäre, Daten für ein Community-EPG zur Verfügung zu stellen. Wobei wir dann auch "nur" um die 180 Sender im deutschen Raum hätten.
Wenn die aber dort schon einen großen Betrag aufrufen, würde ich die Onlineversion gleich wieder sterben lassen. Ist ja auch erst mal nur ein "Planungsthread"

Was die Kosten angeht, stimme ich dir voll und ganz zu. Meistens wird ein Rückzieher gemacht wenn es ans Geld geht. Wenn es ein überschaubarer Betrag ist, wäre das kein Thema, aber das lass ich erst mal auf mich zu kommen.

 

[Lehmden]

Hi.

Ich meinte, dass das Programm mit WG++ einen Sender grabbt und während der nächste gegrabbt wird, lässt man E2T schon auf die gegrabbten Daten los

Das hatte ich in der Tat falsch verstanden. Aber so ist es wirklich eine sehr gute Idee. Da wir die Config für WebGrab ja sowieso in unserem Programm erzeugen, können wir problemlos jedes mal eine neue Konfiguration mit nur einem Sender erzeugen lassen...

Fehlen wird da immer was.

Wenn man tatsächlich ein "Community EPG" auf die Beine stellen kann, könnte ja jeder User für sich die fehlenden Sender auf "herkömmliche" Art nachladen. Da es sich dann nur noch um ein paar wenige Sender handeln würde, wäre der Konfigurations- und Zeitaufwand nicht sonderlich hoch. Schon das originale XMLTV Plugin bietet ja die Möglichkeit verschiedene "tvguide.xml" Dateien gleichzeitig zu verwenden, über eine einfache Text Datei namens tvguide.lst, in der einfach die Pfade zu den diversen XML Dateien drin stehen. Wir könnten also auch in unserem Programm (Der Name wird noch festzulegen sein, WebGrab-Buddy ist erst mal nur ein "Arbeitstitel") eine "fertige" bzw von irgendwoher herunter geladene XML als Basis ermöglichen, und nur die noch fehlenden Sender "dazu" grabben lassen.

Parallel könnte man auch die Staffel- und Episodennummern auslesen und gleichzeitig mit dem aktuellen Datenbestand abgleichen

Bei MP2 ist das einfach möglich und auch sehr erwünscht. Nur bei MP1 sehe ich da eher schwarz. Bei Serien in einer SingleSeat Installation wäre das sicher ebenfalls leicht möglich, da es ja nur ein Serien Plugin für MP1 gibt. Für Multiseat Umgebungen unter MP1 geht das aber schon wieder in die Hose. Wie greift man auf die nicht lokal vorliegenden SQLite Datenbanken zu? Und welche Datenbank soll man dann überhaupt zum Vergleich heran ziehen? Bei Spielfilmen hätte man sogar gleich 3 verschiedene MP1 Plugins zu berücksichtigen, Moving Pictures, MyVideos (also das eingebaute Plugin) und MyFilms. Und dazu kommt ebenfalls das Multiseat Problem... Um das wirklich abzudecken müsste man den Datenbank- Abgleich vermutlich modular auslagern, um ggfs später sogar auch mal andere HTPC Programme wie Kodi, Emby, Plex usw mit zu bedienen... Diesen Teil sollten wir aber sowieso auf später vertagen, denn durch das unmittelbar bevorstehende MIA Rework ändert sich die Datenbank von MP2 ja heftig. Die paar Wochen, bis die MIA Version veröffentlicht wird haben wir auch so schon genug zu tun... Zum Glück wird sich an der TV Datenbank aber nichts großartiges ändern, ist und bleibt ja die gute alte TVE 3.0. Hier dürfen Anpassungen erst mit der TVE 3.5 nötig werden.

 

[Lehmden]

Hier kann man das System oder vielleicht sogar die Daten vom Logomanager übernehmen.

Das muss ich mir erst mal genau anschauen. Wenn so etwas auch hier gehen würde, um so besser. Doch bevor ich da genau hin geschaut habe, kann ich nichts versprechen...

 

[Maveric]

Mag ja sein ich liege völlig neben dem Thread....
aber was ich ja toll finden würde, wäre wenn ich mit einem "Windows-Tool" die Konfiguration machen könnte, mein Raspberry Pi dann täglich grabbt und mein MP dann sich die fertige Input Datei vom PI nur noch abholen muss.
(Zumindest bin ich das mit dem PI gerade am testen/ versuchen... sollte nämlich lt. dieser Anleitung theoretisch möglich sein)

Just my 2 cent

 

[Lehmden]

Wenn man auf alle geplanten Komfort Funktionen verzichtet, dann könnte das theoretisch möglich sein. Meiner Ansicht nach macht das aber überhaupt keinen Sinn. Wer mit einem Pi herum fummelt, der schafft es auch, eine Text Datei zu editieren und somit WebGrab ohne fremde Hilfe ans laufen zu bekommen. Alle Datenbanken, die zum Abgleich für die Komfort Funktionen benötigt werden laufen sowieso auf Windows Rechnern. Also müsste der langsame Raspberry Pi zusätzlich zu dem/n Windows Rechner( n ) laufen. Wo darin der Sinn liegt, erschließt sich mir nicht so ganz.

Das neue Programm ruft ja WebGrab mit Parametern für einen einzigen Sender auf. Sobald diese Daten da sind, wird WebGrab auf den nächsten Sender los gelassen. Gleichzeitig bearbeitet das Program, die herunter geladenen Daten des ersten Senders, ergänzt Staffel- und Episoden- Nummern, fügt fehlende Beschreibungen aus Online Quellen wie TVDB und TMDB in das EPG ein, vergleicht die im EPG vorhandenen Sendungen mit der lokalen Medien Bibliothek, erzeugt daraus eine Liste von "fehlenden" Episoden der im Bestand existierenden Serien, markiert im EPG die Episoden und Filme, die im Bestand sind als "schon vorhanden", usw.... Auch wenn man dieses Programm nun unter Linux (mit Mono) ausführen würde, müssten doch trotzdem der/die Rechner mit den Datenbanken laufen, um an die Daten für den Abgleich zu gelangen.

Das Ganze ist dazu gedacht, auf dem MP1 TV Server bzw MP2 Server System zu laufen. Das Grabben kann ja problemlos ablaufen, während der Server sowieso benötigt wird. Nutzt man den Server für mehrere Tage gar nicht, so ist es auch nicht schlimm, wenn in dieser Zeit kein EPG gegrabbt wird.

 

[lightshock]

mein Raspberry Pi dann täglich grabbt

Das Grabben an sich wäre kein Thema. Und wenn du auf den Zugriff zu evtl vorhandenen Episoden und Filmen verzichten willst ist das auch kein Thema.
Problematisch wird da eher der Abgleich mit TVDB und TMDB.

Ich mache das ganze auf einem vServer unter Linux. Grabben mit epgdata und WG++ sowie den Abgleich mit E2T.
Zum Grabben und zusammensetzen des EPG für 14 Tagen von epgdata und WG++ braucht der Server ca. 10 Minuten. Für den Abgleich mit E2T ca. 45 Minuten.
Und ich behaupte jetzt einfach mal das mein vServer potenter als ein RPi ist

 

[Lehmden]

Hi.
Ich wolle gerade auf der WebGrab Plus Seite nachschauen, ob man das Programm irgendwie auch ohne Installation, also quasi "portable" verwenden kann. Das würde die Integration in unseren "EPG-Buddy" deutlich leichter machen. Doch aktuell ist die Webseite down, hoffentlich nur vorübergehend. Hat da jemand etwas mit bekommen?

 

[lightshock]

Geht wieder.
Vllt wurde es dem Server einfach nur zu warm und der wollte ne Runde schwimmen gehen
Und eine neuere Version als meine hab ich auch gefunden

 

[lightshock]

ob man das Programm irgendwie auch ohne Installation, also quasi "portable" verwenden kann

Ja, kannst du. Es ist ja nur ein Archiv vorhanden. Die "Installation" wird per Batchdatei durchgeführt.

 

[Lehmden]

Hi.

Die "Installation" wird per Batchdatei durchgeführt.

Tja, aber die Batch ruft ein MSI Installer Paket auf... Ich habe es trotzdem hin bekommen, WebGrab+Plus.exe auch ganz ohne Installation ans Laufen zu bekommen. Das heißt, die Installation wird entsprechend einfacher für die Nutzer unseres neuen Programms. Wir müssen beim Aufruf von WebGrab nur den Pfad zu dem (unserem) Config- Ordner übergeben, dann klappt das.