FilmInfo+ - A german movie details scraper with auto grouping (2 Viewers)
- Thread starter Merlyn
- Start date
AW: FilmInfo+ - A german movie details scraper with auto grouping
Ähh hallo ähh ja
also das teil funktioniert ja wunderbar
nun habe ich mal über alle extended usw hinzugefügt.
nun hat moviepicture etwas versaut
herr der ringe die gefährtetn wird als der kleine hobbit die gefährten erkannt der rest ist ok
egal ob ich in per mediaportal updaten lasse oder ob ich die datei zum importet schicke
versteh ich nicht
Ähh hallo ähh ja
also das teil funktioniert ja wunderbar
nun habe ich mal über alle extended usw hinzugefügt.
nun hat moviepicture etwas versaut
herr der ringe die gefährtetn wird als der kleine hobbit die gefährten erkannt der rest ist ok
egal ob ich in per mediaportal updaten lasse oder ob ich die datei zum importet schicke
versteh ich nicht
- July 8, 2011
- 250
- 322
- Home Country
-
Germany
- Thread starter
- #163
AW: FilmInfo+ - A german movie details scraper with auto grouping
Falsche IMDb ID verwendet?
Falsche IMDb ID verwendet?
- February 1, 2007
- 4
- 0
- Home Country
-
Germany
AW: FilmInfo+ - A german movie details scraper with auto grouping
Hallo Merlyn,
erst mal ein großes Lob und vielen Dank für die Mühen die du dir mit diesem scraper gemacht hast.
Nach dem durch meine Schusseligkeit bei der Neuinstallation von MP meine MovPic Datenbank *gelöscht habe dachte ich mir probierst du doch mal den FilmInfo+ scraper aus. Das erste Ergebnis war eine Katastrophe. Nach dem ich wie empfohlen die Erkennung auf 2 gleichzeitig runter geschraubt habe ist das Ergebnis recht gut geworden.
Was mich aber in einigen Fällen wundert ist die Gruppierung der Filme. Wo nimmt Filminfo+ diese Informationen her? Diese sind doch teilweise recht abenteuerlich. Hier ein paar Beispiele:
einige Filme von Kevin Smith (Clerks tt0109445, Mall Rats tt0113749, usw.) werden mit *
“Ansicht Askewniverse:” gruppiert. Richtig wäre “ViewAskew:” weil das die Produktionsfirma ist und ViewAskewiverse eigentlich nur der Name der Webseite. Andere Kevin Smith Filme (z.b. Jersey Girl tt0300051 oder Zack & Miri … *tt1007028) werden nicht zu dieser Gruppe hinzugefügt obwohl sie definitiv dazugehören. Auf der anderen Seite finde ich die Gruppierung von Filmen die eigentlich alleine für sich stehen und nur die gleiche Produktionsfirma oder Regisseur haben für übertrieben.
warum die Gruppierung der “Berater:” bei Iron Man 1 tt0371746 , Iron Man 2 tt1228705 , Thor tt0800369 ?
Die Einheit Kentucky ist geeignet Fried Movie: The Kentucky Fried Movie tt0076257
Die Einheit Kentucky ist geeignet Fried Movie: Amazonen auf dem Mond oder Warum die Amerikaner den Kanal voll haben tt0092546
Traumwesen: Das Böse tt0079714
Traumwesen: Phantasm IV tt0138703
Grab-Räuber: Tomb Raider tt0146316
Grab-Räuber: Tomb Raider: Die Wiege des Lebens tt0325703
Zur Mittagsstunde: Biss zum Morgengrauen tt1099212
Zur Mittagsstunde: Biss zur Mittagsstunde tt1259571
Zur Mittagsstunde: Biss zum Abendrot tt1325004
Teilweise wird auch einzelnen Filmen eine unsinnige Sortierung vor den eigentlichen Filmtitel geschrieben zb:
Türken Obst: Türkische Früchte tt0070842
Die Liste ist noch einiges länger aber das sollte jetzt deutlich machen was ich meine. Ich weiß ein Scraper interpretiert nur das was er im Web vorgesetzt bekommt. Die Frage ist deshalb eigentlich ob man das nicht schon vor dem scrapen irgendwo im Web ändern kann wie zb bei TMBd? Von irgendwo müssen die Daten ja herkommen. Der Ansatz das alles über die Special Movies.xml zu korrigieren welche dann zu dir übertragen wird finde ich ziemlich umständlich und zeitraubend für beide Seiten.
Die Namen Gruppierungen sollten meiner Meinung nach auch recht kurz gehalten werden also kein “Chroniken von...” oder “die xxx Saga” sonst sieht man am TV nur die Gruppierung und der eigentliche Titel des Films wird erst angezeigt wenn MP anfängt zu scrollen. Auch könnte man auf Bezeichnungen wie Trilogie verzichten. Erstens wegen der schon angesprochenen Übersichtlichkeit und zweitens hat uns Hollywood schon öfters Fortsetzungen beschert und aus 3 Teilen werden 4 oder mehr also nix mehr mit Trilogie.
Zu guter Letzt noch einmal der schon von anderen angesprochene Wunsch einer Sortierung ohne Artikel (der, die, das, the, …).
Bei einer kleinen Anzahl von Filmen in der Datenbank mag das ja recht hübsch aussehen wenn die Artikel da sind und auch bei der Suche nach einem Film nicht weiter stören.
Ab einer gewissen Menge an Filmen wird die Suche mit Artikeln aber zur Qual. Wenn man auf der Suche nach zb die Wutprobe statt gleich bei W zu suchen sich erst durch die ganzen Filme welche mit “Die ….” anfangen durchwühlen muss. Das ist für mich unlogisch.
Mein Fazit nach 2 Tagen mit FilmInfo+ :
Die erhoffte Zeitersparnis durch die automatische Sortierung ist bei mir nicht eingetreten. Eher das Gegenteil ist der Fall wenn ich mir die teils abenteuerlichen Benennungen nach dem scrapen ansehe welche ich dann auch noch in der xml umständlich korrigieren sollte. Da hatte ich mit imdb+ofdb scraper im Vergleich weniger Arbeit obwohl ich dort auch per Hand einige Filme nachträglich sortiert hatte. *
Ich hoffe das ganze kam jetzt nicht allzu negativ rüber das soll es nämlich gar nicht sein.
Servus
Grim
Hallo Merlyn,
erst mal ein großes Lob und vielen Dank für die Mühen die du dir mit diesem scraper gemacht hast.
Nach dem durch meine Schusseligkeit bei der Neuinstallation von MP meine MovPic Datenbank *gelöscht habe dachte ich mir probierst du doch mal den FilmInfo+ scraper aus. Das erste Ergebnis war eine Katastrophe. Nach dem ich wie empfohlen die Erkennung auf 2 gleichzeitig runter geschraubt habe ist das Ergebnis recht gut geworden.Was mich aber in einigen Fällen wundert ist die Gruppierung der Filme. Wo nimmt Filminfo+ diese Informationen her? Diese sind doch teilweise recht abenteuerlich. Hier ein paar Beispiele:
einige Filme von Kevin Smith (Clerks tt0109445, Mall Rats tt0113749, usw.) werden mit *
“Ansicht Askewniverse:” gruppiert. Richtig wäre “ViewAskew:” weil das die Produktionsfirma ist und ViewAskewiverse eigentlich nur der Name der Webseite. Andere Kevin Smith Filme (z.b. Jersey Girl tt0300051 oder Zack & Miri … *tt1007028) werden nicht zu dieser Gruppe hinzugefügt obwohl sie definitiv dazugehören. Auf der anderen Seite finde ich die Gruppierung von Filmen die eigentlich alleine für sich stehen und nur die gleiche Produktionsfirma oder Regisseur haben für übertrieben.
warum die Gruppierung der “Berater:” bei Iron Man 1 tt0371746 , Iron Man 2 tt1228705 , Thor tt0800369 ?
Die Einheit Kentucky ist geeignet Fried Movie: The Kentucky Fried Movie tt0076257
Die Einheit Kentucky ist geeignet Fried Movie: Amazonen auf dem Mond oder Warum die Amerikaner den Kanal voll haben tt0092546
Traumwesen: Das Böse tt0079714
Traumwesen: Phantasm IV tt0138703
Grab-Räuber: Tomb Raider tt0146316
Grab-Räuber: Tomb Raider: Die Wiege des Lebens tt0325703
Zur Mittagsstunde: Biss zum Morgengrauen tt1099212
Zur Mittagsstunde: Biss zur Mittagsstunde tt1259571
Zur Mittagsstunde: Biss zum Abendrot tt1325004
Teilweise wird auch einzelnen Filmen eine unsinnige Sortierung vor den eigentlichen Filmtitel geschrieben zb:
Türken Obst: Türkische Früchte tt0070842
Die Liste ist noch einiges länger aber das sollte jetzt deutlich machen was ich meine. Ich weiß ein Scraper interpretiert nur das was er im Web vorgesetzt bekommt. Die Frage ist deshalb eigentlich ob man das nicht schon vor dem scrapen irgendwo im Web ändern kann wie zb bei TMBd? Von irgendwo müssen die Daten ja herkommen. Der Ansatz das alles über die Special Movies.xml zu korrigieren welche dann zu dir übertragen wird finde ich ziemlich umständlich und zeitraubend für beide Seiten.
Die Namen Gruppierungen sollten meiner Meinung nach auch recht kurz gehalten werden also kein “Chroniken von...” oder “die xxx Saga” sonst sieht man am TV nur die Gruppierung und der eigentliche Titel des Films wird erst angezeigt wenn MP anfängt zu scrollen. Auch könnte man auf Bezeichnungen wie Trilogie verzichten. Erstens wegen der schon angesprochenen Übersichtlichkeit und zweitens hat uns Hollywood schon öfters Fortsetzungen beschert und aus 3 Teilen werden 4 oder mehr also nix mehr mit Trilogie.
Zu guter Letzt noch einmal der schon von anderen angesprochene Wunsch einer Sortierung ohne Artikel (der, die, das, the, …).
Bei einer kleinen Anzahl von Filmen in der Datenbank mag das ja recht hübsch aussehen wenn die Artikel da sind und auch bei der Suche nach einem Film nicht weiter stören.
Ab einer gewissen Menge an Filmen wird die Suche mit Artikeln aber zur Qual. Wenn man auf der Suche nach zb die Wutprobe statt gleich bei W zu suchen sich erst durch die ganzen Filme welche mit “Die ….” anfangen durchwühlen muss. Das ist für mich unlogisch.
Mein Fazit nach 2 Tagen mit FilmInfo+ :
Die erhoffte Zeitersparnis durch die automatische Sortierung ist bei mir nicht eingetreten. Eher das Gegenteil ist der Fall wenn ich mir die teils abenteuerlichen Benennungen nach dem scrapen ansehe welche ich dann auch noch in der xml umständlich korrigieren sollte. Da hatte ich mit imdb+ofdb scraper im Vergleich weniger Arbeit obwohl ich dort auch per Hand einige Filme nachträglich sortiert hatte. *
Ich hoffe das ganze kam jetzt nicht allzu negativ rüber das soll es nämlich gar nicht sein.
Servus
Grim
- July 8, 2011
- 250
- 322
- Home Country
-
Germany
- Thread starter
- #165
AW: FilmInfo+ - A german movie details scraper with auto grouping
Hallo Grim,
erstmal vielen Dank für dein ausführliches Feedback! Ich wünschte mehr User würden sich diese Arbeit machen!
Zu deiner ersten Frage: die Gruppierung der Filme basiert zum einen auf der bei akas.imdb.com unter movieconnections hinterlegten Sortierung, die Benennung allerdings erfolgt nach dem bei themoviedb.org eingetragenen Gruppentitel. Diese Datenbank ist meines Wissens nach die Einzige, die einer Gruppe von Filmen einen gemeinsamen Titel verpasst.
Da themoviedb.org jedoch eine englische Seite ist liegen hier nur englische Titel vor, die wirklich zum Teil abenteuerlichen Benennungen stammen dann aus dem Bing Translator, den ich dazu verwende, die Titel ins Deutsche zu übersetzen. Bei sehr vielen Filmen funktioniert das wunderbar, bei einigen weniger bekannten leider nicht; hierfür habe ich einen Übersetzungspuffer eingerichtet, der dann die korrekte Übersetzung bzw Nichtübersetzung enthält.
In einigen Fällen kommt es auch vor, dass es laut imdb mehrere zusammengehörende Filme gibt, auf themoviedb.org jedoch keinen Gruppentitel. In dem Fall wird die Gruppe dann nach dem ersten Film benannt. In Extremfällen kann es dann, wenn es für den ersten Film zB keinen Eintrag in der Ofdb gibt (wo sich der Scraper die deutschen Filminfos herholt), der englische Originaltitel übersetzt wird, und so absolutes Kuddelmuddel entsteht.
Diese Fälle oder solche, wo die Sortierung/Gruppierung auf der Imdb oder themoviesdb.org falsch sind, versuche ich mit Hilfe der Special Movies db abzufangen.
Zugegebener Maßen häufen sich in letzter Zeit aber die Fälle, in denen die Filmdaten in einer Datenbanken inkorrekt sind oder sich geändert haben und deshalb die Scraperergebnisse nicht mehr korrekt sind. Deshalb bin ich bereits am überlegen, ob ich mir nicht die Arbeit und Mühe mache und die automatische Gruppierung aufgebe und ganz ähnlich wie beim IMDb+ Scraper auf eine zentrale Datenbank zurückgreifen sollte.
Iron Man, Tomb Raider und Thor hab ich gefixed, nach einem Refresh sollten sie wie erwartet angezeigt werden. Die anderen Filme muss ich noch prüfen.
Hallo Grim,
erstmal vielen Dank für dein ausführliches Feedback! Ich wünschte mehr User würden sich diese Arbeit machen!
Zu deiner ersten Frage: die Gruppierung der Filme basiert zum einen auf der bei akas.imdb.com unter movieconnections hinterlegten Sortierung, die Benennung allerdings erfolgt nach dem bei themoviedb.org eingetragenen Gruppentitel. Diese Datenbank ist meines Wissens nach die Einzige, die einer Gruppe von Filmen einen gemeinsamen Titel verpasst.
Da themoviedb.org jedoch eine englische Seite ist liegen hier nur englische Titel vor, die wirklich zum Teil abenteuerlichen Benennungen stammen dann aus dem Bing Translator, den ich dazu verwende, die Titel ins Deutsche zu übersetzen. Bei sehr vielen Filmen funktioniert das wunderbar, bei einigen weniger bekannten leider nicht; hierfür habe ich einen Übersetzungspuffer eingerichtet, der dann die korrekte Übersetzung bzw Nichtübersetzung enthält.
In einigen Fällen kommt es auch vor, dass es laut imdb mehrere zusammengehörende Filme gibt, auf themoviedb.org jedoch keinen Gruppentitel. In dem Fall wird die Gruppe dann nach dem ersten Film benannt. In Extremfällen kann es dann, wenn es für den ersten Film zB keinen Eintrag in der Ofdb gibt (wo sich der Scraper die deutschen Filminfos herholt), der englische Originaltitel übersetzt wird, und so absolutes Kuddelmuddel entsteht.
Diese Fälle oder solche, wo die Sortierung/Gruppierung auf der Imdb oder themoviesdb.org falsch sind, versuche ich mit Hilfe der Special Movies db abzufangen.
Zugegebener Maßen häufen sich in letzter Zeit aber die Fälle, in denen die Filmdaten in einer Datenbanken inkorrekt sind oder sich geändert haben und deshalb die Scraperergebnisse nicht mehr korrekt sind. Deshalb bin ich bereits am überlegen, ob ich mir nicht die Arbeit und Mühe mache und die automatische Gruppierung aufgebe und ganz ähnlich wie beim IMDb+ Scraper auf eine zentrale Datenbank zurückgreifen sollte.
Iron Man, Tomb Raider und Thor hab ich gefixed, nach einem Refresh sollten sie wie erwartet angezeigt werden. Die anderen Filme muss ich noch prüfen.
AW: FilmInfo+ - A german movie details scraper with auto grouping
Wie läuft das denn bei IMDB+? Der Gruppiert doch auch, oder nicht?
Wie läuft das denn bei IMDB+? Der Gruppiert doch auch, oder nicht?
- July 8, 2011
- 250
- 322
- Home Country
-
Germany
- Thread starter
- #167
AW: FilmInfo+ - A german movie details scraper with auto grouping
IMDb+ hat keine Onlinedatenbank, sondern jeder User bekommt seine eigene XML Datei, in der etwa 350 Filme, die jeweils aus mehreren Teilen bestehen, mit Titel und Sortierung eingetragen sind. Alle Filme, die hier noch nicht erfasst sind, werden nicht extra sortiert.
IMDb+ hat keine Onlinedatenbank, sondern jeder User bekommt seine eigene XML Datei, in der etwa 350 Filme, die jeweils aus mehreren Teilen bestehen, mit Titel und Sortierung eingetragen sind. Alle Filme, die hier noch nicht erfasst sind, werden nicht extra sortiert.
- March 10, 2006
- 4,434
- 1,897
- Moderator
- #168
The IMDb+ scraper now has full foreign support, so it does titles, summary, tagline, and genres in any of the 8 foreign languages supported. However the German support is dealt with via imdb.de which is not exactly optimal. I plan on adding OFDB support later, but I need to get the semi-automatic rename system to work in German first.
The FilmInfo+ scraper uses an automated method to rename film series and corrects mistakes afterwards. When I first created IMDb+ I looked into an auto way, but kept finding too many things that just did not work right, so instead of correcting mistakes afterwards, I decided to correct everything upfront and do it semi-automatic.
There are currently 1321 entries in the default rename database and more will be added later. The default database is distributed automatic via the IMDb+ plugin, which also automatically updates the IMDb+ scraper-script. A user can then also add their own entries into a custom rename database for when they do not agree with the default one, or want to rename titles that will not go into the default one. The only titles that go in there are film series and title conflicts (movies with the same title).
Once I got that system working where a German user has his own default german rename database, then Merlyn has already offered to go through those 1321 movies and translate them into German, and hopefully I can find 7 other volunteers for the other languages
He or somebody else could already start working on it, because eventhough a German default rename system doesn't work yet, the translated German version can already be used as the custom rename one. The default one will then still first rename it into English, but then this will be overruled by the custom one afterwards.
So if Merlyn or anybody else can look at the English default rename database of IMDb+ and start translating it into German for the titles and/or sortby title, then I'll work on integrating OFDB support to replace/enhance the imdb.de results currently provided by IMDb+.
I could also use help in translating the IMDb+ plugin itself into German then. So please copy the following file as 'de.xml' and translate the contents: IMDb+ plugin language file.
The FilmInfo+ scraper uses an automated method to rename film series and corrects mistakes afterwards. When I first created IMDb+ I looked into an auto way, but kept finding too many things that just did not work right, so instead of correcting mistakes afterwards, I decided to correct everything upfront and do it semi-automatic.
There are currently 1321 entries in the default rename database and more will be added later. The default database is distributed automatic via the IMDb+ plugin, which also automatically updates the IMDb+ scraper-script. A user can then also add their own entries into a custom rename database for when they do not agree with the default one, or want to rename titles that will not go into the default one. The only titles that go in there are film series and title conflicts (movies with the same title).
Once I got that system working where a German user has his own default german rename database, then Merlyn has already offered to go through those 1321 movies and translate them into German, and hopefully I can find 7 other volunteers for the other languages
He or somebody else could already start working on it, because eventhough a German default rename system doesn't work yet, the translated German version can already be used as the custom rename one. The default one will then still first rename it into English, but then this will be overruled by the custom one afterwards.
So if Merlyn or anybody else can look at the English default rename database of IMDb+ and start translating it into German for the titles and/or sortby title, then I'll work on integrating OFDB support to replace/enhance the imdb.de results currently provided by IMDb+.
I could also use help in translating the IMDb+ plugin itself into German then. So please copy the following file as 'de.xml' and translate the contents: IMDb+ plugin language file.
AW: FilmInfo+ - A german movie details scraper with auto grouping
RoChess: Do you understand german or do you translate all this via google? Since your answers are always in english...ok, well this is the english forum so maybe you are just consequent.
To follow the discussion: Will Filminfo+ die soon, if IMDB+ then has a german integration and works like FI+? That sounds hard but it would focus forces. I will translate your plugin later today.
Merlyn: Did you start translating that default rename database already?
For translating: Does foreign title mean geramn or english in this case? Is it foreign to the scripts language (english) or to the user?
RoChess: Do you understand german or do you translate all this via google? Since your answers are always in english...ok, well this is the english forum so maybe you are just consequent.
To follow the discussion: Will Filminfo+ die soon, if IMDB+ then has a german integration and works like FI+? That sounds hard but it would focus forces. I will translate your plugin later today.
Merlyn: Did you start translating that default rename database already?
For translating: Does foreign title mean geramn or english in this case? Is it foreign to the scripts language (english) or to the user?