FilmInfo+ - A german movie details scraper with auto grouping (2 Viewers)

[Merlyn]

AW: FilmInfo+ - A german movie details scraper with auto grouping

@MrCrabs
I havent started on the IMDb+ language file yet, so if you wanna do that, be my guest. Keep in mind though that for german umlauts you'll have to enter them in a websafe way or use cdata tags.

I'll do the rename database however.
I've got a small console program to read the tt-id's from rochess' database and automatically fetch the german titles from ofdb. The program is a bit outdated and needs some minor modifications as I made it for an earlier version of rochess script months ago, but once done it will get all the titles in a matter of minutes so no need to do it all manually.

I'll see if can get this done during the weekend.

To follow the discussion: Will Filminfo+ die soon, if IMDB+ then has a german integration and works like FI+? That sounds hard but it would focus forces.

Ich weis noch nicht, ob ich FilmInfo+ weiter betreiben werde.
Wenn IMDB+ mit Deutsch als Sprache gut zurecht kommt, ist es FilmInfo+ bei weitem überlegen, und ein Fortführen dieses Projekts unnötig. Wir werden sehen.

 

[RoChess]

Re: AW: FilmInfo+ - A german movie details scraper with auto grouping

@rochess: Do you understand german or do you translate all this via google? Since your answers are always in english...ok, well this is the english forum so maybe you are just consequent.

I'm originally Dutch myself, and have visited Germany on many occasions in the Hanover and Bielefeld regions as a kid, even got some classes at school for it, but I've never felt comfortable with German language to be fluent. Think it was because as a kid I was super excited to watch big Hollywood movies on German TV (well before Dutch TV would air them) to realize there was no English audio for me to use and everything was dubbed. Still I can get the gist of it and then indeed use Google Translate to do the rest. English however I was drawn too at a very early age and started disabling Dutch subtitles around age of 12 via TeleText feature (we're talking 80ties here) for any English spoken content.

As for IMDb+ now doing German, it was never meant to ruin the awesome work that Merlyn has done with his FilmInfo+ scraper, but it didn't feel right adding support for all the other IMDb+ languages and then leave German out on purpose due to FilmInfo+. I think they actually can co-exist very well together because I'll never add the automatic system that Merlyn created and there are obvious negative effects to doing it manually. The IMDb+ plugin that distributes everything automatic does help a lot and allows more flexibility as well.

 

[darkside40]

Hoffentlich geht es mit Filminfo+ weiter.
Der Scraper ist einfach genial, eigene Anpassungen zu machen finde ich über die XML Datei auch sehr einfach und durch das Community Update haben alle was davon.

Ausserdem möchte ich meine Sammlung nr ungern durch den nächsten Scraper jagen um wahrscheinlich schon wieder irgendwelche Fehler von Hand ausbügeln zu müssen.

 

[MrCrabs]

AW: FilmInfo+ - A german movie details scraper with auto grouping

Ich hab mich nun mit IMDb+ beschäftigt und denke, dass FilmInfo+ für deutsche Sprachoptimierung die bessere Wahl sein wird, denn IMDb+ bleibt ein englischer Scraper lediglich mit deutscher Unterstützung. FI+ sollte einfach genau so umfangreich wie IMDb+ werden.

 

[darkside40]

Hoffentlich sieht das Merlyn auch so.

 

[Taky]

AW: FilmInfo+ - A german movie details scraper with auto grouping

Gibt es irgendwelche Probleme beim Suchen der Daten derzeit? gestern mein erster kurzer Test mit MovPic und Filminfo+, bis auf 2 falsche Hintergrundbilder für eigentlich bekannte Hollywood-Mainstream-Filme wurde alles korrekt gefunden. Heute ein neuer Test, alle Dateien in den Ordner wurden erkannt, aber nichts gefunden oder gar nicht erst gesucht.

Unten steht "Retrieving possible matches" und gut ist. Nichts weiter passiert. Auch wenn ich manuell nach einem Film suche geht nichts.

Ich hatte vorher die gestern erstelle db3 gelöscht, vermutlich hat MovPic beim Neustart eine neue erstellt.

Weiterhin hatte ich festgestellt, dass er direkt unter C. wo die xml liegt Ordner für jeden Film anlegt, ist das normal? Ich dachte MovPic speichert bilder in eigenen Unterordner.

 

[Merlyn]

AW: Re: FilmInfo+ - A german movie details scraper with auto grouping

Ich hab mich nun mit IMDb+ beschäftigt und denke, dass FilmInfo+ für deutsche Sprachoptimierung die bessere Wahl sein wird, denn IMDb+ bleibt ein englischer Scraper lediglich mit deutscher Unterstützung. FI+ sollte einfach genau so umfangreich wie IMDb+ werden.

Hoffentlich sieht das Merlyn auch so.

Im Grunde seh ich das so. Allerdings finde ich auch, dass IMDb+ mitlerweile so dermaßen viele Funktionen und Optionen besitzt, das es schon zuviel ist.

Was ich mir für FI+ vorstelle ist eine deutsche Coversuche, was bisher daran gescheitert ist, dass ich keine zugänglichen Quellen finden konnte, ein in MP integrierter GUI-Editor für die Special Movies und ein automatischer Update des Scrapers aus MP heraus.
Letzteres ist bislang an meinen mangelhaften C# Kenntnissen gescheitert und daran, dass ich momentan (und auch bis ins neue Jahr hinein) keine Zeit habe, mich weiter mit C# zu befassen.

Gibt es irgendwelche Probleme beim Suchen der Daten derzeit? gestern mein erster kurzer Test mit MovPic und Filminfo+, bis auf 2 falsche Hintergrundbilder für eigentlich bekannte Hollywood-Mainstream-Filme wurde alles korrekt gefunden. Heute ein neuer Test, alle Dateien in den Ordner wurden erkannt, aber nichts gefunden oder gar nicht erst gesucht.

Unten steht "Retrieving possible matches" und gut ist. Nichts weiter passiert. Auch wenn ich manuell nach einem Film suche geht nichts.

Stelle unter "importer Settings" die "Auto Approval Rate" auf High.

Ich hatte vorher die gestern erstelle db3 gelöscht, vermutlich hat MovPic beim Neustart eine neue erstellt.

Weiterhin hatte ich festgestellt, dass er direkt unter C. wo die xml liegt Ordner für jeden Film anlegt, ist das normal? Ich dachte MovPic speichert bilder in eigenen Unterordner.

Wenn keine movingpictures.db3 Datei vorhanden ist, wird beim Programmstart automatisch eine neue, leere Datenbank erstellt. Weder Moving Pictures noch MediaPortal sollten direkt unter C:\ irgendetwas erstellen oder abspeichern.

MovPic hat jedoch eine Funktion um Filmdateien umzubenennen und im 1Ordner-1Datei System neu abzulegen (um einen späteren reimport zu erleichtern). Wenn du in MovPic dein Laufwerk C:\ als Ziel hierfür angegeben hast, und dann die Funktion ausführst...

 

[darkside40]

Hi Merlyn,
nur mal so aus interesse wieviele Titel sind jetzt eigentlich schon in deine "Zwischendatenbank" vorhanden?

 

[Henric-a]

Hallo,

hab seit einigen Tagen das Problem, dass bei neu hinzugefügten Filmen in MovPic nicht mehr die Summary gezogen wird. Wenn ich dann im Tab "Moviemanager" oben rechts auf "Refresh from Filminfo+" klicke wird die Summary nachgezogen, muss das aber jedesmal manuell machen. Nutze die aktuellste Version von FI+


Hier ist der Auszug aus der MovPic.log

19-Dec-2011 16:26:52 Info [ DatabaseManager]: Successfully Opened Database: C:\ProgramData\Team MediaPortal\MediaPortal\Database\movingpictures.db3
19-Dec-2011 16:26:52 Info [ SettingsManager]: SettingsManager Created
19-Dec-2011 16:26:52 Info [ Translation]: Using language de
19-Dec-2011 16:26:52 Info [ Translation]: Translation not found for field: BadCategory. Using hard-coded English default.
19-Dec-2011 16:26:52 Info [ Translation]: Translation not found for field: BadMovie. Using hard-coded English default.
19-Dec-2011 16:26:52 Info [ Translation]: Translation not found for field: BadParam. Using hard-coded English default.
19-Dec-2011 16:26:52 Info [ Translation]: Translation not found for field: CoverFlowView. Using hard-coded English default.
19-Dec-2011 16:26:52 Info [ Translation]: Translation not found for field: ScanForNewMovies. Using hard-coded English default.
19-Dec-2011 16:26:52 Info [ Translation]: Translation not found for field: Votes. Using hard-coded English default.
19-Dec-2011 16:26:56 Info [ MovingPicturesCore]: Moving Pictures (1.2.3:1329)
19-Dec-2011 16:26:56 Info [ MovingPicturesCore]: Plugin Launched
19-Dec-2011 16:26:56 Info [DatabaseMaintenanceM]: Checking for bad data source entries...
19-Dec-2011 16:26:56 Info [ DataProviderManager]: DataProviderManager Starting
19-Dec-2011 16:26:56 Info [ DataProviderManager]: Loading existing data sources...
19-Dec-2011 16:26:56 Info [ DataProviderManager]: Checking internal scripts for updates...
19-Dec-2011 16:26:56 Info [DatabaseMaintenanceM]: Updating Movie Information...
19-Dec-2011 16:26:57 Info [DatabaseMaintenanceM]: Removed 0 movie entries.
19-Dec-2011 16:26:57 Info [DatabaseMaintenanceM]: Updated 0 movie entries with default user setting.
19-Dec-2011 16:26:57 Info [ DeviceManager]: Starting Disk Watcher...
19-Dec-2011 16:26:57 Info [ DeviceManager]: Successfully started Disk Watcher.
19-Dec-2011 16:26:57 Info [ DeviceManager]: Added Z: to Disk Watcher
19-Dec-2011 16:26:57 Info [ MovingPicturesCore]: Starting Background Processes...
19-Dec-2011 16:26:57 Info [MediaInfoUpdateProce]: Begining background media info update process.
19-Dec-2011 16:26:57 Info [MediaInfoUpdateProce]: Background media info update process complete.
19-Dec-2011 16:26:57 Info [UpdateArtworkProcess]: Beginging artwork updater background process.
19-Dec-2011 16:26:58 Info [ MovieImporter]: Started MovieImporter
19-Dec-2011 16:26:58 Info [ MovieImporter]: Initiating full scan on watch folders.
19-Dec-2011 16:26:58 Info [UpdateArtworkProcess]: Background artwork updater process complete.
19-Dec-2011 16:26:58 Info [ MovieImporter]: Started watching '\\192.168.178.3\Volume_1\SD MovieZ' (Network) - Path is now being monitored for changes.
19-Dec-2011 16:26:58 Info [ MovieImporter]: Started watching '\\192.168.178.4\Drive_1\HD MovieZ Teil 1' (Network) - Path is now being monitored for changes.
19-Dec-2011 16:26:58 Info [ MovieImporter]: Started watching '\\192.168.178.4\Drive_2\HD MovieZ Teil 2' (Network) - Path is now being monitored for changes.
19-Dec-2011 16:27:05 Info [ DBImportPath]: Skipping scan for 'Z:\': the drive is empty.
19-Dec-2011 16:27:06 Info [ FileSyncProcess]: File maintenance started in the background.
19-Dec-2011 16:27:06 Info [DatabaseMaintenanceM]: Checking for invalid file entries in the database.
19-Dec-2011 16:27:07 Info [ NfoBuilder]: Parsing NFO file: \\192.168.178.3\Volume_1\SD MovieZ\Atemlos\Atemlos.nfo
19-Dec-2011 16:27:09 Info [ MovieImporter]: Auto-approved Atemlos.avi as "Abduction" (2011)
19-Dec-2011 16:27:09 Info [ MovieImporter]: Retrieving details for "Abduction"
19-Dec-2011 16:27:09 Info [ ScraperNode]: #############################################
19-Dec-2011 16:27:09 Info [ ScraperNode]: SE:
19-Dec-2011 16:27:09 Info [ ScraperNode]: SE:
19-Dec-2011 16:27:10 Error [ ScraperNode]: Scraper Script XPATH parsing failed: Das Stammelement ist nicht vorhanden.
19-Dec-2011 16:27:13 Info [ ScraperNode]: # FilmInfo+ ### BEGIN SPECIAL MOVIES CHECK
19-Dec-2011 16:27:13 Info [ ScraperNode]: # FilmInfo+ ### tt1600195 is not a special movie...
19-Dec-2011 16:27:13 Info [ ScraperNode]: # FilmInfo+ ### END SPECIAL MOVIES CHECK
19-Dec-2011 16:27:13 Info [ ScraperNode]: ################################ Sortby begin
19-Dec-2011 16:27:13 Info [ ScraperNode]: ################################ FilmInfo+ Debug INFO
19-Dec-2011 16:27:13 Info [ ScraperNode]: # FilmInfo+ ### filename >>>> Atemlos
19-Dec-2011 16:27:13 Info [ ScraperNode]: # FilmInfo+ ### special edition >>>>
19-Dec-2011 16:27:13 Info [ ScraperNode]: # FilmInfo+ ### imdb id >>>> tt1600195
19-Dec-2011 16:27:13 Info [ ScraperNode]: # FilmInfo+ ### ofdb id >>>> 213574
19-Dec-2011 16:27:13 Info [ ScraperNode]: # FilmInfo+ ### tmdb id >>>>
19-Dec-2011 16:27:13 Info [ ScraperNode]: # FilmInfo+ ### follows >>>>
19-Dec-2011 16:27:13 Info [ ScraperNode]: # FilmInfo+ ### follows >>>>
19-Dec-2011 16:27:13 Info [ ScraperNode]: # FilmInfo+ ### sortid >>>> 0
19-Dec-2011 16:27:13 Info [ ScraperNode]: # FilmInfo+ ### sort id >>>>
19-Dec-2011 16:27:13 Info [ ScraperNode]: # FilmInfo+ ### collection_title >>>>
19-Dec-2011 16:27:13 Info [ ScraperNode]: # FilmInfo+ ### collection_title_de >>>>
19-Dec-2011 16:27:13 Info [ ScraperNode]: # FilmInfo+ ### rx_boxtitle >>>>
19-Dec-2011 16:27:13 Info [ ScraperNode]: # FilmInfo+ ### boxtitle >>>>
19-Dec-2011 16:27:13 Info [ ScraperNode]: # FilmInfo+ ### movie.orgtitle >>>> Abduction
19-Dec-2011 16:27:13 Info [ ScraperNode]: # FilmInfo+ ### movie.title >>>> Atemlos - Gefährliche Wahrheit
19-Dec-2011 16:27:13 Info [ ScraperNode]: # FilmInfo+ ### de title >>>>
19-Dec-2011 16:27:13 Info [ ScraperNode]: # FilmInfo+ ### de subtitle >>>>
19-Dec-2011 16:27:13 Info [ ScraperNode]: # FilmInfo+ ### movie.sortby >>>> Atemlos - Gefährliche Wahrheit
19-Dec-2011 16:27:13 Info [ ScraperNode]: ################################ FilmInfo+ Debug INFO
19-Dec-2011 16:27:15 Info [DatabaseMaintenanceM]: 0 file entries were marked for removal by the importer.
19-Dec-2011 16:27:15 Info [ FileSyncProcess]: File maintenance finished. (8,7 seconds)
19-Dec-2011 16:27:20 Info [ FileBasedResource]: Added resized cover art for "Atemlos - Gefährliche Wahrheit" from: http://cf2.imgobject.com/t/p/original/b3sVrSSgpLNd7XXQFRS72w6xA4G.jpg
19-Dec-2011 16:27:20 Info [ FileBasedResource]: Added resized cover art for "Atemlos - Gefährliche Wahrheit" from: http://cf2.imgobject.com/t/p/original/i2H6PPcfr63m2HHUlidjjpOkBkQ.jpg
19-Dec-2011 16:27:21 Info [ FileBasedResource]: Added cover art for "Atemlos - Gefährliche Wahrheit" from: http://cf2.imgobject.com/t/p/original/eyLYpnyvfjjbiWqBg4Cj7ce3Yeo.jpg
19-Dec-2011 16:27:22 Info [ FileBasedResource]: Added backdrop for "Atemlos - Gefährliche Wahrheit" from: http://cf2.imgobject.com/t/p/original/cvIEixw2tlnVD0ZbEzR6JpMlOXj.jpg
19-Dec-2011 16:27:22 Info [ MovieImporter]: Retrieving media information for: Atemlos - Gefährliche Wahrheit
19-Dec-2011 16:27:25 Info [ MovieImporter]: Added "Atemlos - Gefährliche Wahrheit" (2011).
19-Dec-2011 16:27:43 Info [ MovieManagerPane]: Refreshing movie #1: Atemlos - Gefährliche Wahrheit
19-Dec-2011 16:27:43 Info [ ScraperNode]: #############################################
19-Dec-2011 16:27:43 Info [ ScraperNode]: SE:
19-Dec-2011 16:27:43 Info [ ScraperNode]: SE:
19-Dec-2011 16:27:44 Error [ ScraperNode]: Scraper Script XPATH parsing failed: Das Stammelement ist nicht vorhanden.
19-Dec-2011 16:27:47 Info [ ScraperNode]: # FilmInfo+ ### BEGIN SPECIAL MOVIES CHECK
19-Dec-2011 16:27:47 Info [ ScraperNode]: # FilmInfo+ ### tt1600195 is not a special movie...
19-Dec-2011 16:27:47 Info [ ScraperNode]: # FilmInfo+ ### END SPECIAL MOVIES CHECK
19-Dec-2011 16:27:47 Info [ ScraperNode]: ################################ Sortby begin
19-Dec-2011 16:27:48 Info [ ScraperNode]: ################################ FilmInfo+ Debug INFO
19-Dec-2011 16:27:48 Info [ ScraperNode]: # FilmInfo+ ### filename >>>>
19-Dec-2011 16:27:48 Info [ ScraperNode]: # FilmInfo+ ### special edition >>>>
19-Dec-2011 16:27:48 Info [ ScraperNode]: # FilmInfo+ ### imdb id >>>> tt1600195
19-Dec-2011 16:27:48 Info [ ScraperNode]: # FilmInfo+ ### ofdb id >>>> 213574
19-Dec-2011 16:27:48 Info [ ScraperNode]: # FilmInfo+ ### tmdb id >>>>
19-Dec-2011 16:27:48 Info [ ScraperNode]: # FilmInfo+ ### follows >>>>
19-Dec-2011 16:27:48 Info [ ScraperNode]: # FilmInfo+ ### follows >>>>
19-Dec-2011 16:27:48 Info [ ScraperNode]: # FilmInfo+ ### sortid >>>> 0
19-Dec-2011 16:27:48 Info [ ScraperNode]: # FilmInfo+ ### sort id >>>>
19-Dec-2011 16:27:48 Info [ ScraperNode]: # FilmInfo+ ### collection_title >>>>
19-Dec-2011 16:27:48 Info [ ScraperNode]: # FilmInfo+ ### collection_title_de >>>>
19-Dec-2011 16:27:48 Info [ ScraperNode]: # FilmInfo+ ### rx_boxtitle >>>>
19-Dec-2011 16:27:48 Info [ ScraperNode]: # FilmInfo+ ### boxtitle >>>>
19-Dec-2011 16:27:48 Info [ ScraperNode]: # FilmInfo+ ### movie.orgtitle >>>> Abduction
19-Dec-2011 16:27:48 Info [ ScraperNode]: # FilmInfo+ ### movie.title >>>> Atemlos - Gefährliche Wahrheit
19-Dec-2011 16:27:48 Info [ ScraperNode]: # FilmInfo+ ### de title >>>>
19-Dec-2011 16:27:48 Info [ ScraperNode]: # FilmInfo+ ### de subtitle >>>>
19-Dec-2011 16:27:48 Info [ ScraperNode]: # FilmInfo+ ### movie.sortby >>>> Atemlos - Gefährliche Wahrheit
19-Dec-2011 16:27:48 Info [ ScraperNode]: ################################ FilmInfo+ Debug INFO
19-Dec-2011 16:31:31 Info [ MovieImporter]: Shutting Down Media Scanner Threads...
19-Dec-2011 16:31:31 Info [ MovieImporter]: Shutting Down Path Scanner Thread...
19-Dec-2011 16:31:31 Info [ MovieImporter]: Stopped MovieImporter
19-Dec-2011 16:31:31 Info [ DeviceManager]: Removing all drives from Disk Watcher
19-Dec-2011 16:31:31 Info [ DeviceManager]: Stopping Disk Watcher...
19-Dec-2011 16:31:31 Info [ DeviceManager]: Successfully stopped Disk Watcher.
19-Dec-2011 16:31:31 Info [ MovingPicturesCore]: Stopping Background Processes...
19-Dec-2011 16:31:31 Info [ DatabaseManager]: Closing database connection...
19-Dec-2011 16:31:31 Info [ DatabaseManager]: Successfully closed Database: C:\ProgramData\Team MediaPortal\MediaPortal\Database\movingpictures.db3
19-Dec-2011 16:31:31 Info [ MovingPicturesCore]: Plugin Closed

Irgendjemand Ideen?

Danke und Grüße
Henric

 

[Merlyn]

AW: FilmInfo+ - A german movie details scraper with auto grouping

Hi Henric,

sorry, adhoc keine Ahnung, worin das Problem bestehen könnte. Ein kurzer Test hat den Film problemlos hinzugefügt und auch die Summary korrekt geladen.

Falls das Problem weiterhin besteht, mache bitte folgendes:

• starte die Moving Pictures Config
• im Tab Importer Settings gehe auf "Movie Details Data Source" und aktiviere den Debug Modus indem du auf das Einstellungsrad klickst und "Enable Debug Mode" anwählst
• starte einen Windows Explorer (oder einen anderen Dateimanager deiner Wahl) und öffne den Pfad C:\ProgramData\Team MediaPortal\MediaPortal\log\
• aktualisiere die Dateiansicht (mit F5) und beobachte die Datei movingpictures.log so lange, bis sich die Größe der Datei nicht mehr ändert
• lösche die Datei C:\ProgramData\Team MediaPortal\MediaPortal\log\movingpictures.log
• gehe zurück in die MovPic Config und in den ersten Tab Movie Manager
• wähle deinen Film an und schicke ihn zurück zum Importer (über das Einstellungsrad und Send to Importer)
• lasse den Filmimport durchlaufen
• schließe die Moving Pictures Config
• lade die movingpictures.log Datei hier hoch

So kann ich den kompletten Importvorgang schrittweise nachvollziehen und prüfen, wo ggfls der Fehler liegt.

Nachdem du die Datei hochgeladen hast, deaktiviere den Debug Modus in den MovPic Einstellungen wieder.

Hi Merlyn,
nur mal so aus interesse wieviele Titel sind jetzt eigentlich schon in deine "Zwischendatenbank" vorhanden?

Unter Special Movies Database kannst du dir die Special Movies DB anschauen.