FilmInfo+ - A german movie details scraper with auto grouping (7 Viewers)

[babyschuh]

Hallo Merlyn,

danke für deine ausführliche Antwort.

Bei Punkt 1 wollet ich folgendes sagen: Soweit ich das verstanden habe schaust Du erst in der "deutschen IMDB". Solltest Du dort keinen Eintrag finden fällst Du zurück auf die "englische IMDB" und liest die verfügbaren englischen Daten ein. Das führt zu 99,xx% zu einem Treffer. Und das ist auch gut so. Leider aber, nach meiner Erfahrung, ziemlich oft zu englischen Daten. Aber: Warum auf halben weg anhalten und nur die IMDB abfragen? Da es bei dem Scraper ja darum geht deutsche Daten zu erhalten wäre es doch nur konsequent zwischen die "deutsche IMDB" und die englische noch weitere deutsche Zwischenstufen einzuziehen und so eine Art deutschen Super-Scraper zu bauen. Also nach dem Motto:
1. deutsche IMDB abfragen
2. deutsche TMDB abfragen
3. weitere andere DBs mit deutschen Daten abfragen (falls vorhanden)
4. Daten aus der englischen IMDB nehmen.

Sobald man einen Treffer hat, wird das natürlich abgebrochen und die Daten verwendet.
Und das gerne auch noch für Filmdaten und FSK oder auch andere (sinnvolle) Datenfelder getrennt, weil ja nicht überall alle Datenfelder gefüllt sind.
Zum Schluss sollte man dann einen möglichst vollständigen Satz an Daten haben.

In dem Zusammenhang: Gibt es eigentlich irgendeine automatische Möglichkeit die Daten, die man selbst komplettiert hat in die Datenbanken zurück zu spielen? Dann sollte sich die Datenlage doch rel. schnell verbessern.

Deine Argumentation unter Punkt 3, dass über die GUI nicht vernünftig gelöscht wird unterstützt meine Idee ja nur.

 

[Merlyn]

Ich greife garnicht (mehr) auf die deutsche Version der IMDb zu. Der Grund dafür ist, dass Amazon (etwas übertrieben) stündlich den Code der lokalisierten Seiten verändert, und nicht zuverlässig Ergebnisse abgefragt werden können. Ich verwende ausschließlich das Backup der IMDB unter akas.imdb.com, das relativ konstant ist, was den Webseitencode angeht.
Einzige Ausnahme ist, ein mehr oder weniger verzweifelter Versuch, an eine deutsche Filmbeschreibung zu kommen, wenn OFDB und Filmstarts nichts geliefert haben. Ich glaube allerdings, dass der Scraperpart dafür mitlerweile auch schon wieder veraltet ist, weil das in letzter Zeit nicht mehr funktioniert hat.

Ich verwende TMDB noch aus einem anderen Grund so gut es geht nicht, und zwar dem, dass man für den API Zugriff einen personalisieren Schlüssel verwenden muss. In den AGB der TMDB steht, dass der Schlüssel nicht öffentlich zugänglich sein darf. Da die Scraper aber als Nur-Text Dateien veröffentlicht werden, kann dort jeder diesen Schlüssel auslesen. Um mit der TMDB AGB konform zu gehen, muss ich also über einen Zwischenweg gehen; in meinem Fall ein PHP Script, dass ich auf meinem eigenen Webspace zwischengeschaltet habe.

Um die TMDB sinnvoll einzubinden, müsste ich nun sämtliche Abfragen, die ich machen wollte, einmal im Scraper programmieren und dann nochmal im PHP Zwischen-Script. Dafür ist mir ehrlichgesagt der Zeitaufwand zu groß (um nicht zu sagen, ich bin zu faul), und ich befürchte außerdem, dass durch diesen Zwischenschritt die Filmerkennung und Datensammlung noch länger dauern würde. Und leider ist FI+ schon jetzt nicht gerade der Schnellste Scraper am Start...

 

[DM105165]

Hallo,

bei mir findet er momentan keine Actors mehr. Haben die wieder was geändert bei IMDB?

 

[badboyxx]

Jep, habe ich auch gemerkt. Ist bei mir seit ein paar Tagen so. Scheint so als hätten die was geändert.

 

[Merlyn]

Ja, definitiv... Ich schau, das ich das am Wochenende behoben bekomme.
Lg, merl

Gesendet von meinem XT910

 

[Cyrus1896]

Hallo Merlyn,

erstmal vielen Dank,dass du so viel Arbeit für uns in dieses Projekt steckst. Ich habe vorher das script "IMDB DE mit OFDB Summary" benutzt. Das Script hatte eine kleine Rafinesse eingebaut.

Wenn ich einen Rescan von bereits hinzugefügten Filmen mache, werden lediglich der Score und die Popularity Werte aktualisiert. Ich habe dann von Zeit zu Zeit einfach alle Filme markiert und einen Rescan gemacht. So hatte ich immer die aktuellsten IMDB Bewertungen.

Leider funktioniert das mit deinem Script nicht, Moving Pictures sendet diese Filme immer wieder zurück an den Importer. Das hat zur Folge, dass teilweise selbst editierte Parameter wieder überschrieben werden.:-(

Besteht die Möglichkeit, dass du diese Funktion noch einbaust? Meine Datenbank ist fast perfekt, aber eben mit teilweise Jahre altem Score. Es wäre echt super, wenn es die Möglichkeit bald geben würde, einfach einen Rescan durchzuführen und die aktuellen Daten zu haben.

https://forum.team-mediaportal.com/threads/imdb-de-scraper-with-ofdb-de-summary.85159/

hier ist der Link zum alten Script. Auf irgendeiner Seite wurde auch über diese Funktion diskutiert. ;-)

 

[Helios61]

Hi!
Mir ist dieser komische Inhalt bei sehr vielen Filmen im "Writers"-Feld aufgefallen ->

|< / h 4 > < t a b l e c l a s s = " s i m p l e T a b l e s i m p l e C r e d i t s T a b l e " > < c o l g r o u p > < c o l c l a s s = " c o l u m n 1 " > < c o l c l a s s = " c o l u m n 2 " > < c o l c l a s s = " c o l u m n 3 " > < / c o l g r o u p > < t b o d y > < t r > < t d c l a s s = " n a m e " > < a h r e f = " / n a m e / n m 0 1 2 7 7 8 8 / ? r e f _ = t t f c _ f c _ w r 1 " > G u i l l e r m o C a b r e r a I n f a n t e < / a > < / t d > < t d > . . . < / t d > < t d c l a s s = " c r e d i t " > ( s c r e e n p l a y ) ( a s G u i l l e r m o C a i n ) < / t d > < / t r > < t r > < t d c o l s p a n = " 3 " > < / t d > < / t r > < t r > < t d c l a s s = " n a m e " > < a h r e f = " / n a m e / n m 0 3 6 6 4 2 2 / ? r e f _ = t t f c _ f c _ w r 2 " > M a l c o l m H a r t < / a > < / t d > < t d > . . . < / t d > < t d c l a s s = " c r e d i t " > ( f r o m a s t o r y o u t l i n e b y ) < / t d > < / t r > < t r > < t d c o l s p a n = " 3 " > < / t d > < / t r > < t r > < t d c l a s s = " n a m e " > < a h r e f = " / n a m e / n m 0 3 5 5 3 3 3 / ? r e f _ = t t f c _ f c _ w r 3 " > B a r r y H a l l < / a > < / t d > < t d > . . . < / t d > < t d c l a s s = " c r e d i t " > ( u n c r e d i t e d ) < / t d > < / t r > < / t b o d y >|

Kann man das irgendwie beheben?

Gruß und Danke
Helios

 

[Meier]

Moin.
Gibt's eigentlich schon Pläne dies super Script in MP2 zu "integrieren"?

 

[Merlyn]

Hallo,
bei mir findet er momentan keine Actors mehr. Haben die wieder was geändert bei IMDB?

Jep, habe ich auch gemerkt. Ist bei mir seit ein paar Tagen so. Scheint so als hätten die was geändert.

Fixed -> Version 1.3.8 im 1. Post

Hi!
Mir ist dieser komische Inhalt bei sehr vielen Filmen im "Writers"-Feld aufgefallen ->

Kann man das irgendwie beheben?

Gruß und Danke
Helios

Hast du da mal ein Beispiel für mich? Bei mir macht er das nicht.

Hallo Merlyn,

erstmal vielen Dank,dass du so viel Arbeit für uns in dieses Projekt steckst. Ich habe vorher das script "IMDB DE mit OFDB Summary" benutzt. Das Script hatte eine kleine Rafinesse eingebaut.

Wenn ich einen Rescan von bereits hinzugefügten Filmen mache, werden lediglich der Score und die Popularity Werte aktualisiert. Ich habe dann von Zeit zu Zeit einfach alle Filme markiert und einen Rescan gemacht. So hatte ich immer die aktuellsten IMDB Bewertungen.

Leider funktioniert das mit deinem Script nicht, Moving Pictures sendet diese Filme immer wieder zurück an den Importer. Das hat zur Folge, dass teilweise selbst editierte Parameter wieder überschrieben werden.:-(

Besteht die Möglichkeit, dass du diese Funktion noch einbaust? Meine Datenbank ist fast perfekt, aber eben mit teilweise Jahre altem Score. Es wäre echt super, wenn es die Möglichkeit bald geben würde, einfach einen Rescan durchzuführen und die aktuellen Daten zu haben.

https://forum.team-mediaportal.com/threads/imdb-de-scraper-with-ofdb-de-summary.85159/

hier ist der Link zum alten Script. Auf irgendeiner Seite wurde auch über diese Funktion diskutiert. ;-)

Das ist eine Funktion von MovingPictures, und nicht vom Script selbst. Ein Scraper Script besteht aus drei Teilen, einem für die Filmsuche, einem für die Filminfos und einem optionalen dritten für das Filmposter. Beim Refreshen wird nur der Teil für die Infos neu ausgeführt. Man kann nicht einstellen, welche Infos dabei aktualisiert werden sollen und welche nicht. Aufgrund des Umfangs von FilmInfo+ werden hierbei so gut wie alle Informationen neu geladen. Daran kann ich nichts ändern.

Moin.
Gibt's eigentlich schon Pläne dies super Script in MP2 zu "integrieren"?

Nein. Ich bezweifle auch, dass fforde und die anderen Entwickler das jemals auch nur in Erwägung ziehen werdem, da sie dann dafür zuständig wären, den Scraper Up to Date zu halten. Die guten Jungs haben ohnehin schon genug zu tun

 

[ixdvc]

Hast du da mal ein Beispiel für mich? Bei mir macht er das nicht.

Bei mir tritt das Problem auch seit einiger Zeit auf. Zum Beispiel bei Green Lantern (tt1133985). Habe ich vor ein Paar Tagen eingelesen. Im Writers-Feld steht:

Spoiler

< s p a n > ( < a h r e f = " / p a r t n e r s / w g a ? r e f _ = w g a " > W G A < / a > ) < / s p a n > < / h 4 > < t a b l e c l a s s = " s i m p l e T a b l e s i m p l e C r e d i t s T a b l e " > < c o l g r o u p > < c o l c l a s s = " c o l u m n 1 " > < c o l c l a s s = " c o l u m n 2 " > < c o l c l a s s = " c o l u m n 3 " > < / c o l g r o u p > < t b o d y > < t r > < t d c l a s s = " n a m e " > < a h r e f = " / n a m e / n m 0 0 7 5 5 2 8 / ? r e f _ = t t f c _ f c _ w r 1 " > G r e g B e r l a n t i < / a > < / t d > < t d > . . . < / t d > < t d c l a s s = " c r e d i t " > ( s c r e e n p l a y ) & < / t d > < / t r > < t r > < t d c l a s s = " n a m e " > < a h r e f = " / n a m e / n m 0 3 3 8 1 6 9 / ? r e f _ = t t f c _ f c _ w r 2 " > M i c h a e l G r e e n < / a > < / t d > < t d > . . . < / t d > < t d c l a s s = " c r e d i t " > ( s c r e e n p l a y ) & < / t d > < / t r > < t r > < t d c l a s s = " n a m e " > < a h r e f = " / n a m e / n m 0 9 7 3 2 3 3 / ? r e f _ = t t f c _ f c _ w r 3 " > M a r c G u g g e n h e i m < / a > < / t d > < t d > . . . < / t d > < t d c l a s s = " c r e d i t " > ( s c r e e n p l a y ) a n d < / t d > < / t r > < t r > < t d c l a s s = " n a m e " > < a h r e f = " / n a m e / n m 0 3 2 5 5 3 3 / ? r e f _ = t t f c _ f c _ w r 4 " > M i c h a e l G o l d e n b e r g < / a > < / t d > < t d > . . . < / t d > < t d c l a s s = " c r e d i t " > ( s c r e e n p l a y ) < / t d > < / t r > < t r > < t d c o l s p a n = " 3 " > < / t d > < / t r > < t r > < t d c l a s s = " n a m e " > < a h r e f = " / n a m e / n m 0 0 7 5 5 2 8 / ? r e f _ = t t f c _ f c _ w r 5 " > G r e g B e r l a n t i < / a > < / t d > < t d > . . . < / t d > < t d c l a s s = " c r e d i t " > ( s c r e e n s t o r y ) & < / t d > < / t r > < t r > < t d c l a s s = " n a m e " > < a h r e f = " / n a m e / n m 0 3 3 8 1 6 9 / ? r e f _ = t t f c _ f c _ w r 6 " > M i c h a e l G r e e n < / a > < / t d > < t d > . . . < / t d > < t d c l a s s = " c r e d i t " > ( s c r e e n s t o r y ) & < / t d > < / t r > < t r > < t d c l a s s = " n a m e " > < a h r e f = " / n a m e / n m 0 9 7 3 2 3 3 / ? r e f _ = t t f c _ f c _ w r 7 " > M a r c G u g g e n h e i m < / a > < / t d > < t d > . . . < / t d > < t d c l a s s = " c r e d i t " > ( s c r e e n s t o r y ) < / t d > < / t r > < / t b o d y >