FilmInfo+ - A german movie details scraper with auto grouping | Page 57

Discussion in 'Moving Pictures' started by Merlyn, September 6, 2011.

  1. babyschuh

    babyschuh Portal Member

    Joined:
    October 12, 2011
    Messages:
    28
    Likes Received:
    3
    Ratings:
    +5 / 0
    Home Country:
    Germany Germany
    Hallo Merlyn,

    danke für deine ausführliche Antwort.

    Bei Punkt 1 wollet ich folgendes sagen: Soweit ich das verstanden habe schaust Du erst in der "deutschen IMDB". Solltest Du dort keinen Eintrag finden fällst Du zurück auf die "englische IMDB" und liest die verfügbaren englischen Daten ein. Das führt zu 99,xx% zu einem Treffer. Und das ist auch gut so. Leider aber, nach meiner Erfahrung, ziemlich oft zu englischen Daten. Aber: Warum auf halben weg anhalten und nur die IMDB abfragen? Da es bei dem Scraper ja darum geht deutsche Daten zu erhalten wäre es doch nur konsequent zwischen die "deutsche IMDB" und die englische noch weitere deutsche Zwischenstufen einzuziehen und so eine Art deutschen Super-Scraper zu bauen. Also nach dem Motto:
    1. deutsche IMDB abfragen
    2. deutsche TMDB abfragen
    3. weitere andere DBs mit deutschen Daten abfragen (falls vorhanden)
    4. Daten aus der englischen IMDB nehmen.



    Sobald man einen Treffer hat, wird das natürlich abgebrochen und die Daten verwendet. :)
    Und das gerne auch noch für Filmdaten und FSK oder auch andere (sinnvolle) Datenfelder getrennt, weil ja nicht überall alle Datenfelder gefüllt sind.
    Zum Schluss sollte man dann einen möglichst vollständigen Satz an Daten haben.

    In dem Zusammenhang: Gibt es eigentlich irgendeine automatische Möglichkeit die Daten, die man selbst komplettiert hat in die Datenbanken zurück zu spielen? Dann sollte sich die Datenlage doch rel. schnell verbessern.

    Deine Argumentation unter Punkt 3, dass über die GUI nicht vernünftig gelöscht wird unterstützt meine Idee ja nur.
     
  2. Google AdSense Guest Advertisement



    to hide all adverts.
  3. Merlyn

    Merlyn Portal Pro

    Joined:
    July 8, 2011
    Messages:
    250
    Likes Received:
    161
    Ratings:
    +162 / 0
    Home Country:
    Germany Germany
    Show System Specs
    Ich greife garnicht (mehr) auf die deutsche Version der IMDb zu. Der Grund dafür ist, dass Amazon (etwas übertrieben) stündlich den Code der lokalisierten Seiten verändert, und nicht zuverlässig Ergebnisse abgefragt werden können. Ich verwende ausschließlich das Backup der IMDB unter akas.imdb.com, das relativ konstant ist, was den Webseitencode angeht.
    Einzige Ausnahme ist, ein mehr oder weniger verzweifelter Versuch, an eine deutsche Filmbeschreibung zu kommen, wenn OFDB und Filmstarts nichts geliefert haben. Ich glaube allerdings, dass der Scraperpart dafür mitlerweile auch schon wieder veraltet ist, weil das in letzter Zeit nicht mehr funktioniert hat.

    Ich verwende TMDB noch aus einem anderen Grund so gut es geht nicht, und zwar dem, dass man für den API Zugriff einen personalisieren Schlüssel verwenden muss. In den AGB der TMDB steht, dass der Schlüssel nicht öffentlich zugänglich sein darf. Da die Scraper aber als Nur-Text Dateien veröffentlicht werden, kann dort jeder diesen Schlüssel auslesen. Um mit der TMDB AGB konform zu gehen, muss ich also über einen Zwischenweg gehen; in meinem Fall ein PHP Script, dass ich auf meinem eigenen Webspace zwischengeschaltet habe.

    Um die TMDB sinnvoll einzubinden, müsste ich nun sämtliche Abfragen, die ich machen wollte, einmal im Scraper programmieren und dann nochmal im PHP Zwischen-Script. Dafür ist mir ehrlichgesagt der Zeitaufwand zu groß (um nicht zu sagen, ich bin zu faul), und ich befürchte außerdem, dass durch diesen Zwischenschritt die Filmerkennung und Datensammlung noch länger dauern würde. Und leider ist FI+ schon jetzt nicht gerade der Schnellste Scraper am Start...
     
  4. DM105165

    DM105165 Guest

    Ratings:
    +0 / 0
    Hallo,

    bei mir findet er momentan keine Actors mehr. Haben die wieder was geändert bei IMDB?
     
  5. badboyxx

    badboyxx Portal Pro

    Joined:
    June 15, 2012
    Messages:
    663
    Likes Received:
    46
    Gender:
    Male
    Ratings:
    +72 / 9
    Home Country:
    Germany Germany
    Show System Specs
    Jep, habe ich auch gemerkt. Ist bei mir seit ein paar Tagen so. Scheint so als hätten die was geändert.
     
  6. Merlyn

    Merlyn Portal Pro

    Joined:
    July 8, 2011
    Messages:
    250
    Likes Received:
    161
    Ratings:
    +162 / 0
    Home Country:
    Germany Germany
    Show System Specs
    Ja, definitiv... Ich schau, das ich das am Wochenende behoben bekomme.
    Lg, merl

    Gesendet von meinem XT910
     
  7. Cyrus1896

    Cyrus1896 Portal Pro

    Joined:
    November 9, 2009
    Messages:
    63
    Likes Received:
    3
    Ratings:
    +4 / 0
    Hallo Merlyn,

    erstmal vielen Dank,dass du so viel Arbeit für uns in dieses Projekt steckst. Ich habe vorher das script "IMDB DE mit OFDB Summary" benutzt. Das Script hatte eine kleine Rafinesse eingebaut.

    Wenn ich einen Rescan von bereits hinzugefügten Filmen mache, werden lediglich der Score und die Popularity Werte aktualisiert. Ich habe dann von Zeit zu Zeit einfach alle Filme markiert und einen Rescan gemacht. So hatte ich immer die aktuellsten IMDB Bewertungen.

    Leider funktioniert das mit deinem Script nicht, Moving Pictures sendet diese Filme immer wieder zurück an den Importer. Das hat zur Folge, dass teilweise selbst editierte Parameter wieder überschrieben werden.:-(

    Besteht die Möglichkeit, dass du diese Funktion noch einbaust? Meine Datenbank ist fast perfekt, aber eben mit teilweise Jahre altem Score. Es wäre echt super, wenn es die Möglichkeit bald geben würde, einfach einen Rescan durchzuführen und die aktuellen Daten zu haben.

    https://forum.team-mediaportal.com/threads/imdb-de-scraper-with-ofdb-de-summary.85159/

    hier ist der Link zum alten Script. Auf irgendeiner Seite wurde auch über diese Funktion diskutiert. ;-)
     
  8. Helios61
    • Team MediaPortal

    Helios61 Retired Team Member

    Joined:
    January 30, 2008
    Messages:
    4,587
    Likes Received:
    584
    Gender:
    Male
    Location:
    NRW
    Ratings:
    +897 / 4
    Home Country:
    Germany Germany
    Show System Specs
    Hi!
    Mir ist dieser komische Inhalt bei sehr vielen Filmen im "Writers"-Feld aufgefallen ->
    Code (Text):
    1. |< / h 4 > < t a b l e c l a s s = " s i m p l e T a b l e s i m p l e C r e d i t s T a b l e " > < c o l g r o u p > < c o l c l a s s = " c o l u m n 1 " > < c o l c l a s s = " c o l u m n 2 " > < c o l c l a s s = " c o l u m n 3 " > < / c o l g r o u p > < t b o d y > < t r > < t d c l a s s = " n a m e " > < a h r e f = " / n a m e / n m 0 1 2 7 7 8 8 / ? r e f _ = t t f c _ f c _ w r 1 " > G u i l l e r m o C a b r e r a I n f a n t e < / a > < / t d > < t d > . . . < / t d > < t d c l a s s = " c r e d i t " > ( s c r e e n p l a y ) ( a s G u i l l e r m o C a i n ) < / t d > < / t r > < t r > < t d c o l s p a n = " 3 " > < / t d > < / t r > < t r > < t d c l a s s = " n a m e " > < a h r e f = " / n a m e / n m 0 3 6 6 4 2 2 / ? r e f _ = t t f c _ f c _ w r 2 " > M a l c o l m H a r t < / a > < / t d > < t d > . . . < / t d > < t d c l a s s = " c r e d i t " > ( f r o m a s t o r y o u t l i n e b y ) < / t d > < / t r > < t r > < t d c o l s p a n = " 3 " > < / t d > < / t r > < t r > < t d c l a s s = " n a m e " > < a h r e f = " / n a m e / n m 0 3 5 5 3 3 3 / ? r e f _ = t t f c _ f c _ w r 3 " > B a r r y H a l l < / a > < / t d > < t d > . . . < / t d > < t d c l a s s = " c r e d i t " > ( u n c r e d i t e d ) < / t d > < / t r > < / t b o d y >|
    Kann man das irgendwie beheben?

    Gruß und Danke
    Helios
     
  9. Meier

    Meier Portal Pro

    Joined:
    November 1, 2006
    Messages:
    242
    Likes Received:
    22
    Ratings:
    +30 / 0
    Home Country:
    Germany Germany
    Show System Specs
    Moin.
    Gibt's eigentlich schon Pläne dies super Script in MP2 zu "integrieren"?
     
  10. Merlyn

    Merlyn Portal Pro

    Joined:
    July 8, 2011
    Messages:
    250
    Likes Received:
    161
    Ratings:
    +162 / 0
    Home Country:
    Germany Germany
    Show System Specs
    Fixed -> Version 1.3.8 im 1. Post

    Hast du da mal ein Beispiel für mich? Bei mir macht er das nicht.
    Das ist eine Funktion von MovingPictures, und nicht vom Script selbst. Ein Scraper Script besteht aus drei Teilen, einem für die Filmsuche, einem für die Filminfos und einem optionalen dritten für das Filmposter. Beim Refreshen wird nur der Teil für die Infos neu ausgeführt. Man kann nicht einstellen, welche Infos dabei aktualisiert werden sollen und welche nicht. Aufgrund des Umfangs von FilmInfo+ werden hierbei so gut wie alle Informationen neu geladen. Daran kann ich nichts ändern.

    Nein. Ich bezweifle auch, dass fforde und die anderen Entwickler das jemals auch nur in Erwägung ziehen werdem, da sie dann dafür zuständig wären, den Scraper Up to Date zu halten. Die guten Jungs haben ohnehin schon genug zu tun ;)
     
    • Thank You! Thank You! x 1
  11. ixdvc

    ixdvc Portal Pro

    Joined:
    May 26, 2009
    Messages:
    227
    Likes Received:
    31
    Gender:
    Male
    Ratings:
    +37 / 0
    Home Country:
    Germany Germany
    Show System Specs
    Bei mir tritt das Problem auch seit einiger Zeit auf. Zum Beispiel bei Green Lantern (tt1133985). Habe ich vor ein Paar Tagen eingelesen. Im Writers-Feld steht:
    Show Spoiler
    < s p a n > ( < a h r e f = " / p a r t n e r s / w g a ? r e f _ = w g a " > W G A < / a > ) < / s p a n > < / h 4 > < t a b l e c l a s s = " s i m p l e T a b l e s i m p l e C r e d i t s T a b l e " > < c o l g r o u p > < c o l c l a s s = " c o l u m n 1 " > < c o l c l a s s = " c o l u m n 2 " > < c o l c l a s s = " c o l u m n 3 " > < / c o l g r o u p > < t b o d y > < t r > < t d c l a s s = " n a m e " > < a h r e f = " / n a m e / n m 0 0 7 5 5 2 8 / ? r e f _ = t t f c _ f c _ w r 1 " > G r e g B e r l a n t i < / a > < / t d > < t d > . . . < / t d > < t d c l a s s = " c r e d i t " > ( s c r e e n p l a y ) & < / t d > < / t r > < t r > < t d c l a s s = " n a m e " > < a h r e f = " / n a m e / n m 0 3 3 8 1 6 9 / ? r e f _ = t t f c _ f c _ w r 2 " > M i c h a e l G r e e n < / a > < / t d > < t d > . . . < / t d > < t d c l a s s = " c r e d i t " > ( s c r e e n p l a y ) & < / t d > < / t r > < t r > < t d c l a s s = " n a m e " > < a h r e f = " / n a m e / n m 0 9 7 3 2 3 3 / ? r e f _ = t t f c _ f c _ w r 3 " > M a r c G u g g e n h e i m < / a > < / t d > < t d > . . . < / t d > < t d c l a s s = " c r e d i t " > ( s c r e e n p l a y ) a n d < / t d > < / t r > < t r > < t d c l a s s = " n a m e " > < a h r e f = " / n a m e / n m 0 3 2 5 5 3 3 / ? r e f _ = t t f c _ f c _ w r 4 " > M i c h a e l G o l d e n b e r g < / a > < / t d > < t d > . . . < / t d > < t d c l a s s = " c r e d i t " > ( s c r e e n p l a y ) < / t d > < / t r > < t r > < t d c o l s p a n = " 3 " > < / t d > < / t r > < t r > < t d c l a s s = " n a m e " > < a h r e f = " / n a m e / n m 0 0 7 5 5 2 8 / ? r e f _ = t t f c _ f c _ w r 5 " > G r e g B e r l a n t i < / a > < / t d > < t d > . . . < / t d > < t d c l a s s = " c r e d i t " > ( s c r e e n s t o r y ) & < / t d > < / t r > < t r > < t d c l a s s = " n a m e " > < a h r e f = " / n a m e / n m 0 3 3 8 1 6 9 / ? r e f _ = t t f c _ f c _ w r 6 " > M i c h a e l G r e e n < / a > < / t d > < t d > . . . < / t d > < t d c l a s s = " c r e d i t " > ( s c r e e n s t o r y ) & < / t d > < / t r > < t r > < t d c l a s s = " n a m e " > < a h r e f = " / n a m e / n m 0 9 7 3 2 3 3 / ? r e f _ = t t f c _ f c _ w r 7 " > M a r c G u g g e n h e i m < / a > < / t d > < t d > . . . < / t d > < t d c l a s s = " c r e d i t " > ( s c r e e n s t o r y ) < / t d > < / t r > < / t b o d y >
     
Loading...

Users Viewing Thread (Users: 0, Guests: 0)

  1. This site uses cookies to help personalise content, tailor your experience and to keep you logged in if you register.
    By continuing to use this site, you are consenting to our use of cookies.
    Dismiss Notice
  • About The Project

    The vision of the MediaPortal project is to create a free open source media centre application, which supports all advanced media centre functions, and is accessible to all Windows users.

    In reaching this goal we are working every day to make sure our software is one of the best.

             

  • Support MediaPortal!

    The team works very hard to make sure the community is running the best HTPC-software. We give away MediaPortal for free but hosting and software is not for us.

    Care to support our work with a few bucks? We'd really appreciate it!