Media-Buddy, die "eierlegende Wollmilchsau" unter den Medien-Tools. (11 Viewers)

ge2301

Lead Design MP2
  • Team MediaPortal
  • January 11, 2014
    8,761
    3,604
    Stuttgart
    Home Country
    Germany Germany
    Danke, das sieht schon gut aus. Ich fände es gut, wenn beide Varianten supportet werden, also ...
    • hierachisch von Artists zu albem mit lokalen metadaten und fanarts nebst Medien
    • in einem zentralen Store für Fanart und Metadaten unabhängig von den Medien
    Ich würde das so dann auch in der neuen MediaPortal-Version implementieren beim Importer für lokale Informationen.
    Parallel würde ich den ganzen Importer auch wieder direkt online scrappen lassen. Ich würde schauen, dass das ähnlich wie bei Media Buddy abläuft.

    Ansonsten habe ich keine speiziellen Anforderungen. Schöne wären wie gesagt beim Audio die Albumbeschreibungen etc. in einer album.nfo.
     

    Lehmden

    Retired Team Member
  • Premium Supporter
  • December 17, 2010
    12,626
    4,028
    Lehmden
    Home Country
    Germany Germany
    Hi.

    Als erstes habe ich heute mal noch zwei Bugs beseitigt. Einer betraf nur die Funktionalität unter Linux (Support für Appimage Files war kaputt, ist jetzt gefixt) und die andere war ein echter Bug, der alle Plattformen betrifft. Wenn man das Erzeugen von Thumbs für einen Austausch des Covers oder des Vorschaubildes abbricht, kam es zu einem Programm- Absturz. Das ist jetzt auch gefixt und die entsprechenden Dateien sind auch mit Github synchronisiert.

    Danach ist es mit dem Musik Teil los gegangen. Die eigentliche Recode Engine ist nicht identisch mit der für Videos. Dafür sind die Anforderungen zu unterschiedlich. Aber als Ausgangsbasis war die Video Encode Engine doch sehr nützlich um nicht wieder ganz bei Null anfangen zu müssen. Und, tatsächlich sie funktioniert bereits und kann sogar schon aus dem GUI aufgerufen werden.

    V2_309.jpg


    Während der Bearbeitung kommt auch wieder die bekannte Fortschrittsanzeige:

    V2_310.jpg


    Die Engine beinhaltet auch wieder einen Hires Schutz, damit aus High End Audio Dateien nicht versehentlich "popelige" .mp3 gemacht werden, sofern das nicht ausdrücklich erwünscht ist.

    Der nächste Schritt ist nun der Audio Metadaten Scraper, der aber deutlich aufwändiger als die Recode Engine wird.
     

    Lehmden

    Retired Team Member
  • Premium Supporter
  • December 17, 2010
    12,626
    4,028
    Lehmden
    Home Country
    Germany Germany
    Hi.
    Ich bin grade mitten in der Entwicklung des Musik Scrapers. Der kann jetzt auch Songtexte von lrclib.net zu den Musikdateien laden. In Kodi gibt es ein Addon "CULyrics", das dann die Songtexte ähnlich wie bei einer Karaoke Machine zeitsynchron auf dem Bildschirm anzeigt. So kann man die Texte mitlesen, während man die Musik hört. Das Kodi Addon kann die Texte auch "on the fly" aus dem Internet laden. Aber alles, was man lokal vorrätig hat, ist ein Vorteil, finde ich. Die Texte haben, wenn sie zeitsynchronisiert sind, die Endung ".lrc", sonst einfach ".txt". Ich hab so eine Datei mal angehängt. Die API bei lrclib.net ist frei und kostenlos. Man kann aber auch innerhalb weniger Sekunden sein Programm dort kostenlos registrieren. Dann hat man bessere Limits bei der API Nutzung. Ich mache nachher noch einen Screenshot, wie das dann in Kodi aussieht. Vielleicht ist das ja auch etwas für MediaPortal...

    Hier der versprochene Screenshot:
    Clipboard 1.jpg


    Die gelb gefärbte Zeile wird aktuell grade abgespielt. So kann man bequem mitlesen, wenn man mag.
     

    Attachments

    • Loi - I Follow.zip
      779 bytes
    Last edited:

    Lehmden

    Retired Team Member
  • Premium Supporter
  • December 17, 2010
    12,626
    4,028
    Lehmden
    Home Country
    Germany Germany
    Hi.

    Der Musik Scrapper wird langsam was. Dabei wird er, so wie es aussieht, um ein Vielfaches besser, als ich es je erwartet hätte.

    V2_327.jpg


    Im Prinzip kann man dem Scraper einen Haufen unsortierte .mp3, .flac, .ogg,... zum Fraß vorwerfen. So lange es irgendwie erkennbar ist, um welches Stück bzw. um welches Album es sich handeln könnte (Dateiname, ID3 Tags,...), erkennt der Scraper das (fast immer) richtig, taggt die Datei dann passend, benennt sie nach einem konfigurierbaren Schema um und lädt die dazu gehörenden Lyrics. Man kann, ganz ähnlich wie bei Serien oder Filmen auch eine musicbrainz ID hinterlegen, die dann zum Identifizieren genutzt wird. Auch die Album und Künstler Fanart und Metadaten werden geladen, natürlich alles konfigurierbar. Die Songtexte und die Album Informationen sowie Grafiken werden dann auch (auf Wunsch) in die Musik Datei getaggt, wie es bei den meisten externen Tagging Programmen auch der Fall ist. Sofern konfiguriert, werden auch Album und/oder Künstler Ordner angelegt und die Künstler Infos auch (zusätzlich oder ausschließlich) im zentralen Kodi Artist Artwork Ordner gespeichert.

    V2_328.jpg


    Und das alles vollautomatisch ohne das der User eingreifen muss. Natürlich gibt es dann auch wieder die Nacharbeiten Option, mit der man eventuelle Fehler der Automatik korrigieren kann. Allerdings hat der Scraper bei über 100 verschiedenen getesteten Audio Dateien zuletzt tatsächlich eine 100% Trefferquote erzielt. Anfänglich lag sie eher so bei 60-70%. Die zusätzliche Arbeit hat sich also wirklich gelohnt. Garantieren kann man das aber natürlich nicht.

    Bei der Arbeit am Musik Scraper (die noch nicht abgeschlossen ist) kam dann die Idee auf, eventuell Songtexte als Untertitel in Musikvideos einzubinden, also .lrc Dateien in .srt Dateien zu konvertieren. Das erscheint mir eine gute Idee. Man kann dann beim Abspielen der Musikvideos entscheiden, ob man die Songtexte als Untertitel angezeigt haben möchte oder nicht. Auch das ist noch nicht fertig, wird aber eingebaut.
     

    Attachments

    • de6aa864-7274-4a13-9910-5f149d558a4b.zip
      214 bytes

    Lehmden

    Retired Team Member
  • Premium Supporter
  • December 17, 2010
    12,626
    4,028
    Lehmden
    Home Country
    Germany Germany
    Hi.

    Der Scraper ist komplett fertig und ist echt Klasse geworden. Ich hätte nie erwartet, das der Scraper vollautomatisch so gute Metatags erzeugen kann. Viele Sonder- Geschichten wie Einzelstücke oder Duette bringen ihn genau so wenig aus der Fassung wie "gefährliche" Dateien. Ich hab nämlich in einigen Dateien als Lyric eingebundenes Javascript entdeckt. Zwar kann in einer Musikdatei Javascript nicht direkt ausgeführt werden, aber in einem Songtext hat Javascript trotzdem nichts verloren, imho. Auf jeden Fall wird sowas (auch z.B. HTML Reste) jetzt bereinigt und, sofern so konfiguriert, die "richtigen" Songtexte als Metatag eingefügt. In wie weit z.B. CULyrics etwas mit eingebetteten Songtexten anfangen kann, weiß ich nicht. Zur Not kann man sie, sollten die externen Lyrics mal verloren gegangen sein, auch einfach wieder extrahieren.

    V2_341.jpg


    Die Künstler und Album Fanart und Metadaten werden jetzt wahlweise sowohl bei den Musikdateien direkt als auch im zentralen Artist Artwork Ordner gespeichert. All das läuft ganz ohne manuellen Eingriff mit einer unerwartet hohen Trefferquote ab.

    Damit sind die "Arbeitstiere" der Musikbearbeitung fertig. Als Nächstes kommt jetzt der "Dompteur" dran, der Musik Assistent. Der wird dann selbsttätig entscheiden, ob eine Musik Datei unverändert kopiert oder neu kodiert wird und anschließend den Scraper aufrufen, damit aus eine wilden Haufen von Dateien geordnete und sauber getaggte Alben und Einzelstücke werden. Anschließend die manuelle Nachbearbeitung bzw. Qualitätskontrolle und der Musik Teil ist dann auch fertig. So ganz langsam ist da Licht am Ende des Tunnels zu sehen...
     

    Lehmden

    Retired Team Member
  • Premium Supporter
  • December 17, 2010
    12,626
    4,028
    Lehmden
    Home Country
    Germany Germany
    Hi.

    Gestern Nachmittag und heute Vormittag hab ich noch weiter am Scraper gefeilt. Es tauchten immer wieder Sonderfälle auf, die noch nicht automatisch abgedeckt wurden, speziell wenn man unsortierte und ungetaggte Einzelstücke als Batch bearbeiten lässt. Aber gegen Mittag habe ich keinen einzige Musik- Datei mehr gefunden, die nicht anständig bearbeitet wurde. Das funktioniert mit vor 30 Jahren rein privat aufgenommenen und nie veröffentlichten CD genau so wie mit den Audio Tracks von YT Videos unbekannter Künstler... Auch der Assitent funktioniert einwandfrei.

    V2_369.jpg


    Man hat für verlustbehaftete Formate (wie etwa .mp3, .ogg,...) eine Einstellung zum neu kodieren und für verlustfreie Formate (wie .flac, .ape,...) eine andere EInstellung. Dazu gibt es eine Whitelist, in der Codecs stehen, die gar nicht neu kodiert werden sollen. Der Assistent entscheidet nun an Hand der Whitelist ob ein track neu kodiert werden soll oder nicht. Außerdem berücksichtigt er die Einstellungen, die man hier gemacht hat. So wird ein .ogg zu einem .mp3 wohingegen ein .ape zu .flac wird. Die Qualitätsstufen sind bewusst ähnlich simpel konzipiert wie bei den Videos. Wobei man bei den verlustfreien Formaten nicht wirklich die Qualität beeinflussen kann (die ist ja lossless). Hier wird darüber die Kompressionrate festgelegt. Je höher sie ist, desto kleiner wird die Datei (ohne den eigentlichen Audio Track zu verändern) aber auch desto mehr Zeit und CPU Leistung wird zu encoden/decoden benötigt. Zusätzlich kann man die Tracks (gent nur beim neu kodieren) auch in der Lautstärke anheben, wenn einem ein Album im Verhältnis zu Anderen zu leise ist. Dann sollte man die Alben aber einzeln bearbeiten, denn sonst werden alle Tracks um denselben Wert lauter gemacht. Nachdem alle Musik Dateien fertig bearbeitet sind, wird dann automatisch der Scraper über den Ausgangsordner des Assistenten gescheucht. Die allermeisten Dateien sind dann sofort passend benannt, getaggt und mit Fanart sowie Songtexten versehen, fertig zur Aufnahme in die eigene Sammlung.

    Dann konnte ich endlich mit der Musik- Nachbearbeitung anfangen.

    Mal an einem Beispiel (Audio Track aus einem YT Musikvideo von einem ehemaligen "The Voice Kids" Talent), "I Follow" von "Loi". Der Track lässt sich keinem Album zuordnen. Also kann der Scraper auch kein Album Cover laden. Die artist.nfo und Fanart wurde aber problemlos erzeugt. Auch wurde die Datei nach meinen Einstellungen von .ogg nach .mp3 konvertiert, passend umbenannt und der lokale sowie zentrale Artist Ordner angelegt und mit Inhalt gefüllt. Also alles, was automatisch möglich ist, wurde (richtig) erledigt.

    V2_361.jpg


    Viel gibt es nicht an Daten, aber das liegt in der Natur der Sache. Denn die Künstler- Informationen werden bei den Tracks nicht angezeigt. Bei einem "normalen" Track von einem "normalen" Album bekommt jeder Track das Album Cover als Cover integriert, wie es jedes andere Tagging Tool auch macht. Da es in diesem Fall aber kein Album gibt, gibt es auch keine Grafik. Ich kann hier jetzt z.B. das Jahr oder das Genre ergänzen, und eben auch das Cover. Um die Suche zu vereinfachen gibt es den Knopf "Bildersuche" Der ruft Google Bilder auf, mit dem Artist als Suchbegriff. In Sekunden habe ich da diese Grafik gefunden und geladen:

    images (1).jpg


    Damit sieht es dann im GUI so aus:

    V2_367.jpg


    Somit hat auch dieser Track sein Cover. Wozu das gut ist, sieht man direkt beim Test- Abspielen aus Media-Buddy heraus.

    V2_363.jpg


    Der Text wird synchron angezeigt. Ohne das Track- Cover gäbe es nur ein schwarzes Fenster. Apropos Songtexte. Die passen nicht immer, weil es einfach zu viele verschiedene Versionen eines Songs geben kann. Bei I Follow oben hat alles gepasst, da musste ich nichts nacharbeiten. Aber beim nächsten Beispiel, das der Audio Track des offiziellen Musikvideos ist, kommt der Text viel zu früh, da das Video ein langes Intro hat.

    V2_368.jpg


    Hiermit kann man die Anzeige des Songtextes vor oder zurück verschieben. Damit bekommt man das mit meist nicht mehr als zwei Versuchen gut hin, das der Text auch wirklich passend zu Song angezeigt wird.

    V2_362.jpg


    Damit kommt man schon ziemlich weit, ohne die Text- Dateien selbst editieren zu müssen. Außerdem wird der geänderte Songtext (bzw. der Songtexte mit den geänderten Zeitstempeln) dann wieder frisch in die Metatags geschrieben. Eine ähnliche Funktion wird auch noch in die Musikvideos eingebaut, wobei dann die Texte als Untertitel gespeichert werden können.

    Jetzt folgen noch die Nachbearbeitung auf Album- und auf Künstler Ebene, wobei die Künstler Nachbearbeitung auch für die Musikvideos verwendet wird. Schließlich nutzen Musikvideos und Musik denselben zentralen Artist Artwork Ordner und die selbe .nfo Struktur. Mit etwas Glück wird der Musikteil diese Woche noch fertig und es gibt einen neuen Quellcode-Upload auf Github.
     

    Users who are viewing this thread

    Top Bottom