MKV Buddy - Kleiner Helfer fürs tägliche Video basteln... (35 Viewers)

[Kolbenschieber]

Habe die Dateien mit MKV-Buddy Funktion "Videos Transkodieren" mal bearbeitet, da lief der Buddy einwandfrei durch

Ich kann das so bestätigen. Auch bei mir gibt es Aufnahmen, die vom Assistenten unbearbeitet liegengelassen werden, aber mit "Videos transkodieren" durchaus bearbeitet werden. Die oben geposteten Logeinträge mit "0 Bearbeitungszeit" gibts bei mir dann auch, und meine Aufnahmen sind auch mit dem TS-Doctor vorab geschnitten.
Ich bin im Moment dazu übergegangen, das Transkodieren dem Handbrake "Vollprogramm" zu überlassen (das funktioniert auch bei Dateien, die der Buddy nicht bearbeiten mag. Es kann also nicht an Handbrake allein liegen, aber vielleicht an der im Buddy verwendeten etwass älteren Handbrake-Version?). Die aktuelle Handbrake-Version (1.0.7 ?) hat im Vergleich zu früheren Versionen deutliche Fortschritte bei der Abarbeitung mehrere gleichartiger Dateien gemacht und sie kann h.265 mit Intel-qsv. Diese Funktion hat @Lehmden ja leider nach (zu) kurzer Testphase wieder ausgebaut.
Der Buddy wird bei mir im Moment nur noch für die "Metadatenarbeit" genutzt

 

[heiserfeger77]

Der Buddy wird bei mir im Moment nur noch für die "Metadatenarbeit" genutzt

Kann ich so bestätigen. Da ich momentan mein komplettes HTPC-Equipment auf neue Hardwae umstelle, die dann auch x265 Unterstützung bis 4k hat, werden künftige Filme bei mir in x265 codiert. Wenn der Buddy das nicht kann gibts wieder Handbetrieb oder andere Jobabwickler. Der Buddy ist dann wieder mit MetaDaten dran.

 

[Lehmden]

Hi.
Grundsätzlich ist es absolut unmöglich, das der Assistent nicht arbeitet, das Transkodieren Modul dann doch. Der Code ist nun mal exakt derselbe, nicht mal per "Copy & Paste" "verdoppelt, sondern wirklich genau der gleiche Code. Das gilt sowohl für das Aufrufen von Handbrake als auch für das Einlesen der Dateien.

Zuerst wird der Inhalt des Eingangsordner eingelesen. Dann wird Datei für Datei mit Hilfe der MediaInfo.dll die entsprechenden Daten wie Bitrate, Tonspuren und Länge ausgewertet. Daraus werden die Parameter für Handbrake ermittelt und die Datei an Handbrake übergeben. Danach ist die nächste Datei dran, usw. Erst wenn alle Videos aufgearbeitet sind, wird, sofern man den Assistenten verwendet hat, etwas anders gemacht, nämlich das Metadaten Modul für Serien bzw Spielfilme bzw Videos aufgerufen, welches nur einmal pro Durchgang gestartet wird und immer den ganzen Ordner abarbeitet.. Beim Transkodieren Modul ist hier Schluss. Also kann das beschriebene Verhalten nur durch äußere Einflüsse verursacht werden. Alles andere ist technisch zu 100% unmöglich. Das ich den Fehler nicht reproduzieren kann, ist ja wohl nicht extra erwähnenswert. Mich würde solch eine "Wunder- Datei" wirklich mal interessieren. Kann mir mal jemand solch eine Datei, die mit "Transkodieren" funktioniert aber mit dem Assistenten nicht, zukommen lassen, danke.

Das ist so als ob man sagen würde, wenn ich mit dem Daumen eine Telefonnummer wähle, baut mein Telefon eine Verbindung auf. Wähle ich mit dem Zeigefinger, dann bekomme ich keine Verbindung zustande...

werden künftige Filme bei mir in x265 codiert.

Das halte ich für einen Fehler, denn es können bei weitem nicht alle Geräte mit h265 umgehen. Und dank der horrenden Lizenz- Gebühren kann h265 schneller vom Markt verschwinden als es aufgetaucht ist. Ich kann nur jedem davon abraten alles auf solch eine unsichere Geschichte zu setzen.

So sollen Firmen wie Netflix oder Amazon Prime bis zu 0,5% ihres gesamten Umsatzes als Lizenzgebühren an die HEVC Advance Gruppe abführen. Dazu kommen noch die Lizenzgebühren der Hardware, die gleich an zwei Gesellschaften gezahlt werden müssen. Zusätzlich zu MPEG LA ist da auch die HEVC Advance Gruppe (die aus der Mpeg LA ausgestiegen sind, weil denen die Gebühren dort nicht hoch genug waren). HEVC Advance verlangt für jedes einzelne Gerät zwischen 80 Cent (Handy) und 1,50 Dollar (TV). MPEG LA ist da noch eher moderat mit 20 Cent pro Gerät, und das erst ab 100.000 verkauften Einheiten.

Wie lange sich solch ein Codec halten wird, sollte ja wohl klar sein. Es wird schon überall intensiv nach einem Nachfolger gesucht, der dann vermutlich auf einer Open Source Lösung basieren wird. Die Chancen stehen nicht schlecht, das es sich dabei um den AV1 Codec bzw einem Nachfolger davon handeln wird...
AV1 – Open Source und auch noch qualitativ besser als H.265?

Aber trotz alledem kann Handbrake 0.10 und somit auch MKV-Buddy sehr wohl h265 kodieren...

 

[Lehmden]

Hier noch ein Zitat von Golem zu dem Thema:

Dass das Potenzial für bessere Komprimierungstechnik bereits existiert, beweist die Alliance for Open Media (Aomedia). Dieser Zusammenschluss aus Inhalteanbietern wie Netflix, Amazon und Google, Softwareunternehmen wie Microsoft, Mozilla und Adobe sowie Hardwareherstellern wie Intel, ARM, AMD und Nvidia erstellt mit AV1 einen freien Videocodec, der schon jetzt in Teilen besser ist als HEVC. AV1 gilt wegen seiner freizügigen Lizenz, die auch die freie Verwendung von Patenten umfasst, als Kandidat für einen Videostandard der Internet Engineering Task Force (IETF).

Wenn all diese "Giganten" tatsächlich an einem Strang ziehen, ist das Ende von HEVC (h265) zu 100% besiegelt...

Dazu wollte ich auch noch was schreiben...

leider nach (zu) kurzer Testphase wieder ausgebaut.

Die Handbrake Versionen 1.0.0, 1.0.1 und 1.0.2 waren extrem buggy und somit völlig unbrauchbar. Nach der Veröffentlichung der einzigen MKV-Buddy Version mit einer Handbrake 1.0.x Version, die es gegeben hat (und je geben wird, aber aus ganz anderen Gründen, die ich noch nicht verrate) gab es nur noch Fehlermeldungen. Und auch bei mir lief fast nichts mehr. Diese Versionen hätten nie veröffentlicht werden dürfen. Der "Test" war also eigentlich viel zu lang, nicht zu kurz.
Die aktuelle Version 1.0.7 läuft tatsächlich deutlich besser. Und so wie es aussieht ist sie auch wieder CLI- kompatibel mit der 0.10. Deswegen wäre es mal einen Versuch wert, einfach die HandbrakeCLI Version vom MKV-Buddy testhalber auszutauschen. Wenn es läuft, dann ist gut. Sonst halt wieder zurück zur 0.10...

 

[Kolbenschieber]

Kann mir mal jemand solch eine Datei, die mit "Transkodieren" funktioniert aber mit dem Assistenten nicht, zukommen lassen, danke.

Kann ich Dir gern morgen oder Freitag zur Verfügung stellen. Die Dateien sind um die 5GB groß, ich kann sie Dir zum Download zur Verfügung stellen oder auf einen Server Deiner Wahl uploaden. Entsprechende Adressen / Links dann vielleicht PM.

as ist so als ob man sagen würde, wenn ich mit dem Daumen eine Telefonnummer wähle, baut mein Telefon eine Verbindung auf. Wähle ich mit dem Zeigefinger, dann bekomme ich keine Verbindung zustande...

Einstweilen hänge ich Dir mal die logs an, 1. Versuch mit Assistent, zweiter Versuch mit "Transkodieren".
Am zweiten Versuch arbeitet der Buddy gerade noch, vielleicht siehst Du ja trotzdem an den logs etwas, was mir verborgen geblieben ist.

Aber trotz alledem kann Handbrake 0.10 und somit auch MKV-Buddy sehr wohl h265 kodieren...

Aber eben nicht mit Intel-qsv-Unterstützung und damit sehr zeitaufwändig.

 

[Kolbenschieber]

So, in der Nacht ist der Buddy mit dem kodieren fertig geworden, ich hänge die "fertige" Logdatei hier nochmal an. Man sieht, dass beide "Tatort"-Folgen, die der Assistent unbearbeitet liegenlassen hat (MKV-Buddy_1.log im vorangegangenen posting) mit "Transkodieren" bearbeitet wurden. Die Dateien sind im Zielverzeichnis auch vorhanden und abspielbar. Und nun?

Grundsätzlich ist es absolut unmöglich, das der Assistent nicht arbeitet, das Transkodieren Modul dann doch.

_Ich_ habe es möglich gemacht. Ich weiß nur nicht wie.

Meine Idee dazu war: Im Assistenten kann man ja einen "Renuxen Grenzwert" definieren, ab dem, so habe ich die Funktion verstanden, die Datei überhaupt erst vom Assistenten recodiert wird. Greift diese Funktion auch bei "Videos Transkodieren"? Falls nein, wäre es ja möglich, dass es bei bestimmten Dateien beim erkennen der Bitrate Probleme gibt und dies dazu führt, dass der Assistent die Datei nicht weiter bearbeitet.

 

[Lehmden]

Moin.

Falls nein, wäre es ja möglich, dass es bei bestimmten Dateien beim erkennen der Bitrate Probleme gibt und dies dazu führt, dass der Assistent die Datei nicht weiter bearbeitet.

Nein, das ist nicht möglich. Ist ne einfache If Then Else Geschichte. Wenn die Bitrate nicht erkannt wird, wird die Datei immer transkodiert, sofern "Bitrate 0 immer kodieren" (oder so ähnlich) angehakt ist. Sonst wird so eine Datei immer umgemuxt. Also muss "irgendwas" passieren.
Außerdem ist ja die Transkodieren- Funktion auch vom Assistenten aufgerufen worden. Kann man hier sehen:

30.08.2017 21:53:31 - GetForcedSubtitleTracks - Start Working On G:\mkv-buddy\input\Serien\Tatort\Tatort S2015E16 Dicker als Wasser.ts
30.08.2017 21:53:31 - GetForcedSubtitleTracks - Finished Working On G:\mkv-buddy\input\Serien\Tatort\Tatort S2015E16 Dicker als Wasser.ts
30.08.2017 21:53:31 - GetSubtitleTracks - Start Working On G:\mkv-buddy\input\Serien\Tatort\Tatort S2015E16 Dicker als Wasser.ts
30.08.2017 21:53:31 - GetSubtitleTracks - Finished Working On G:\mkv-buddy\input\Serien\Tatort\Tatort S2015E16 Dicker als Wasser.ts

Die beiden Funktionen zum Erkennen, ob und wenn ja welche Untertitel Spuren vorhanden sind, werden erst von innerhalb der Transkodieren Funktion aufgerufen. Deswegen muss die vorausgehende "Entscheidung" des Assistenten zu einem "gültigen" Ergebnis gekommen sein. Hier sind wir also längst in einem Bereich der bei Nutzung der Assistenten oder des "direkten" Transkodierens gleich verwendet wird...

Zwischen "GetSubtitleTracks - Finished Working On..." was bei beiden Geschichten ja ins Log geschrieben wird und "RecodeFile - $option = ..." was nur aus dem Transkodieren Modul erreicht wurde, werden nur noch die "Track Nummern" der Untertitel Spuren der Ausgangsdatei ermittelt und in den CLI- String für Handbrake geschrieben. Wird der "Optimizer" für Untertitel Spuren nicht verwendet erfolgt noch eine Datenbank Abfrage, um alle Untertitel Spuren, die darin aufgelistet worden sind, abzufragen. Ist die Optimizer Funktion aktiv, ist ein erneuter DB Zugriff nicht nötig, da man dann ja eine fix vorgegebene Anzahl an Spuren hat. Hier ist die einzig mögliche Fehlerquelle, falls die Datenbank- Datei durch eine externe Anwendung (Defender usw) blockiert wurde. Es wird nicht bei jedem Datenbank Zugriff auf die Existenz der Datenbank geprüft. Das wird am Anfang des Programm- Ablaufs gemacht, was eigentlich reichen muss. Und selbst wenn hier ein Fehler auftritt, ist das keine Erklärung für das "Überspringen". Dann müsste MKV-Buddy nämlich eigentlich komplett abstürzen. Allerdings ist das beim Transkodieren genau das selbe wie beim Assistenten...
Um das zu testen könntest du mal die Optimizer Funktion ein- bzw ausschalten und mal sehen, was passiert. Ich glaube aber nicht, das es etwas aus macht...

Ich habe hier im Büro keinen MKV-Buddy zur Verfügung, deswegen kann ich nicht genau nachsehen und/oder Screenshots einstellen. Außerdem hat mein Uralt- Laptop hier nur 32 Bit Windows. Da läuft er sowieso nicht drauf... Aber den Quellcode anschauen, das kann ich hier durchaus...

 

[heiserfeger77]

Das halte ich für einen Fehler, denn es können bei weitem nicht alle Geräte mit h265 umgehen. Und dank der horrenden Lizenz- Gebühren kann h265 schneller vom Markt verschwinden als es aufgetaucht ist. Ich kann nur jedem davon abraten alles auf solch eine unsichere Geschichte zu setzen.

So sollen Firmen wie Netflix oder Amazon Prime bis zu 0,5% ihres gesamten Umsatzes als Lizenzgebühren an die HEVC Advance Gruppe abführen. Dazu kommen noch die Lizenzgebühren der Hardware, die gleich an zwei Gesellschaften gezahlt werden müssen. Zusätzlich zu MPEG LA ist da auch die HEVC Advance Gruppe (die aus der Mpeg LA ausgestiegen sind, weil denen die Gebühren dort nicht hoch genug waren). HEVC Advance verlangt für jedes einzelne Gerät zwischen 80 Cent (Handy) und 1,50 Dollar (TV). MPEG LA ist da noch eher moderat mit 20 Cent pro Gerät, und das erst ab 100.000 verkauften Einheiten.

Wie lange sich solch ein Codec halten wird, sollte ja wohl klar sein. Es wird schon überall intensiv nach einem Nachfolger gesucht, der dann vermutlich auf einer Open Source Lösung basieren wird. Die Chancen stehen nicht schlecht, das es sich dabei um den AV1 Codec bzw einem Nachfolger davon handeln wird...
AV1 – Open Source und auch noch qualitativ besser als H.265?

Aber trotz alledem kann Handbrake 0.10 und somit auch MKV-Buddy sehr wohl h265 kodieren...

Ok Lehmden,

AV1 war mir bis gerade eben noch gar kein Begriff. Außer der VP9 von Google, der wohl ähnliche Ergebnisse wie x265 erreicht. Mir wäre halt vorallem ein Codec wichtig der mindestens die Effizenz von h265 erreicht und mit Hardwarebeschleunigung dann FullHD bzw. vor allem 4K-Filme in halbwegs akzeptabler Zeit konvertiert. Ich habe mich jetzt für die Intel Kaby Lake Plattform entschieden, da hier die Prozessoren x265-Codierung schon mit eingebaut haben. Wie schaut den die Encoder-Geschichte bei AV1 auf der Kaby-Lake-Plattform aus. Außerdem ist dieser Codec wohl entwicklungstechnisch noch nicht Final und vor allem der Encoderteil noch entsprechend langsam.

1. Was hab ich ungefähr zu erwarten wenn ein 1,5 Stunden 4K-Film bei x265 2 Stunden zum konvertieren braucht, braucht AV1 dann doppelt so lange oder wohlmöglich noch viel länger
2. Kann der Buddy schon mit AV1 umgehen, oder ist eine Implempentierung noch zu früh bzw. nicht vorhanden (Handbrake).
3. Wie schauts bei der Wiedergabe in MP (1 oder 2) aus. Frisst LAV AV1 schon oder muss auch dort noch gewartet werden.

Natürlich hat x264 auch schon die ganze Zeit gute Arbeit geleistet, doch gerade der Sprung von SD zu HD und nun zu 4K (in ein paar Jahren vielleicht 8K) läßt die Dateien jedesmal vervierfachen. War schon damals ein rießen Schritt von MPEG2 auf x264. Mit x265 hatte ich mir ähnliches Einsparpotenzial erhofft. Wenn jede künftige Filmdatei einfach ein Drittel bis zur Hälfte weniger Platz braucht, wäre die nächste Platte einfach viel später nötig.

Letztendlich benötige ich eine Lösung die akut neu eintreffende Filme, platzsparend und qualitativ hochwertig auf Platte bannt und meine produktiven Client's diese ohne Geruckel, stromsparend wiedergeben können (Clients seit heute alle mit Kaby Lake Plattform). Andere Wiedergabegeräte nutze ich nicht.

 

[Lehmden]

Hi.

Kann der Buddy schon mit AV1 umgehen

Nein, kann er nicht. Zu 1. und 3. kann ich nichts sagen, das weiß ich nicht.

Mit x265 hatte ich mir ähnliches Einsparpotenzial erhofft.

Na ja, ich habe vor einiger Zeit mal probiert und nur minimal kleinere (falls überhaupt) Dateien erzielt, wenn ich wirklich die gleiche Qualität wie bei "meinen" H264 Videos wollte.
Mal zwei Screenshots von damals...
H264

H265:

Die h265 Datei ist rund 30% kleiner gewesen. Allerdings meiner Meinung nach auch rund 30% schlechter. Wenn man sich z.B. die Haare der Polizistin anschaut, sieht man doch deutlich den Detailverlust. Ich habe zwar nicht ganz exakt die selbe Stelle erwischt, aber wenn man sich die Videos angeschaut hat, ist der Unterschied eher auffälliger als hier auf den Schnappschüssen gewesen. Kodiert worden ist beides mit Handbrake...

Allerdings waren die Tests aus Zeitgründen mit 720P Material (HDTV SAT- Aufnahme mit MP2 aufgenommen, also als .ts vorliegend) gemacht worden, denn mein Haswell unterstützt h265 hardwareseitig noch gar nicht. Trotzdem hat die h265 Konvertierung ewig gedauert, weswegen ich mich nicht an 1080P oder 4K Material gewagt habe.
Es ist also möglich, das man bei 4K Material deutlich stärkere Gewinne ohne Qualitätsverlust erzielen kann. Auf einen auch nur ansatzweise mit Mpeg2 - h264 vergleichbaren Gewinn zu kommen, halte ich aber für völlig ausgeschlossen. Das wird, wenn überhaupt erst mit dem Nachfolger von h265 möglich sein...

Letztendlich benötige ich eine Lösung die akut neu eintreffende Filme, platzsparend und qualitativ hochwertig auf Platte bannt und meine produktiven Client's diese ohne Geruckel, stromsparend wiedergeben können

Probiere doch einfach mal mit einem 4K Clip aus, wie viel Platz du wirklich im Vergleich zu h264 sparen kannst. Wenn du nicht mindestens 30% einsparen kannst, würde ich mir das mit h265 nicht antun. Auch wenn deine Geräte alle h265 fähig sind, so kommt es doch immer wieder vor, das mal Verwandschaft oder Freunde ein Video auf ihrem Smart- TV abspielen wollen. Dann musst du sie wieder zurück nach h264 kodieren... Ist sowieso schon ein echtes Problem beim Ton, da die meisten derartigen Geräte kein DTS wiedergeben können und Filme ja fast immer DTS Ton haben. Nur dauert das reine Ton- Transkodieren nur ein paar wenige Minuten, kaum länger als das Umkopieren...

Ich werde demnächst hardwaremäßig auch auf Kaby Lake umsteigen, aber trotzdem bei h264 bleiben. Dafür habe ich zu viele "Nicht Windows- PC" Systeme (Android Tablet, Raspberry Pi, Smart- TV...), die mit versorgt werden müssen. Erst eine Hardware- Generation weiter kommt dann der Umstieg auch beim Codec, wie auch immer der dann heißen wird...

 

[heiserfeger77]

Ich werde dass mit meinem Kaby Lake mal probieren. Das Decoden auf nicht Kaby Lake ist natürlich ne Zumutung, keine Frage. Nicht-Windows-Systeme gibt es bei mir zwar auch (Android, Raspberry, Smart-TV), jedoch gebe ich dort keine Filme wieder, abgesehen vom Smart-TV, vor dem jedoch immer ein MP-Client sitzt. Der einzige Verwandte dem ich ab und zu ein Film rüberschiebe ist ein über 70jähriger der einen Nicht-Smart-TV mit einem DVD-Player oder USB-Anschluss hat - sprich: da muss ich eh das Ding als DVD brennen. Ob beim Konvertieren die Quelle dann x265 oder x264 ist dann auch Wurst.

Tatsächlich soll es so sein (habs gelesen und nicht getestet), das x265 seine Vorteile vor allem ab FullHD und höher ausspielen kann und dort bei gleichbleibender Qualität die Datei im Schnitt um 30% kleiner ausfallen kann (bei optimaler Quelle sogar bis zu knapp 50%). Das wären also schon Regionen, wo sich das auch wirklich lohnen würde.

Da AV1 wohl momentan noch in einem solch frühen Entwicklungsstadium ist, dass es auf Decoder wie auf Encoder-Seite nichts praktikables gibt, fällt das momentan natürlich flach. Nehme man mal an, das AV1 irgendwann Final wird, würde es wahrscheinlich weitere 2 Jahre dauern, bis auch Hardware dies in erträglichen Zeiten umsetzen wird. Und dass bei 4K nicht Schluss ist (8K lässt grüßen), vervierfacht sich die Dateigröße und damit auch potenziell die Konvertierzeit.

Bezüglich des Austausches mit anderen, mache ich mir keine Gedanken. Erstens bin ich nicht der Filmverteiler der Verwandtschaft. Gerne können Sie jedoch bei mir schauen. Zweitens hat so manch Verwandter teilweise Geräte die sich schon an mkv's stören, selbst, wenn Sie den integrierten Codec lesen könnten, verlangen diese das Uralt-AVI. Da gewisse Sender auch momentan Pilottest's (vor allem auf SAT-Ebene) mit x265 machen, glaube ich an ein schnelles Verschwinden von x265 nicht, selbst wenn AV1 irgendwann Final und besser ist.

Ich werde die Tage mal ein paar Tests mit 4K-Filmen mit x264, x265 und (falls ich was finde) AV1 machen und hier berichten.