Ok habe das Problem gelöst ^^ und es war so einfach. Also Hardware ist alles kein Problem, die verwendeten Codecs (LAVF 0.40) auch nicht. Sondern wirklich nur die Einstellungen im LAV Audio Codec.
Ich musste beim Bitstreaming nur bei DTS-HD den Haken rausnehmen und schwups alles läuft. Manchmal steckt der Fehler im Detail