Heute konnte ich mir dann doch selbst helfen. In dem JMF.jar konnte ich einen Mux für Quicktime und für AVI finden. Diese sind jedoch nicht in FMJ enthalten. Die Lösung war statt das fmj.jar das fmj_nonjmf.jar und das jmf.jar zu benutzen.