Hi,
Du musst für x264 bei Video MPEG4-AVC auswählen.
P.S.
Wenn Dir die Qualität zu schlecht ist kannst Du erstmal einfach mit dem Quantizer Wert runter gehen.
Empfohlen für hohe Qualität sind Werte zwischen 18 und 20. Unter 18 sollte man nicht gehen, da das wohl nichts mehr bringt.
Wenn Du Dich genauer damit befassen möchtest, ist das Avidemux-Wiki eine gute Anlaufstelle.
http://www.avidemux.org/admWiki/doku.php?id=tutorial:h.264
EDIT:
Wenn Du lieber xvid nehmen willst. Kannst Du für hohe Qualität
- single pass - Quantizer
- Quantitzer = 2
- Quantiziation type = MPEG
nehmen und den Rest der Einstellungen belassen. Das liefert schon recht gute Ergebnisse.