Матрицы квантования выбирайте лучше стандартные для совместимости: Н263 на низких битрейтах до 900 кбитс и MPEG для высоких битрейтов с целью улучшения детализации изображения. Хотя моё мнение: матрицу MPEG надо использовать при коэффициенте качества не ниже 0,21 битпиксель и только при двухпроходном кодировании. Помните, что костумные матрицы квантования не поддерживаются большинством железных DVD плейеров. Для убитых или блочных исходников, а также при кодировании в 1 проход лучше остаться ВСЕГДА на матрице квантования H263 даже на высоких битрейтах. Это касается и старых мультфильмов Cartoon.

На качественных релизах XviD cобственно всё упирается в возможности четырёх типов матриц квантования, которые имеют очень ровные и качественные характеристики и при достаточном битрейте 1750...2050 кбитс, который должен обеспечить средние кванты не более 3 на I-и P-frames и 4 на B-frames , способны слегка убрать остатки шума самостоятельно и немного пригладить изображение по окружающему фону, не создавая на этом битрейте блочность изображения и сохраняя при этом прекрасную детализацию объектов движения. Это следующие матрицы квантования:
1)Jawor_ZSM.cqm, требующая -I 2 -P 2 -B 3, имеющая наилучшую характеристику для прогрессивного видео, но она к сожалению не поддерживается многими железными плеерами (точно поддержка есть у плееров производства "Сименс" Германия, ими и поддерживается опция Qpel).
2) Sharktooth's EQM v3HR.cqm требует также битрейта 1750...2050 кбитс, есть поддержка практически всех железных коней, но имеющая ограничение на применение по минимальным квантам 1 и trellis от разработчика, поскольку выдает артефакты на всех билдах XviD, кроме одного пока неофициального XvID 1.3.3 (Xvid build 65) Многие рипперы пренебрегали этим предупреждением и получали артефакты.
3) heini_mr.cqm -эта матрица квантования родная сестра Sharktooth's EQM v3HR.cqm с чуть улучшенными характеристиками и все предупреждения касаются и её. Данная матрица наиболее часто применяется в рипах повышенного качества всех рипперов здешнего трекера. Обычно битрейт для видео задается 1650...2050 кбитс с одной звуковой дорожкой 448 кбитс. При этом суммарный битрейт позволяет обеспечить поддержку большинства железных плееров. Остальные звуковые дорожки просто рядом выкладываются в релизе. На мой взгляд это самая удачная из всех костумнух матриц квантования для битрейтов от 1600 до 2050 кбитс и в совокупности с -max_bframes 1 и ресайзером bicubicresize(W, H, 0, 0.75), дающая потрясающий результат даже без применения дополнительной фильтрации изображения.
4) HVS Best Picture.cqm более редко используется рипперами, но лишена ограничений по вышеуказанным матрицам и дающая тоже прекрасный результат, но на мой взгляд несколько хуже, судя по остаточному шуму и незначительной блочности изображения.
Все четыре типа этих матриц терпеть не могут, когда средние кванты в рипе превышают 3 для I-P-frames и 4 для B-frames.