Превышение говорит о том, что вам необходимо задать более высокие значения порогов максимальных квантов по всем фреймам. Сейчас в указанном пресете стоят
-imax 5 -pmax 5 -bmax 6. Увеличивайте эти значения или не устанавливайте их вовсе. Кроме того это говорит, что вы выбрали неверный пресет кодирования для вашего исходника и вполне резонно отказаться от кошерного значения минимальных квантов 1 и перейти к пресету
XviD 2P 1,46 GB Extreme. Также надо учесть, что применение новой метрики
-metric 1 приводит дополнительно к пожиранию битрейта на 5...7%. Также стоить обратить внимание , что матрица квантования MPEG, установленная по умолчанию не совсем правильный выбор. Как правило, если битрейт превышает 1600 кбит\с следует перейти к костумной матрице квантования
heini_mr
Следует также остановить свой взгляд на выборе ресайзера и отказаться от резкого. Оптимальным для XviD будет Bicubicresize(W, H, 0, 0.5).
Если применяете скрипт фильтрации, то чрезмерное повышение уровня резкости и большой уровень добавления зерна в дебандере также приводит к значительному пожиранию битрейта. Применение шумодава наоборот приводит к сжатию видеоряда и снижению квантизеров по всем фреймам.
Вообще всё, что я сейчас вам говорю, изложено в c:\Program Files (x86)\XviD4PSP 5\docs\"Особенности кодирования кодеком XviD+ VAQ" и надо просто прочитать.