Это зависит от того что Вы хотите в конечном этоге получить.
Проход по качеству это значит у Вас весь фильм будет кодироватся с одним постоянным битрейдом на все кадрах. Качество от хорошего до отличного. но тогда заранее не узнаешь какой будет размер у конце.
Проход по размеру, это значит что Вас интересует в первую очередь размер, а битрей и качество как получится. При этой опции выставляется нужной размер, и при кодировании качество подбирается под него.
От себя посоветовал бы не использовать их, а использовать проход по битрейду. И при кодировании не использовать трех проходную схему на BD достаточно два прохода. Разница между ними не большая, а по времени весьма ощутима.