Поскольку пока доступно кодирование только в один проход, а на качество полученного видео из доступных настроек влияет только 
Encoding preset и 
Fullpixel motion estimation algorithm, рекомендую выбрать пресет 
Very Slow и алгоритм предсказания движения 
Uneven Multi-Hexagon. Предупреждаю - процесс 
ОЧЕНЬ ресурсоёмкий 
! и поэтому владельцам не топового железа я не рекомендую его пробовать воспроизвести. Например, на моём Core i7-4770 на матери Intel DH87MC с восемью гигами оперативки DDR-3 в двухканальном режиме кодирование 1080р производится со скоростью 0,4-0,5 fps. Соответственно, меньшие ресурсы, скорее всего приведут к остановке и крашу системы. Впрочем, желающие могут попробовать... 
К рекомендациям могу добавить расчёт необходимого битрейта (повторюсь). Для вычисления нужного битрейта нам необходимо перемножить ширину и высоту выходного чистого кадра (с учётом кроппинга, если есть) и полученное число разделить на 512, после чего к нему можем добавить 10-15% на движение в кадре. 
Этого будет достаточно!
Так, например, кодируем видео 1920х1080:
1920х1080=2073600
2073600/512=4050
4050+450=4500
Кодируем Full HD рип 1080р с битрейтом 4500 Kbps, установив 
Rate Mode в 
Average Bitrateи 
вот что получаем на выходе
.Подробнее про Н.265 на 
ВИКИ.
Со временем должны стать доступными все возможные режимы и настройки кодера.