Субъективно качество кодированного видеопотока оценить крайне сложно. Нужно учитывать и чёткость, и детализацию, и качество обработки движения в кадре. Поскольку в HEVC появились новые алгоритмы предсказания движения (Star, Full), про которые толком мало что известно...
ИМХО, нужно начать с изучения всех опций командной строки по очереди по ссылке:
//x265.readthedocs.org/en/default/cli.html
Мне не хватает знания английского языка, а на длительный машинный перевод маловато времени...
Для самого начала неплохо было бы хоть разобраться, какое влияние на процесс кодирования и его конечный результат оказывает выбор пресета.