При использовании фильтров в VirtualDub прямопотоковое копирование не пройдёт (требуется повторная компрессия (перекодирование)), т. е. выбираете кодек, выставляете битрейт и сохраняете.
Не совсем понял про "огромный обьем памяти". Имеете ввиду, что файл получается большого объёма (размера)? Если да, то значит Вы сохраняете не сжатое видео, используйте кодек для сжатия (в Вашем случае DivX), расчитайте нужный битрейт и получите файл нужного размера.
P. S. Всё вышесказанное касается DivX, с Н264 работать не приходилось, поэтому не подскажу.