Подробнее...
VirtualDubMod ом не пользуйтесь, кроме как для работы с несколькими аудио дорожками. Работайте с VirtualDub ом.
А с MKV - если только с него получить "нормальный" avi файл.
Для полноценной работы с MKV нужно использовать "свои родные" программы. Есть специальная тема, буквально рядом.