Окно должно отобразиться в любом случае, т. к. имеются системные (устанавливаемые с системой) кодеки.
Попробуйте открыть файлы следующим способом:
1. Запускаете программу;
2. Файл >> Открыть;
3. В разделе Тип файлов, выбирайте пункт
FFMpeg Supported Files (это и есть упомянутый мной секрет);
4. Указываете файл, который хотите открыть и жмите кнопку Открыть
Ежели что, у меня работает вот эта версия
VirtualDub 1.10.3.