На 1-й вопрос: позвольте мне предположить, что видео, сохраненное как FLV, было в порядке, и в файле FLV не было ничего плохого. Если это так, возможно, файл AVI, который вы сохранили, вообще не был сжат и содержал поток растровых изображений, который должен быть очень тяжелым. См. Параметр "экспорт", "сжатие" или "кодек" (или что-либо подобное) в вашем инструменте для экспорта фильма, и должна быть возможность изменить кодек для экспорта AVI.
По второму вопросу: в основном, если битрейты, используемые в AVI и MKV, одинаковы, размеры выходных файлов должны быть почти одинаковыми. (Строго говоря, файл AVI будет немного больше, чем MKV из-за их структурного различия, но здесь это не проблема.) Так что, вероятно, битрейт потока на AVI выше, чем у MKV. Однако это не означает, что качество мультимедиа MKV ниже, чем у AVI, потому что коды могут отличаться. Для вашего случая, вероятно, AVI использовал DIVX-подобный кодек, в то время как MKV использовал h.264, который обеспечивает намного лучшее сжатие видео. Но, пожалуйста, не поймите это неправильно - AVI и MKV - это просто контейнеры (как и FLV), которые могут иметь (почти) все что угодно, тогда как DIVX и H.264 являются кодеками, которые фактически заполняют данные в контейнерах. Кодеки и настройки битрейта в основном влияют на размер файла.
Интересно, что существует тенденция к тому, чтобы в файлах AVI были видеопотоки, закодированные в DIVX-подобные кодеки, а в MKV - в H.264, поэтому многие считают, что MKV имеют лучшее качество видео или меньший размер файла, но это технически неверно.