M-JPEG не является одним стандартным форматом. Это группа форматов, которые используют серию JPEG для хранения кадров вашего видео. Каждая реализация этого является собственностью и вообще несовместима. Поэтому в основном вам нужен кодек от производителя камеры (который, вероятно, будет доступен только для Windows), а затем вы можете использовать что-то вроде virtualdub, чтобы перекодировать его в стандартный формат.
ffmpeg не будет использовать кодеки Windows, поэтому не является идеальным инструментом для использования в этом случае.
Я бы настоятельно рекомендовал не преобразовывать в mpg, а затем в flv, поскольку повторное кодирование дважды влечет за собой большую потерю качества по сравнению с непосредственным перекодированием. Если вам нужно сделать это в 2 шага, то промежуточный формат должен быть несжатым или без потерь, например, huffyuv.