Вы спрашиваете слишком много вещей. Вам также нужно будет предоставить больше информации о том, с какой операционной системы вы работаете, но я думаю, что вы должны иметь возможность открывать два экземпляра VLC одновременно и иметь одну запись веб-камеры, а другую - ваш монитор.
Для вывода в формате JPG, взятого из справки командной строки VLC:
--scene-format=<string> Image format
Format of the output images (png, jpeg, ...).
Тем не менее, я думаю, что это работает только на Unix-машинах. Это очень плохо для пользователей Windows, потому что есть множество опций, которые все описаны в этой ссылке.
Нет VLC "службы" для Windows. Вы просто должны минимизировать это. Однако настроить запись из Windows довольно просто. Смотрите их очень хорошую документацию:http://www.videolan.org/doc/streaming-howto/en/
Кроме того, если вы собираетесь делать эту запись с терминала на компьютере с Unix, вам нужно будет выяснить, какие у вас устройства, чтобы вы могли настроить его соответствующим образом. Поскольку я не знаю вашего оборудования, я не могу точно определить команды. Посмотрите на две ссылки выше, если вы склонны к этому подходу. У них множество хорошей информации.