Я работаю над созданием надежного и масштабируемого кластера видеообработки для создаваемого мной веб-сайта.
В настоящее время я обрабатываю видео с помощью FFMPEG на том же веб-сервере, на котором работает мой сайт.
Пока это работает хорошо, но я ожидаю, что этот единственный сервер скоро не сможет справиться с объемом обработки видео, который должен быть выполнен, что приведет к отставанию во все возрастающей длине.
Я бы предпочел иметь масштабируемое решение, в котором я мог бы создать кластер обработки видео, отдельные задания которого будут распределяться между узлами.
Мне также хотелось бы иметь возможность добавлять, удалять и включать / отключать отдельные узлы обработки относительно безболезненно, чтобы мы могли масштабироваться в соответствии с нашими потребностями или финансовыми проблемами.
Наш целевой веб-сервер для основного сайта работает под управлением CentOS 6 (на нашем текущем одноместном сервере разработки работает Ubuntu 12.04 LTS, которая является нашей предпочтительной средой для преобразования FFMPEG). Наш сайт не использует ничего особенного, PHP 5.3 и выше, MySQL 5, Apache 2.2.xxx.
Как можно было бы настроить кластер обработки видео с Ubuntu VPS, не столько заботясь об аспектах управления DNS/ доменом, сколько настроить, а развернуть задания на отдельных узлах?
Когда 6 недель назад я настраивал среду для одного места, я наткнулся на GearMan. Может ли это выполнить задачу, или у кого-нибудь, кто мог бы ее использовать, есть какие-нибудь полезные замечания / предложения?
У кого-нибудь из вас есть какие-то знания, которые могут мне здесь помочь?