Похоже, вы ищете MySQL Workbench:
http://www.mysql.com/products/workbench/
Он может получить доступ к вашему серверу MySQL (напрямую или через SSH) с любого компьютера с удаленным рабочим столом.
Большинство других задач администрирования Linux обычно выполняются в консоли (т.е. через командную строку). Если вы действительно хотите получить доступ к инструментам графического интерфейса на удаленном хосте, вы можете посмотреть, как запустить удаленный X-сеанс. Как правило, по моим наблюдениям, это не очень хорошо работает. Вы, вероятно, лучше просто придерживаться командной строки.
Кстати, удаленная машина, которую вы используете для управления серверами Ubuntu, не обязательно должна быть машиной Ubuntu. Вы можете использовать другой дистрибутив Linux или Windows или Mac.
В Windows я знаю, что MySQL Workbench работает просто отлично. Большинство пользователей Windows используют PuTTY для подключения к Linux-машине. Вы можете получить PuTTY здесь: http://www.chiark.greenend.org.uk/~sgtatham/putty/