Я думаю, что нет необходимости не устанавливать Java. Несмотря на то, что существует несколько распространенных приложений, требующих Java, вы всегда будете сталкиваться с чем-то. Вы ничего не теряете, имея - это как установка Flash или Silverlight.
Если вас это беспокоит, потому что последние новости о том, что Java небезопасна, это на самом деле только для Java-апплетов. И я не знаю много о веб-сайте, который вы хотите использовать, но я уверен, что он не затрагивает их, потому что они довольно редки в наши дни.
Во всяком случае, это только мое мнение, но я не думаю, что установка Java является проблемой. Вы можете очень легко деактивировать Java-апплеты, просто погуглите их. В Firefox, например, есть эта статья:
http://support.mozilla.org/en-US/kb/How%20to%20turn%20off%20Java%20applets
Но, конечно, вы можете в любое время повторно активировать его для надежных веб-сайтов, это намного проще, чем устанавливать его заново.