Глядя на этот ответ SuperUser, я смог установить новые имена окон по умолчанию в '', добавив
bind c new-window -n ''
в файл .tmux.conf . Он работает для новых окон во время сеанса, но при запуске нового сеанса tmux с помощью команды tmux первое окно по-прежнему имеет имя по умолчанию.