Язык, используемый большинством приложений, использует переменные среды LC_LANG или LANG для поиска вашего языка.
Вы можете переопределить его, добавив строку
LANG=en_US.UTF-8
в файл ~/.profile если вы хотите, чтобы он был изменен для всех приложений (включая приложения с графическим интерфейсом)
в файл ~/.bashrc только для приложений, которые вы запускаете из терминала (при условии, что ваша оболочка - bash).
Вы также можете переопределить его для каждого приложения, добавив к этой команде префикс, например:
$ LANG=en_US.UTF-8 ls