Я бы начал с поиска в /var/log/auth.log
Аутентификация Linux, пароли и прочее обрабатываются PAM (подключаемые модули аутентификации). Вы можете получить эти модули для вывода отладочной информации в auth.log, изменив файлы в /etc/pam.d/
Обратите внимание, что делать что-либо более сложное, чем добавление "отладки" в строку, - это РИСКО, поскольку даже если вы знаете, что делаете, довольно легко в конечном итоге сделать невозможным вход в систему (в этом случае вам придется перезагрузиться с живого компакт-диска или что-то). И вам нужно иметь резервную копию всего, что вы редактируете. И вам нужно открыть еще одну корневую оболочку, чтобы вы могли скопировать резервную копию.
Вот хорошая страница по отладке PAM, которую я только что использовал, чтобы исправить некоторые проблемы с аутентификацией kerberos:http://www.micro-gravity.com/wiki/index.php?page=DebuggingPAM