У меня следующая проблема. На одной машине ввод-вывод устройства насыщается до 100% (через iostat -x 1) во время выполнения одной программы. Хотя на других менее мощных CPU/GPU такой проблемы нет, то есть iostat быстро приближается к 0.
Процессор не насыщен, то есть процесс не загружает процессор. Графический процессор насыщен на другой машине, в то время как на IO util 100% графический процессор не насыщен.
Оперативная память не насыщена ни на одной машине.
Узким местом для этой программы должен быть GPU, а не IO.
Программа запускается с помощью docker, в частности nvidia-docker на обеих машинах, с одинаковым образом docker.
На проблемной машине я запускаю hdparm -tT, и между машинами нет большой разницы. Файловая система ext4, 1,4 ТБ /1,8 ТБ занято. Данные состоят из 1-3 МБ файлов общим объемом до 400 ГБ.
Процесс многопоточный / многопроцессный, где каждый подпроцесс сообщает главному процессу, какие данные он прочитал и обработал (начиная с python GIL).
У меня заканчиваются идеи, в чем может быть проблема и как ее отладить.
РЕДАКТИРОВАТЬ:
Докер версии 1.13.1 на проблемной машине, 1.13.0 на нормальной машине. ядро Linux 4.4.0-57 на нормальной машине, 4.4.0-62 на проблемной машине