Debian Stretch еще не выпущен, и в нем может быть ошибка, из-за которой ваша мышь не работает должным образом в VirtualBox. Для лучшей совместимости версия VirtualBox, которую вы используете, также должна быть более свежей, чем версия гостевой ОС, в которой вы работаете.
Настройки дисплея VirtualBox могут иметь максимум 128 МБ видеопамяти в окне настроек VirtualBox. Вы можете добавить еще 128 МБ видеопамяти из терминала в гостевую ОС на общую сумму 256 МБ. Если вы это сделаете, 256 МБ видеопамяти будет отображаться в VirtualBox в настройках дисплея гостевой ОС. Я предлагаю вам сделать это и посмотреть, не мешает ли мышь значку, как при перетаскивании чего-либо. Откройте терминал и введите:
VBoxManage modifyvm "Linux" --vram 256
где "Linux" следует заменить именем вашей гостевой ОС Linux в VirtualBox.
Для мыши USB в меню Система -> Материнская плата -> Указывающее устройство должен быть установлен USB-планшет. Если у вас достаточно аппаратных ресурсов для того, чтобы предоставить гостевой ОС больше оперативной памяти и 2 ЦП вместо 1 ЦП, вы можете попробовать сделать это и посмотреть, как это повлияет на производительность вашей мыши в VirtualBox.
У вас нет проблем с мышью, кроме как в VirtualBox, поэтому я не думаю, что с мышью что-то не так механически.