So wie ich das vermute, hängt das irgendwie daran, wie systemd den USB-Input-Kram lädt.
Das ist 'irgendwie' auch meine Vermutung, weil es nicht systematisch immer nicht geht, sondern nur ab und zu mal nicht geht, und weil die Umschaltung (dürfte Deinem Ab- und Anstecken äquivalent sein) das Problem zuverlässig beseitigt. So, als ob das System manchmal 'zu spät' an die USB-Eingabegeräte heran kommt, weil der Umschalter noch 'da mit drin hängt'.
Da sollte man sich aber nochmal genauer in die Systemmeldungen vertiefen.
Ich bemerke das Problem jeweils im Logon Screen (lxdm).
VLG
Stephan
P.S.: aktuell tritt der Fehler (natürlich erwartungsgemäß) nicht auf. Ich melde mich wieder, sobald ich etwas Aussagekräftigeres in Protokollform herzeigen kann.