Der Grund dafür ist - vermute ich, nicht gesucht - sicherlich Rechte auf notwenige Devices, also GraKa(unabhängig der video Gruppe), Ein-/Ausgabegeräte... XOrg wird nun root-Rechte nach dem Start sofort wieder abgeben, aber eben nicht die Eigentümerschaft des Prozesses selbst. Das Userland über Clientprozesse also (wieder) Rootrechte kriegst, dagegen ist codemäßig sicher etwas getan, könnte - wie bei allen setuid root Programmen - aber auch durch einen Bug möglich sein.
Ziel ist es ja, die setuid/root Tools auf ein Minimum zu beschränken, dafür gibt es ja im Kernel die Möglichkeiten der Capabilities. Ich weiß nicht, ob es für X genug Capabilities-Modis um auf setuid komplett zu verzichten.
ping ist als User z.B. auch nur möglich da es setuid root gesetzt ist - da läßt sich durch entsprechendes Capabilitie allerdings drauf verzichten. Mir ist allerdings keine Distribution bekant, die das schon umfänglich in Angriff genommen hätte.
Siehe u.a. auch:
http://en.wikipedia.org/wiki/Capability-based_security
bzw. die Tools setcap/getcap aus libcap.