Im Grub gar nicht, grub hat nix mit X11 am Hut.
Du kannst allerdings das graphical.target abschalten und das multi-user.target aktivieren:
systemctl disable graphical.target
systemctl enable multi-user.target
Das sollte, glaube ich, tun was du willst. (Btw: Runlevel gibt's nicht mehr, stattdessen gibt's jetzt targets. 😉)