Ach ja klar. Da hab ich etwas total durcheinander gebracht. Hab einfach die falschen Begriffe zum Suchen benutzt. Hätte anstatt "Openbox" mit "gtk" suchen sollen.
Hab die Lösung nun gefunden:
http://awesome.naquadah.org/wiki/Customizing_GTK_Apps
In der gtkrc.mine einfach folgende Zeile hinzufügen:
gtk-toolbar-style = GTK_TOOLBAR_ICONS
Danke für die Hilfe, Asbestbrezel.
/edit:
Gefällt mir schon besser!