Arch Linux

Zeichensatz passt nie...

ori

Hallo,

ich würde gerne mal wissen, was da los ist, und zwar....
Daten, die ich per SQL-Script in eine PostgreSQL-DB geladen habe, haben nie die richtige Zeichenkodierung. Umlaute sind nur seltsame Zeichen, warum?

Ich habe folgendes versucht:

Das System läuft zur Zeit auf UTF8
Die Textdatei ist mit UTF-8 abgespeichert.
Die Datenbank wurde mit UTF-8-Kodierung angelegt
(createdb -E utf-8 -U postgres dbname, aber auch versucht: createdb -E utf8 -U postgres dbname)
Ich betrachte die Daten nicht mit aterm, sondern mit "Terminal", wobei ich das mit aterm sowieso schon wieder nicht verstehe, da aterm angeblich kein UTF-8 kann, ich auch keine Umlaute tippen kann, aber Umlaute sehen kann.

Was läuft hier nicht richtig? Kann sich das jemand erklären?

GerBra

Mach doch mal einen Dump von der Datenbank, z.B.
pg_dump -a -f /tmp/sq.dump dbname
Und dann mal ein:
file /tmp/sq.dump
Das sollte dann anzeigen:
/tmp/sq.dump: UTF-8 Unicode text

Auf einem utf8-fähigem Terminal (zur Not ein tty, wenn's ricchtig eingestellt ist)
sollte ein cat /tmp/sq.dump dann die Umlaute richtig anzeigen.
Ob diese utf8-kodiert sind solltest du IMHO auch sehen können, indem du den Dump
in einen Hexeditor (mcview z.B. bei mc-utf8 oder khexedit) lädst. Ein utf8-kodiertes
ü belegt dort 2 Bytes statt einem.

Auch psql zeigt bei einem SELECT die Umlaute etc. richtig an, wenn die Ausgabe utf8
kann.
Evtl. waren/sind deine Eingangsdaten ja nicht utf8?

ori

Hallo,

es sind 2 byte, wenn ich es mit einem Hexeditor betrachte. in der Db ist es offensichtlich richtig gespeichert. Betrachte ich die Tabellen mit pgadmin3, sehen die Umlaute OK aus.
Die Eingabe erfolgte übrigens durch ein SQL-Script, welches mit UTF-8 abgespeichert wurde.
Es deutet alles darauf hin, dass mein System diesbezüglich irgendwie versaut ist, aber was ist da los?
tty stellt Umlaute auch nicht richtig dar. Nach dem Booten vor dem ersten Einloggen stehen statt den Umlauten Fragezeichen.

GerBra

Nun, auf dem tty ist es sehr einfach:

Deine Locale in der rc.conf sollte sein:
LOCALE="de_DE.utf8"

Weiterhin muß in der /etc/locale.gen am besten bei allen de_DE.* Sätzen daß # weg,
also aktiv und es muß ein locale-gen ausgeführt werden.
Ein: locale auf dem tty sollte dann auch alles auf auf de_DE.utf8 zeigen.

In der rc.conf sollte die KEYMAP sein:
KEYMAP=de-latin1-nodeadkeys

Der normale Konsolefont (also die Ausgabe) kommt IMHO problemlos mit utf8 zurecht,
auf der sicheren Seite ist man aber mit:
CONSOLEFONT="lat9w-16"

Bei xterminals kommen halt evtl. noch Probleme mit dem WM bzw. eben der Terminals
hinzu, wobei ich persönlich mit xterm nie schlechte Erfahrung gemacht habe (aber
xterm ist halt nicht cool genug)

ori

Hallo,

statt de_DE habe ich de_AT, aber das sollte wohl nichts zur Sache tun, oder doch?
Bei CONSOLEFONT hatte ich vorher default8x16. Vielleicht ist dasauch der Grund, warum ich bei den Zeichen ^ und ~ immer 2x auf die Tasten drücken muss, damit das zeichen auf der Ausgabe erscheint.
Ich habe es mal auf deine Einstellungen umgestellt.

ori

Jetzt sehe ich, dass in Skype die Umlaute auch nicht funktionieren. Ich verstehe absolut nicht, wie diese ganze Scheiße mit den Zeichensätzen eigentlich zusammenhängt.
Hier im Forum kann ich Umlaute tippen. In Skype nicht. In aterm und xterm auch nicht. In "Terminal" wieder schon. Wo ist denn da ständig das Problem, einfach einen stupiden anderen Zeichensatz darzustellen?

jean-paul

Wenn du, wie @GerBra schon sagte, in der /etc/locale.gen dies

de_AT.UTF-8 UTF-8  
de_AT ISO-8859-1  
de_AT@euro ISO-8859-15

aktiviert hast und anschließend ein

# locale-gen

ausführst, sollte es gehen.

Du kannst in der /etc/rc.conf

CONSOLEFONT="" (kein Font angeben)
KEYMAP="de-latin1-nodeadkeys"

und in der xorg.conf

Option 			"XkbLayout" 	"de"
Option 			"XkbVariant" 	"nodeadkeys"

angeben.

Ich nehme an, das hast du alles gemacht. Wenn das so ist, weiß ich auch nicht weiter.

Jean-Paul

ori

Hallo,

das habe ich alles natürlich beachtet.
Hat eigentlich jemand sein System auf UTF-8 und kann in Skype Umlaute tippen?
Ich habe das Gefühl, dass Skype kein UTF-8 kann.
Das Problem mit den Falschdarstellungen in der Datenbank verstehe ich auch nicht. Die DB wurde mit UTF8 angelegt. Ich habe auch schon versucht, das SQL-Script nicht über \i script hineinzuladen, sondern über pgadmin3, aber alle Umlaute, die übers Script hineingeladen wurden, sind nur seltsame Zeichen.