Arch Linux

Wiki runterladen.

falky

Hi,
ich möchte das komplette wiki.archlinux.de offline verfügbar machen.
1. Wie krieg ich raus wie groß es insgesamt ist?
2. Wie lade ich es runter das die Links funktionieren usw.
Hab schon bisschen mit wget rumexperimentiert, konnte aber die richtige Einstellung nicht finden.

Danke und Tschö

matthias

1. weiss ich nicht
2. funktioniert etwa so: wget -rk -np [URL]

Die Optionen bedeuten: rekursiv durchsuchen, konvertieren (also Links ins Internet in lokale Links auf deinem System verwandeln), und "no parents" (nicht nach oben im Dateisystem suchen).
Details natürlich in man wget.

falky

Irgendwie klappt das mit den Links nicht ...
Hab das hier: http://www.pl-forum.de/berichte/wget-doku.html schon gefunden, aber bisher noch nicht die magische Kombination gefunden.
Beispielswiese:
file:///home/falky/stuff/downloads/wiki.archlinux.de/index.html%3Ftitle%3D%C3%259Cber_Arch_Linux
> Klick auf Konfiguration >
file:///?title=Kategorie:Konfiguration
(Das Home-Verzeichnis wird wie ein ftp-Verzeichnis aufgelistet)

matthias

falky schrieb > Klick auf Konfiguration >

Falscher Ansatz! Mach das auf der Kommandozeile in deinem Home-Verzeichnis:

wget -rk -np http://wiki.archlinux.de/?title=Hauptseite

Dauert natürlich ein wenig, bis das durchläuft. Zu deiner ersten Frage: Es sind z.Zt. ca. 2800 Dateien mit etwa 40 MB.

falky

Bringts auch nicht, File not found jeweils, verstehs ni...
Verdammich, das kann doch nicht so schwer sein :-*)

Pierre

Die Idee ist eigentlich nicht schlecht; wobei wget hier nicht so optimal ist. Wenn jemand herausfindet, wie ich sowas serverseitig umsetzen kann, könnte man ja regemäßig Archive erstellen und zum Download anbieten.

GerBra

Es gibt doch etliche Erweiterungen für's Wiki, außerdem sollte ab einer bestimmten
Version schon Funktionen eingebaut sein, bestimmte Namensräume zu exportieren.
Nur kurz gestöbert:
http://www.mediawiki.org/wiki/Category:Data_extraction_extensions
Interessant scheinen die Hinweise unter den Buchstaben E und W zu sein.

Pierre

Beim Export kommt allerdings nur XML raus. Ohne Stylesheet ist das für Menschen nicht so dolle lesbar. 😉

falky

Kann ichs jetzt vergessen oder wie soll ich das jetzt verstehen? :/

piet

falky schriebKann ichs jetzt vergessen oder wie soll ich das jetzt verstehen? :/

Nein, aber du könntest die Antworten lesen, die du bekommst... kleiner Tipp:

matthias schriebFalscher Ansatz! Mach das auf der Kommandozeile in deinem Home-Verzeichnis:
wget -rk -np http://wiki.archlinux.de/?title=Hauptseite

😉

cu && frohes Fest && dicke Eier || wie auch immer... 😉

eiffel56

Heya,

vielleicht als kleiner Tipp: Bei Ubuntuusers.de wird in gewissen Abständen einfach die Datenbank des Wikis rausgegeben. Vorher werden da natürlich noch empfindliche Daten wie die User rausgelöscht.
Und damit mans einfacher hat wird auch gleich die Wiki Software mit-"geliefert". MoinMoin wars wenn ich mich grad recht erinnere.

Is ne gute Lösung wie ich finde. Vielleicht lässt sich das ja hier auch umsetzen.

falky

piet schrieb
falky schriebKann ichs jetzt vergessen oder wie soll ich das jetzt verstehen? :/
Nein, aber du könntest die Antworten lesen, die du bekommst... kleiner Tipp:
matthias schriebFalscher Ansatz! Mach das auf der Kommandozeile in deinem Home-Verzeichnis:
wget -rk -np http://wiki.archlinux.de/?title=Hauptseite
😉

cu && frohes Fest && dicke Eier || wie auch immer... 😉

Du könntest auch evtl. die Antworten lesen das es nicht den gewünschten Erfolg bringt.
Junge, echt jetzt -..-

Pierre

Wie gesagt: Implementierungen hierzu sind sehr willkommen. Ob es dann ein SQL-Dump ist, oder ich per Cron-Job wget laufen lasse ist eigentlich fast egal.

matthias

Also, zwischen meinem ersten und zweiten Post oben lief das hier ganz normal. Zugegeben: Das neu-erstellte Verzeichnis ist nicht so übersichtlich (worauf Pierre wohl mit dem Hinweis "nicht optimal" anspielte), aber die Methode funktioniert wenigstens (jetzt schon).

Bitte versuch's nochmal und zeig uns die ganze Ausgabe auf deinem System.

Pierre

Es wäre schön, wenn ihr vorerst davon absehen würdet mittels wget archlinux.de komplett runterzuladen. Das erzeugt mittlerweile doch eine beachtliche Serverlast.

Wir sollten uns da lieber eine bessere Lösung überlegen.

dongiovanni

Ich stelle mir gerade nur die Frage, warum ich archlinux.de überhaupt komplett runterladen sollte?

florian

Vielleicht ist mw2html.py das Richtige.

Man muss das Skript aber noch ein bischen anpassen.
Bei der Version im Anhang habe ich "Special" in "Spezial" geändert.