Arch Linux

Zipfile spiltten sodass jede Datei 30MB groß ist

ThommyGee

Hallo Archer,

ich habe da mal ein Problem wo ihr mir vieleicht helfen könnt. Das allwissende Orakel hab ich schon befragt das sagt mir nix konkretes.

Ich hab eine Bildergallerie für meine Schwester aufm Webserver und kann die Bilder als ZIP-Files von bis zu 30MB Größe hochladen. Das Problem ist wie erstelle ich 30MB große Zipfiles?
Nicht einfach splitten sondern richtige eigenständige 30MB große Zip Dateien, denn splits mag Gallery nicht. Am besten wäre ein Script?!?!

Was sagt ihr dazu? Was gibts da für ne Möglichkeit?

Weltio

Manuell? :lol:
Eine gute Lösung ist da vielleicht gar nicht so trivial...
Ansonsten würde ich auf die schnelle die Größen addieren und gucken ob <=30M, wenn nicht, dann alle -1 ins Zip 🙂 ^^

stefanhusmann

zipsplit mit der Option -n sollte das können. Ist bei zip dabei.

Usul

ThommyGee schrieb Nicht einfach splitten sondern richtige eigenständige 30MB große Zip Dateien, denn splits mag Gallery nicht.

Stefan Husmann schrieb zipsplit mit der Option -n sollte das können. Ist bei zip dabei.

Wollte er nicht genau das nicht? (Jetzt hab ich 'nen Knoten im Hirn)

stefanhusmann

Wenn ich die Anfrage richtig verstanden habe, dürfen zipfiles hochgeladen werden.

zipsplit -n 30000000 ganz_große_datei.zip

teilt ganz_große_datei.zip in höchstens 30 GB Große Dateien auf, die ihrerseits wieder zip-files sind. Das sollte eigentlich genau das sein was benötigt wird.

Was ncht gewünscht ist, ist eine Lösung, die z.B. auf dem Tool split beruhen, da die Ergebnisse nicht mehr Zipfiles sind.

ThommyGee

Hmm, leider funktioniert das nicht mit zipsplit. Da bekomm ich immer ne Fehlermeldung das das Zipfile zu groß ist, nachdem ich alle Daten gezippt habe in ein Archiv. Die Daten nehmen 1.6 GB ein und sollen zu 30MB großen eigenständigen Zipfiles geteilt oder eben gezippt werden. Gibt es vieleicht die Möglichkeit einfach aller 30 Bilder, da diese ähnliche Dateigrößen besitzen, ein Zipfile mittels Script zu generieren? Das dann halt für alle 500 Datei, also 15 Einzel

piet

Wenn die alle ähnliche sind, ermittel eine Grenze für die Größe der Zip-Datei und setze die bei
maxZipSize (in Byte) ein. Ich vermute auch mal, dass die 30MB nicht in Stein gehauen sind.
Ansonsten bleibt weit genug unter der Grenze oder das Skript wird etwas aufwendiger... 😉

#!/usr/bin/sh

maxZipSize=30000000
counter=0

zipFile="zip${counter}.zip"

for i in *.jpg
do
	zip "${zipFile}" "$i"
	
	zipSize=`du -b ${zipFile}|cut -f 1`

	if [ ${zipSize} -gt ${maxZipSize} ]
	then
		counter=`expr ${counter} + 1`
		zipFile="zip${counter}.zip"
	fi
done

Ach ja, dass da oben geht nur für JPGs, das anpassen an andere Formate überlasse ich dir. 😉

cu

EDIT: Ein rm *.zip am Anfang des Skripts ist vermutlich sehr nützlich. 😉

Dirk

piet schrieb EDIT: Ein rm *.zip am Anfang des Skripts ist vermutlich sehr nützlich. 😉

rm mit wildcards in Scripten sollte man immer Vermeiden.

stefanhusmann

Zip 3.0 hat laut Webseite keine 2GB-Begrenzung hinsichtlich Dateigrößen mehr. Zu Zipsplit schweigen die sich aber aus. Seltsam!

piet

Dirk Sohler schrieb
piet schriebEDIT: Ein rm *.zip am Anfang des Skripts ist vermutlich sehr nützlich. 😉
rm mit wildcards in Scripten sollte man immer Vermeiden.

Weichei... 😉

Naja, dann halt so:

#!/usr/bin/sh

maxZipSize=30000000
counter=0

zipFile="zip${counter}.zip"
rm ${zipFile}	#loescht alte zip-Dateien

for i in *.jpg
do
	zip "${zipFile}" "$i"
	
	zipSize=`du -b ${zipFile}|cut -f 1`

	if [ ${zipSize} -gt ${maxZipSize} ]
	then
		counter=`expr ${counter} + 1`
		zipFile="zip${counter}.zip"
		rm ${zipFile}	#loescht alte zip-Dateien
	fi
done

Ich denke jetzt liegt der Ball auf ThommyGees Seite... 😉

cu

Dirk

piet schrieb rm ${zipFile} #loescht alte zip-Dateien

Zu diesem Zeitpunkt, außerhalb der for-Schleife löscht es zip0.zip 😉

Ich würde stattdessen so etwas an diese Stelle bauen:

if [ -e zip0.zip ]; then
        echo "„zip0.zip“ existiert. Die Zip-Dateien werden"
        echo "im Format „zipN.zip“ angelegt. die Vorhandene(n)"
        echo "Dateien mit diesem Dateinamenstil würden über-"
        echo "schrieben werden. Bitte manuell umbenennen,"
        echo "oder woanders hin verschieben. Abbruch"
        exit 1
fi

Wenn das ein Script wäre, dass ich veröffentlichen wollen würde, würde ich den Text natürlich nach STDERR leiten 😉

piet

Dirk Sohler schrieb
piet schrieb rm ${zipFile} #loescht alte zip-Dateien
Zu diesem Zeitpunkt, außerhalb der for-Schleife löscht es zip0.zip 😉

Damit tut es dass, was es soll...
Am besten wäre wohl eher eine for-Schleife für Dateien die dem Schema zip*.zip
entsprechen...

Dirk Sohler schrieb Ich würde stattdessen so etwas an diese Stelle bauen:

if [ -e zip0.zip ]; then
        echo "„zip0.zip“ existiert. Die Zip-Dateien werden"
        echo "im Format „zipN.zip“ angelegt. die Vorhandene(n)"
        echo "Dateien mit diesem Dateinamenstil würden über-"
        echo "schrieben werden. Bitte manuell umbenennen,"
        echo "oder woanders hin verschieben. Abbruch"
        exit 1
fi

Das mag zu deiner Aufgabenstellung passen... aber ThommyGee hat nichts von einem Backup alter
Dateien gesagt. Das Löschen erfolgt nur, damit die Zips nicht nach und nach mit alten Dateien gefüllt
werden, zumal die dann auch nach und nach immer größer und größer werden würden, die Größe der
Zip-Datei wird ja erst im nachhinein geprüft.
Außerdem hat die if-Abfrage die gleiche Schwäche wie mein Skript oben, es werden nicht unbedingt
alle alten Zip-Dateien gelöscht... darum wäre einmal eine for-Schleife vorweg wohl der sinnvollste
Lösungsansatz. 😉

Dirk Sohler schriebWenn das ein Script wäre, dass ich veröffentlichen wollen würde, würde ich den Text natürlich nach STDERR leiten 😉

Kommt drauf an, bei Skripten für den Hausgebrauch verzichte ich meist auf sowas... und
ThommyGee wird es vermutlich total egal sein. 😉

cu

fs4000

cat<<EOF
„zip0.zip“ existiert. Die Zip-Dateien werden
im Format „zipN.zip“ angelegt. die Vorhandene(n)
Dateien mit diesem Dateinamenstil würden über-
schrieben werden. Bitte manuell umbenennen,
oder woanders hin verschieben. Abbruch
EOF

Das ist glaub ich einfacher als 5 echos. <freak> 😃

ThommyGee

Einfach Klasse wie schnell hier im Forum kompetente Hilfe angeboten wird. Es bestätigt mir immer wieder das es richtig war das ich vor 1 1/2 jahren zu Archlinux gewechselt bin. Vielen Dank!
Bin momentan noch in der Arbeit und probiers heut abend mal aus. 🙂
Ich gebe euch Bescheid ob es geholfen hat. <smash>

Dirk

piet schrieb Das mag zu deiner Aufgabenstellung passen... aber ThommyGee hat nichts von einem Backup alter
Dateien gesagt. Das Löschen erfolgt nur, damit die Zips nicht nach und nach mit alten Dateien gefüllt
werden, zumal die dann auch nach und nach immer größer und größer werden würden, die Größe der
Zip-Datei wird ja erst im nachhinein geprüft.

Also doch rm zip*.zip. Ist halt nur doof, wenn man zufällig zipped_very_important_files.zip im selben Verzeichnis liegen hat, das verabsciedet sich dann nämlich gleich mit.

piet schrieb
Dirk Sohler schriebWenn das ein Script wäre, dass ich veröffentlichen wollen würde, würde ich den Text natürlich nach STDERR leiten 😉
Kommt drauf an, bei Skripten für den Hausgebrauch verzichte ich meist auf sowas... und
ThommyGee wird es vermutlich total egal sein. 😉

Mache ich auch nicht immer. Aber bei „größeren“ Skripten, wo die Chance besteht, ich könnte sie mal jemandem Zeigen, achte ich auf sowas schon sehr. 🙂

fs4000 schrieb

cat<<EOF
„zip0.zip“ existiert. Die Zip-Dateien werden
im Format „zipN.zip“ angelegt. die Vorhandene(n)
Dateien mit diesem Dateinamenstil würden über-
schrieben werden. Bitte manuell umbenennen,
oder woanders hin verschieben. Abbruch
EOF

Das ist glaub ich einfacher als 5 echos. <freak> 😃

Gar keine Frage. Und mittels …

fold -s <<EOF
Die Zip-Dateien werden im Format „zipN.zip“ angelegt. die Vorhandene(n) Dateien mit diesem Dateinamenstil würden überschrieben werden. Bitte manuell umbenennen, oder woanders hin verschieben. Abbruch
EOF

… braucht man sich nicht mal um den Umbruch zu kümmern 😉

piet

Dirk Sohler schrieb
piet schrieb Das mag zu deiner Aufgabenstellung passen... aber ThommyGee hat nichts von einem Backup alter
Dateien gesagt. Das Löschen erfolgt nur, damit die Zips nicht nach und nach mit alten Dateien gefüllt
werden, zumal die dann auch nach und nach immer größer und größer werden würden, die Größe der
Zip-Datei wird ja erst im nachhinein geprüft.

Also doch rm zip*.zip. Ist halt nur doof, wenn man zufällig zipped_very_important_files.zip im selben Verzeichnis liegen hat, das verabsciedet sich dann nämlich gleich mit.

Für sowas haben wir ja Backups auf nicht eingehängten Speichermedien... Kein Scherz, das plane ich auch...seit höchstens 8 Jahren.... 😉

Dirk Sohler schriebMache ich auch nicht immer. Aber bei „größeren“ Skripten, wo die Chance besteht, ich könnte sie mal jemandem Zeigen, achte ich auf sowas schon sehr. 🙂

Wir sind doch hier unter uns... 😉

Dirk Sohler schrieb

fs4000 schrieb

cat<<EOF
„zip0.zip“ existiert. Die Zip-Dateien werden
im Format „zipN.zip“ angelegt. die Vorhandene(n)
Dateien mit diesem Dateinamenstil würden über-
schrieben werden. Bitte manuell umbenennen,
oder woanders hin verschieben. Abbruch
EOF

Das ist glaub ich einfacher als 5 echos. <freak> 😃

Gar keine Frage. Und mittels …

fold -s <<EOF
Die Zip-Dateien werden im Format „zipN.zip“ angelegt. die Vorhandene(n) Dateien mit diesem Dateinamenstil würden überschrieben werden. Bitte manuell umbenennen, oder woanders hin verschieben. Abbruch
EOF

… braucht man sich nicht mal um den Umbruch zu kümmern 😉

Interessant, fold kannte ich noch gar nicht... hätte da eher

echo -e "Die Zip-Dateien werden im Format „zipN.zip“ angelegt. die Vorhandene(n)\nDateien mit diesem Dateinamenstil würden überschrieben werden. Bitte "

genommen... wobei das wiederum stark von dem echo abhängt. obwohl fold zumindest ebi cygwin
nicht per default dabei ist.
Normalerweise brauche ich sowas eh nicht, Erklärungstext der mehr als ein Einzeiler ist, gibt es bei mir
eigentlich nie. 😉

cu

Dirk

piet schrieb Interessant, fold kannte ich noch gar nicht...

Tjaha … Ich schon, aber ich vergesse sowas aus Prinzip schon immer, wenn ich es mal brauche … Aber Hauptsache mal ’nen Wiki-Artikel drüber geschrieben 😉

http://wiki.archlinux.de/title/Fold

stefanhusmann

Schöner Artikel!

ThommyGee

piet schrieb
Dirk Sohler schrieb
piet schriebEDIT: Ein rm *.zip am Anfang des Skripts ist vermutlich sehr nützlich. 😉
rm mit wildcards in Scripten sollte man immer Vermeiden.
Weichei... 😉

Naja, dann halt so:
#!/usr/bin/sh

maxZipSize=30000000
counter=0

zipFile="zip${counter}.zip"
rm ${zipFile}	#loescht alte zip-Dateien

for i in *.jpg
do
	zip "${zipFile}" "$i"
	
	zipSize=`du -b ${zipFile}|cut -f 1`

	if [ ${zipSize} -gt ${maxZipSize} ]
	then
		counter=`expr ${counter} + 1`
		zipFile="zip${counter}.zip"
		rm ${zipFile}	#loescht alte zip-Dateien
	fi
done
Ich denke jetzt liegt der Ball auf ThommyGees Seite... 😉

cu

Vielen Dank für das Script funktioniert tadelos hab noch bissl was angepasst.
Habe die Bilder auch schon hochgeladen und meine Schwester kann mich jetzt in Zukunft weiter mit den vielen Bildern aus Australien bombardieren.

DankE !! 😃

Dirk

ThommyGee schrieb … und meine Schwester kann mich jetzt in Zukunft weiter mit den vielen Bildern aus Australien bombardieren.

Ach, darum geht es!

http://rapidshare.com

Viel einfacher *g*

Nächste Seite »