Arch Linux

[Shell-Script] von /bin/ aus starten?/ Anfänger-Fragen

[gelöscht]

Mein Ziel ist es, das wget mehrere Links gleichzeitig downloadet, die ich mittels sed aus der Datei auslese.

das sieht ca so aus:

#!/bin/bash

i=1
max=3 #Anzahl der Downloads

while [ $i -le $max ]
do
 j=`expr $i`p
 link=`sed -ne $j $1`
 wget -c -b $link
 i=`expr $i + 1`
done

Das erste Argument beim Aufruf ist der Name der Datei mit den Links.

1. Kann ich "j=`expr $i`p" irgendwie anders machen? der Sinn dahinter ist der, das ich an die Variable ein p anhängen muss, da der sed-Aufruf so aussehen sollten(am Beispiel der ersten Zeile):

sed -ne 1p link

wobei link die Datei mit den Links ist. Und bei "$ip" sucht er eben nach der Variable 1p.

2. Das Script befindet sich im Ornder /bin und hat als erste Zeile auch "#!/bin/bash" aber es funktioniert nicht wenn ich es aufrufe(kommt wget error "missing URL"), nur wenn ich es über sh aufrufe funzts.

Danke schonmal

piet

Zu 1 fällt mir folgendes ein:

#!/bin/bash

i=1
max=3 #Anzahl der Downloads

while [ $i -le $max ]
do
	link=`sed -ne "$i p" "$1"`
	echo "wget -c -b $link"
	i=`expr $i + 1`
done

Oder du ersetzt das ganze Skript durch:

wget -c -i datei.dat

Dann erübrigt sich eh alles andere. 😉

Zu 2, ist der Pfad zur Datei, die sich hinter $1 versteckt, immer noch richtig?

Dein Ziel alles gleichzeitig herunter zu laden, ist damit aber nicht erreicht. Ist aber auch nicht wirklich
sinnvoll, denn die Bandbreite deiner Netzwerkverbindung dürfte sich ja durch drei parallele
Herunterlads nicht vergrößern, sprich, du hast keinen Geschwindigkeitsgewinn.

cu

[gelöscht]

Doch, denn der Server wird mir kaum 4Mbit zur Verfügung stellen.

wie meinst du ob der Pfad immer noch richtig ist?

Also ich erkläre das mal genau:

Im Verzeichnis "/home"habe ich die Datei link.txt mit den Links. Wenn ich nun(wir geben dem Script mal den Namen scriptget) "scriptget link.txt eingebe kommt eben der Error von wget, obwohl ich in der obersten Zeile des Scripts "#!/bin/bash" stehen habe und das Script sich in /bin befindet. Auch beim Aufruf "scriptget /home/link.txt" kommt dieser Fehler, ich weiß aber nicht ob eine Variable einen Pfad Speichern kann? Doch wenn ich "sh /bin/scriptget link" eintippe, geht es wunderbar und er zieht mir 3 Dateien parallel.

the_isz

Versuch mal das hier:

#!/bin/bash

MAX_DOWNLOADS=3;

i=1;

while read line; do
    wget -c -b "$line";
    if [[ $i == $MAX_DOWNLOADS ]]; then
        exit 0;
    fi
    let i+=1;
done < $1;

Viel Spaß 🙂

[gelöscht]

Kannst du mir dein Script genauer erklären? Ich will es nicht verwenden da ich es nicht verstehe. Vorallem die stelle "while read line" und "done < $1;"

Ich habe herausgefunden, dass das Script auch mit dem Auruf ohne sh läuft wenn ich es umbennen o.O Kann mir jmd erklären warum das so ist?

[gelöscht]

the_isz

Das Skript nimmt als Parameter den Dateinamen einer Datei, aus der zeilenweise URLs ausgelesen werden. Also genau das, was Du haben wolltest. Lässt Du den Parameter weg, gibt's ne Fehlermeldung, weil die Shell $1 nicht durch den entsprechenden Parameter ersetzen kann (Sollte man evtl vorher testen, aber Du sollst ja auch noch was zu tun haben 😉)

"while read line" kann man fast schon in Prosa lesen -> "solange Zeilen lesen möglich ist, lies eine Zeile und speichere das Ergebnis in der Variable line"

"done < $1;" ist das Ende der while Schleife, das gleichzeitig die Schleife mit Input aus $1 (dem ersten Parameter aus dem Aufruf des Skripts) füttert.

Hoffe das reicht als Erklärung, jetzt geh ich erstmal pennen.

P.S.: "man bash" hilft Dir bei Detailfragen immer gerne weiter :lol:

[gelöscht]

Habe noch ein weiteres Problem..ich will das er wenn er MAX_DOWNLOADS erreicht hat, wartet bis kein Prozess mehr mit wget übrig ist, dies überprüfe ich mit "top -n 1 | grep -c wget".

Das ganze Script sieht bisher so aus:

#!/bin/bash

MAX_DOWNLOADS=2

i=1

echo `top -n 1 | grep -c wget`      #hier wird noch "0" ausgegeben / dient nur zum testen

while read line
do
	wget -c -b  "$line"
	if [[ $i == $MAX_DOWNLOADS ]]
	then
		sleep 10 # kurz warten, da die wget-Prozesse nicht sofort angezeigt werden

		echo `top -n 1 | grep -c wget`      #hier kommt Fehler "top: failed tty get" / dient nur zum testen

		while [  `top -n 1 | grep -c wget` != 0  ]      #selber Fehler
		do
			sleep 10
		done
		i=0
	fi
	let i+=1;
done < $1;

Warum kann er am Anfang noch die Anzahl der wget-Prozesse abfragen, aber in dem Codeblock später nicht mehr?

Danke für die Hilfe bisher, und auch danke schonmal im voraus.

piet

Du kannst das auch ohne Skript tun, die aus zu lesende Datei mit den Links heißt dann z.B.
datei.dat und der Aufruf ist folgender;

wget -c -b -i datei.dat

[gelöscht]

Aber dann lädt er doch nicht parallel, sondern arbeitet die Liste ab.

Das Problem war das sich top nicht auf ein tty beziehen lässt, das kann man lösen mit -b also "top -b -n 1 | grep -c wget".

Das Script ist nun fertig, und schon getestet, ich poste den Code, vlt hat jmd Interesse daran:

#!/bin/bash

MAX_DOWNLOADS=5

if [ $1 == '-i' ]
then
	if [ `top -b -n 1 | grep -c wget` == 0 ]
	then
		while read line
		do
			wget -c -b  "$line"

			sleep 1

			while [ `top -b -n 1 | grep -c wget` == $MAX_DOWNLOADS ]
			do
				sleep 5
			done 
			 
		done < $2
	else
		echo "Wget is already running. Every wget process must be finished in order to run this script"
		exit 0
	fi
else
	wget -c -b  "$1"
fi

Kann es sein das die Ausgabe von top -b -n 1 | grep -c wget nicht immer verlässlich richtig ist? Es kommt bei mir manchmal vor das er 6 wget Prozesse am laufen hat, obwohl MAX_DOWNLOADS=5 ist.

piet

peel schriebAber dann lädt er doch nicht parallel, sondern arbeitet die Liste ab.

Also an sich sorgt die Option -b dafür, dass alles im Hintergrund (-b steht für background)
heruntergeladen wird. Ein kleiner Test zeigte mir auch, dass das genau so funktioniert.

cu

[gelöscht]

Da würde ich doch mal stark das Gegenteil behaupten, und es hiermit beweisen:

[peel ~]# wget -b -c  -i link.txt
Continuing in background, pid 8969.
Output will be written to `wget-log'.
[peel~]# top -b -n 1 | grep -c wget
1

Und auch mit dem Blick in die wget-log sieht man eindeutig das er nur an einer Datei arbeitet, also nicht mehrere zur gleichen Zeit.

Mir kommt es so vor als ob du nicht das meinst was ich meine.

piet

peel schriebMir kommt es so vor als ob du nicht das meinst was ich meine.

Ne, verstanden habe ich es schon, nur ich habe es falsch getestet. *augenverdreh* 😉

cu