#!/bin/sh
# Filmek letöltéséhez használható script
# Paraméterei:
# 1. a file, amiben a letöltendő file-ok URL-jei vannak
# 2. a könyvtár, ahová mentsen (ha nincs megadva, akkor az aktuális könyvtár)
# 3. parancs, amit végrehajt, ha végzett (pl. halt a számítógép leállításához)
# Eddig működik a következő helykről: data.hu
SERVER_DATA="data.hu"
SERVER_RAPID="rapidshare.com"
SERVER_HREF="href.hu"
SERVER_FSX="fsx.hu"
OK=0
HIBA=1
DEFTRY=3
#LIMIT_RATE="256k"
LIMIT_RATE="0"
# letöltés a data.hu-ról
function get_data {
if ! try "wget -T 30 -qO \"$TMPFILE\" \"$URL\"" "Ideiglenes állomány letöltése"; then
echo "Ideiglenes állomány letöltése nem sikerült: $URL"
return "$HIBA"
fi
# megnézzük, van-e az oldalon reklám
REKLAMLINK=`sed -ne '1h;1!{H;/<div *class="banner_doboz" *>/h;/<\/div>/{g;s/<div *class="banner_doboz" *>.*a *href="\([^"]*\)".*<\/div>.*$/\1/;T;p;q}}' "$TMPFILE"`
if [ -n "$REKLAMLINK" ]; then # ha van reklám, akkor letöltjük az oldalt
REKLAMLINK="http://$SERVER_DATA$REKLAMLINK"
echo "Reklám letöltése ..."
if ! try "wget -T 30 --spider -qO \"$TMPFILE\" \"$REKLAMLINK\"" "Reklám letöltése"; then
echo "A reklám letöltése nem sikerült: $REKLAMLINK" # nem sikerült
# hibás letöltés esetén is lehet jó, folytatjuk
#return "$HIBA"
fi
# sikerült a reklám letöltése, most jöhet a következő lépés (rekurzív)
get_data
return $?
fi
DATAURLSOR=`grep -m 1 "class=\"download_it\"" "$TMPFILE"`
if [ -z "$DATAURLSOR" ]; then
echo "Nem találom az ideiglenes állományban a linket (window.location.href)"
return "$HIBA"
fi
#DATAURL=`echo "$DATAURLSOR" | sed -ne 's,^.*'\''\(http://.*\)'\''.*$,\1,p'`
DATAURL=`echo "$DATAURLSOR" | sed -ne 's/^.*href="\([^"]*\)".*$/\1/p'`
if [ -z "$DATAURL" ]; then
echo "Nem találom az URL-t a linkben"
return "$HIBA"
fi
if ! try "wget -T 30 --limit-rate=\"$LIMIT_RATE\" -cP \"$TARGETDIR\" \"$DATAURL\""; then
echo "Állomány letöltése nem sikerült: $DATAURL"
return "$HIBA"
fi
return "$OK"
}
# letöltés a rapidshare-ről
# ez rekurzív függvény lett, mert elképzelhetőek várakozások
# rövid fileoknál nincs várakozás a Free user gombra kattintva, nagyoknál van
# plusz ha lejárt az ingyenes kvóta, akkor egy hosszabb várakozás is jön
function get_rapidshare {
BURL="$1"
WGETPARAM="$2"
SZOV="${3:-Ideiglenes állomány letöltése}"
if ! try "wget $WGETPARAM -qO \"$TMPFILE\" \"$BURL\"" "$SZOV"; then
echo "Ideiglenes állomány letöltése nem sikerült: $URL"
return "$HIBA"
fi
GOMBSOR=`grep -m 1 "form id=\"ff\" action=" "$TMPFILE"`
KISVAR=`grep -m 1 "Still ' + c + ' seconds" "$TMPFILE"`
NAGYVAR=`grep -m 1 "You have reached the download limit for free-users. Would you like more?" "$TMPFILE"`
DUPLA=`grep -m 1 "Your IP address .* is already downloading a file." "$TMPFILE"`
NOTFOUND=`grep -m 1 "The file could not be found." "$TMPFILE"`
# "Free user" gomb
if [ -n "$GOMBSOR" ]; then
GOMB=`echo "$GOMBSOR" | sed -ne 's/^.*action="\([^"]*\)".*$/\1/p'`
if [ -z "$GOMB" ]; then
echo "Nem találom a \"Free user\" gombot ..."
return "$HIBA"
fi
get_rapidshare "$GOMB" "--post-data='dl.start=Free'" "Free user gomb lenyomására jövő oldal letöltése"
# kis várakozás
elif [ -n "$KISVAR" ]; then
VAR=`grep -m 1 "var c=[[:digit:]]*;" "$TMPFILE" | sed -ne 's/^.*=\([[:digit:]]*\);.*$/\1/p'`
LINK=`grep -m 1 "input checked" "$TMPFILE" | sed -ne 's/^.*document.dlf.action=\\\\'\''\([^\\\\]*\)\\\\.*$/\1/p'`
if [ -z "$VAR" ]; then
echo "Nem találom a rövid várakozás idejét ..."
return "$HIBA"
fi
if [ -z "$LINK" ]; then
echo "Nem találom a linket ..."
return "$HIBA"
fi
# rövid várakozás
varakozas "$VAR"
# letöltés (a rapidshare-n nem lehet folytatni a félbeszakadt letöltést)
# ezért megvizsgáljuk, hogy a file teljesen megvan-e, ha nem, akkor letöltjük újra
if teljes "$TARGETDIR" "$LINK"; then
echo "A file már le volt töltve, nem töltöm le újra: $LINK"
return "$OK"
fi
if ! try "wget --limit-rate=\"$LIMIT_RATE\" -P \"$TARGETDIR\" \"$LINK\""; then
echo "Állomány letöltése nem sikerült: $LINK"
return "$HIBA"
fi
# nagy várakozás
elif [ -n "$NAGYVAR" ]; then
VAR=`grep -m 1 "Or try again in about [[:digit:]]* minutes." "$TMPFILE" | sed -ne 's/^.*about \([[:digit:]]*\) .*$/\1/p'`
if [ -z "$VAR" ]; then
echo "Nem találom a hosszú várakozás idejét!"
return "$HIBA"
fi
VAR=`expr "$VAR" "*" 60`
# hosszú várakozás
varakozas "$VAR"
get_rapidshare "$BURL" "$WGETPARAM" "$SZOV"
# hibás link, vagy már törölték
elif [ -n "$NOTFOUND" ]; then
echo "A file nem található. Hibás a link, vagy már törölték: $BURL"
return "$HIBA"
# már töltünk le erről az IP címről, kilépés
elif [ -n "$DUPLA" ]; then
IPADDR=`echo "$DUPLA" | sed -ne 's/^.*address //' -e 's/ is.*$//p'`
echo "Erről az IP címről ($IPADDR) már töltünk le. A másik töltés befejeződése után újra el lehet indítani ezt."
exit "$HIBA"
# hiba, nem lekezelt ág, kilépés
else
echo "get_rapidshare nem lekezelt ág: $TMPFILE"
# ideiglenes megoldás ----------------------------------------------------------
# exit "$HIBA"
varakozas 60
get_rapidshare "$BURL" "$WGETPARAM" "$SZOV"
# ideiglenes megoldás ----------------------------------------------------------
fi
}
# letöltés a href.hu-ról
function get_href {
if ! try "wget -S --spider \"$URL\" 2>\"$TMPFILE\"" "Ideiglenes állomány letöltése"; then
echo "Ideiglenes állomány letöltése nem sikerült: $URL"
return "$HIBA"
fi
DATAURLSOR=`grep -m 1 "window.location.href" "$TMPFILE"`
if [ -z "$DATAURLSOR" ]; then
echo "Nem találom az ideiglenes állományban a linket (window.location.href)"
return "$HIBA"
fi
}
# letöltés az fsx.hu-ról
# trükkös ellenőrzések vannak benne szerveroldalon az automatikus letöltés nehezítésére
function get_fsx {
FSXSERVER="http://www.fsx.hu/"
# kell egy ideiglenes állomány a sütiknek
TMPCOOKIE="$TMPFILE.cookie"
# Úgy kell letölteni, mintha egy böngészőben néznénk az oldalt, pl. Linux-os Mozilla
HEADERS=" --user-agent=\"Mozilla/5.0 (X11; U; Linux i686; hu-HU; rv:1.9.0.6) Gecko/2009020409 Iceweasel/3.0.6 (Debian-3.0.6-1)\" "
if ! try "wget -qT 30 --cookies=on --keep-session-cookies --save-cookies \"$TMPCOOKIE\" $HEADERS -O \"$TMPFILE\" \"$URL\"" "Ideiglenes állomány letöltése"; then
echo "Ideiglenes állomány letöltése nem sikerült: $URL"
rm -f "$TMPCOOKIE"
return "$HIBA"
fi
# az oldalon lévő tartalom letöltése (képek, hátterek), szerveroldalon figyelik!
# csak a header-eket kérjük le, magát a tartalmat nem, mintha már a böngésző cache-sében volna.
TARTALOM=`sed -ne 's/^.*<[^>]*background *= *"\([^"]*\)"[^<]*>.*$/\1/gp' -ne 's/^.*<[^>]*img *src *= *"\([^"]*\)"[^<]*>.*$/\1/gp' -ne 's/^.*<[^>]*rel *= *"stylesheet".*href *= *"\([^"]*\)"[^<]*>.*$/\1/gip' "$TMPFILE" | sort | uniq | grep -iv "^http://" | sed -e 's,^\| , '"$FSXSERVER"',g'`;
echo "Oldalon lévő tartalom lekérése ..."
eval wget -q --cookies=on --keep-session-cookies --load-cookies "$TMPCOOKIE" --spider $TARTALOM
# "Ingyen tovább" gomb oldalának letöltése
FSXURLSOR=`grep -m 1 "download.php" "$TMPFILE"`
if [ -n "$FSXURLSOR" ]; then
echo "\"Ingyen tovább\" gomb oldalának letöltése ..."
FSXURL="$FSXSERVER`echo "$FSXURLSOR" | sed -ne 's/^.*href="\([^"]*\)".*$/\1/ip'`"
fi
varakozas 3 # 3 sec. várakozás, mielőtt továbbkattintunk
# várakozás az előttünk lévő letöltőkre
REFRESH=1
while true; do
if ! try "wget -qT 30 --cookies=on --keep-session-cookies --load-cookies \"$TMPCOOKIE\" $HEADERS -O \"$TMPFILE\" \"$FSXURL\""; then
echo "Ideiglenes állomány letöltése nem sikerült: $URL"
rm -f "$TMPCOOKIE"
return "$HIBA"
fi
# itt kivesszük, hogy hány mp-enként kell frissíteni, és milyen oldalra
if [ "$REFRESH" == "1" ]; then
# A refresh meta tagból kivesszük, hogy hány mp-enként kell frissíteni,
# és hová, ha nem erre az oldalra
VARSEC=`sed -ne 's/^.*<META.*HTTP-EQUIV *= *"refresh".*content *= *"\([[:digit:]]*\)[ ;"].*/\1/ip' "$TMPFILE"`
if [ -z "$VARSEC" ]; then
echo "Nem találom az oldal frissítésének idejét!"
rm -f "$TMPCOOKIE"
return "$HIBA"
fi
UJURL=`sed -ne 's/^.*<META.*HTTP-EQUIV *= *"refresh".*content *= *"[[:digit:]]*; *URL *= *\([^" ]*\)[ "].*$/\1/ip' "$TMPFILE"`
if [ -z `echo "$UJURL" | sed -ne 's@^\(http://[^/]*\)/.*$@\1@ip'` ]; then
# ha nincs az elején http://szervenév, akkor odaírjuk az fsx-es szervert
UJURL="$FSXSERVER$UJURL"
fi
if [ -z "$UJURL" -o "$UJURL" == "$FSXURL" ]; then
REFRESH="" # itt már önmagát hívja (mivel dinamikus lap, elvileg változhat, de nem fog)
else
FSXURL="$UJURL"
fi
fi
if grep -iq "a kiv.lasztott f.jl let.lt.s.t megkezdheted" "$TMPFILE"; then
echo
FSXSERVER=`sed -ne 's/^.*<a .*id='\''dlink'\'' .*href="\([^"]*\)".*$/\1/p' "$TMPFILE"`
if [ -z "$FSXSERVER" ]; then
echo "A letölő URL szerverét nem találom: id='dlink'"
rm -f "$TMPCOOKIE"
return "$HIBA"
fi
VEGSOURL=`sed -ne 's/^.*elem\.href *= *elem\.href *+ *"\([^"]*\)".*$/\1/p' "$TMPFILE"`
if [ -z "$VEGSOURL" ]; then
echo "A letöltendő URL-t nem találom: elem.href = elem.href + \"URL\""
rm -f "$TMPCOOKIE"
return "$HIBA"
fi
VEGSOURL="$FSXSERVER$VEGSOURL"
if teljes "$TARGETDIR" "$VEGSOURL"; then
echo "A file már le volt töltve, nem töltöm le újra: $VEGSOURL"
rm -f "$TMPCOOKIE"
return "$OK"
fi
if ! try "wget -T 30 --cookies=on --keep-session-cookies --load-cookies \"$TMPCOOKIE\" $HEADERS --limit-rate=\"$LIMIT_RATE\" -P \"$TARGETDIR\" \"$VEGSOURL\""; then
echo "Az állomány letöltése nem sikerült: $VEGSOURL"
rm -f "$TMPCOOKIE"
return "$HIBA"
fi
rm -f "$TMPCOOKIE"
return "$OK"
else
SZALDB=`sed -ne 's/^.*ingyenes let.lt.-sz.lak:.*<strong> *\([[:digit:]]\+ *\/ *[[:digit:]]\+\)db.*$/\1/ip' "$TMPFILE"`
FELHDB=`sed -ne 's/^.*<strong>\([[:digit:]]\+\)<\/strong>.*felhaszn.l. van el.tted.*$/\1/ip' "$TMPFILE"`
if [ -z "$FELHDB" ]; then
echo -e "\nHiba: nem találom az előttünk lévő felhasználók számát!"
rm -f "$TMPCOOKIE"
return "$HIBA"
fi
echo -ne "Felhasználók előttünk: $FELHDB (szálak: $SZALDB) ... \r"
sleep $VARSEC
fi
done
}
# Megvizsgáljuk, hogy egy file le van-e töltve teljesen
# Paraméterek: 1. directory, ahová menteni kell
# 2. URL, ahonnét tölteni kell
# Visszatérési érték: $OK = le van töltve, $HIBA = nincs letöltve
function teljes {
DIR="$1"
URL="$2"
# header lekérése
echo -n "Header lekérése ... "
if ! try "wget -S --spider \"$URL\" 2>\"$TMPFILE\""; then
echo "nem sikerült."
return "$HIBA"
fi
echo "sikerült."
# a filenév
# FNEV=`sed -ne 's/^ *=> \`\([^'\'']*\)'\''.*$/\1/gp' "$TMPFILE"`
FNEV=`sed -e '2!d' -e 's/^ *=> *//g' -e 's/\`//g' -e 's/'\''.*$//g' -e 's@^.*/@@g' "$TMPFILE"`
if [ -z "$FNEV" ]; then
# nem találja a filenevet, letöltjük újra
echo "Nem találom a filenevet!"
return "$HIBA"
fi
PFNEV="$DIR/$FNEV"
if [ ! -e "$PFNEV" ]; then
# nem létezik a file, le kell tölteni
return "$HIBA";
fi
# a file-t más használja, kilépés
if lsof -- "$PFNEV" >/dev/null 2>&1; then
echo "A file-t más is használja: $PFNEV"
exit "$HIBA"
fi
# a file mérete byte-ban
LEN=`sed -ne 's/^ *content-length *: *//gpi' "$TMPFILE"`
if [ -z "$LEN" ]; then
echo "Nem találom a file hosszát!"
return "$HIBA"
fi
# a meglévő file mérete byte-ban
FHOSSZ=`ls -l "$PFNEV" | sed -ne 's/^[^ ]* *[^ ]* *[^ ]* *[^ ]* *//' -e 's/ .*$//p;q'`
if [ "$LEN" -eq "$FHOSSZ" ]; then
# teljes hosszan le van töltve, nem kell letölteni
return "$OK"
fi
# a file létezik, de nem teljesen volt letöltve
rm -f "$PFNEV"
return "$HIBA"
}
# Várkozás
# Paraméterek: 1. a várakozás ideje másodpercben
# 2. ahol éppen járunk (híváskor nem kell megadni)
function varakozas {
MAX="${1:-0}"
IDO="${2:-0}"
echo -ne "\rVárakozás $IDO/$MAX mp ..."
if [ "$IDO" -ge "$MAX" ]; then
echo ""
return
fi
sleep 1
varakozas "$MAX" "`expr \"$IDO\" + 1`"
}
# Parancsot próbál végrehajtani
# Paraméterek: 1. a végrehajtandó parancs
# 2. kiírandó szöveg (default üres, és nem ír ki semmit)
# 2. ennyiszer próbálkozik maximum (default $DEFTRY)
# 3. ennyiedik próbálkozás (ezt nem kell átadni, csak a rekurzió miatt kell)
function try {
PARANCS="$1"
SZOVEG="$2"
MAXDB="${3:-$DEFTRY}"
DB="${4:-1}"
if [ -n "$SZOVEG" ]; then
echo "$SZOVEG ($DB / $MAXDB) ... "
fi
if eval "$PARANCS"; then
return "$OK"
fi
if [ "$DB" -lt "$MAXDB" ]; then
try "$PARANCS" "$SZOVEG" "$MAXDB" "`expr \"$DB\" + 1`"
else
return "$HIBA"
fi
}
# Szervertől függően meghív egy letöltő függvényt
function letolt {
echo "-----------------------------------------------------------------------"
echo "Lekérés: $URL"
SERVER=`echo "$URL" | sed -e 's@^.*http://@@' -e 's@/.*$@@'`
case "$SERVER" in
"$SERVER_DATA") get_data;;
"$SERVER_RAPID") get_rapidshare "$URL";;
"$SERVER_HREF") get_href;;
*."$SERVER_FSX") get_fsx;;
*) echo "Nem implementált szerver: \"$SERVER\"";;
esac
}
if [ $# -lt 1 ]; then
echo "A script használata:"
echo "`basename \"$0\"` lista_file [mentési_könyvtár] [parancs]"
exit "$HIBA"
fi
URLFILE="$1"
if [ ! -r "$URLFILE" ]; then
echo "Az állományt nem tudom olvasni: \"$URLFILE\""
exit "$HIBA"
fi
TARGETDIR="${2:-`pwd`}"
if [ ! -d "$TARGETDIR" ]; then
echo "A könyvtár nem létezik: \"$TARGETDIR\""
exit "$HIBA"
elif [ ! -r "$TARGETDIR" -o ! -w "$TARGETDIR" -o ! -x "$TARGETDIR" ]; then
echo "A könyvtárra nincs meg az olvasás, írás és keresés jogosultság: \"$TARGETDIR\""
exit "$HIBA"
fi
COMMAND="$3"
TMPFILE=`mktemp -q -t get_files.XXXXXXXX`
if [ -z "$TMPFILE" ]; then
echo "Ideiglenes állomény létrehozása nem sikerült"
exit "$HIBA"
fi
# más karakterkészlettel rendelkező HTML file-okat is tudjunk kezelni
export LANG=C
echo "Filmletöltés a \"$TARGETDIR\" könyvtárba."
shopt -s nocasematch
for URL in `grep -i "http://" "$URLFILE"`; do
letolt "$URL"
done
rm -f "$TMPFILE"
# ha volt parancs a befejés után, akkor végrehajtjuk
if [ -n "$COMMAND" ]; then
eval "$COMMAND"
fi
viszont a data iszonyat lassú most nap közben, remélem este jobb lesz.
call 1412. 
ilyen extrákra nem is számítottam, amikor letöltöttem a scripted