PREMIUM RAPIDSHARE DOWNLOAD (SCRIPTING)

[d.stathopoulos]

α) κάνουμε download από το rapidshare to authentication cookie:

wget --save-cookies ~/.cookies/rapidshare --post-data "login=USERNAME&password=PASSWORD" -O https://ssl.rapidshare.com/cgi-bin/premiumzone.cgi > /dev/null

όπου USERNAME to όνομα χρήστη και PASSWORD το password.
αν δεν υπάρχει το directory ~/.cookies απλά το φτιάχνουμε.
όλη η πληροφορία για login στο rapidshare υπάρχει πλέον στο αρχείο:

~/.cookies/rapidshare

κάνοντας cat ~/.cookies/rapidshare μπορούμε να δούμε τα credencials μας

b) μετά μπορούμε να κατεβάσουμε οποιοδήποτε αρχείο από το rapidshare με την εξής εντολή:

wget -c --load-cookies ~/.cookies/rapidshare "rapidshare URL"

π.χ
wget -c --load-cookies ~/.cookies/rapidshare "http://rapidshare.com/0001/file.part1.rar"

c) για να αυτοματοποιήσουμε την διαδικασία μπορούμε να φτιάξουμε ένα script που δίνοντας του σαν input ενα txt αρχείο που περιέχει τα rapidshare URLs να παράγει ενα download script για το content που θέλουμε να κατεβάσουμε.
Π.χ. έχω το

batman.txt που περιέχει:

$> cat batman.txt
http://rapidshare.com/0001/file.part1.rar
http://rapidshare.com/0001/file.part2.rar
http://rapidshare.com/0001/file.part3.rar

-το txt το έχω φτιάξει κάνοντας copy paste τα URL από σελίδα στο internet.

μετά τρέχω:

$>./rapidshare.sh batmant.txt
αυτό παράγει:

$>batman.sh

μετά:

$>./batman.sh
αρχίζει και κατεβάζει όλη τα files...
προσοχή το αν τα files είναι password protected - πρέπει να κάνω αλλού save το password.

ο κώδικας για το rapidshare.sh είναι:

#!/bin/bash

# Made by sip03ds
# This is a script that is used to download from rapidshare
# The script gets as an input a text file that contains the rapidshare links
# The script creates the command arround the links that will download the files and passes the to a new script
# The script alters the permissions of the new script 
# The script executes the new script 

NUMBER_OF_FILES="$#";
ALL_FILES="$@";

if [ $NUMBER_OF_FILES -gt 0 ];
then
	for ARG in $ALL_FILES
	do
		FILE=$ARG;
		if [ -f $FILE ];
		then
			echo "Processing file $FILE";
			NEW_FILE=`echo $FILE | sed 's/txt/sh/'i`;
			cat $FILE | awk '{print("wget -c --load-cookies ~/.cookies/rapidshare \""$0"\"")}' > ../$NEW_FILE;
			chmod 744 ../$NEW_FILE && rm $FILE
		else
			echo "The file: $FILE supplied does not exist";
		fi
	done
else
	echo "You have not supplied any files";
fi

d) (ΝΟΤ Safe 100% - under development) - αν βαρεθούμε το copy paste σε txt υπάρχει και η λύση του script που έχει σαν input το URL της σελίδας του internet και κατεβάζει OTI rapidshare URL βρεί πάνω στην σελίδα.
Π.χ.
$>./getFromRapidshare.sh http://www.files.org/index.html

αυτό το κατεβάσει ότι rapidshare links υπάρχουν στην σελίδα index.html.

#!/bin/bash

# This script is created by Dimitris Stathopoulos.
# The purpose of the script is to download the rapidshare links contained in an html page.
# The input of the script is the URL of the page that contains the rapidshare links.
# The script downloads the URL via wget.
# The script parses the HTML got via wget in order to find the rapidshare links. 
# The script creates a txt file with all the rapidshare links. 
# The script creates the shell script used to download the links with the aid of the txt file. 

NUMBER_OF_URLS="$#";
ALL_URLS="$@";

# Validate if the user has supplied URLs.
if [ $NUMBER_OF_URLS -gt 0 ];
then
	for ARG in $ALL_URLS
	do
		URL=$ARG;
		wget -q -O  html.html $URL;
		HTML_PAGE=html.html
		# echo "The HTML page is: $HTML_PAGE";
		# Need to add Check if the HTML page contains rapidshare links
		# IF it contains then:
		cat $HTML_PAGE | sed 's/</\n/g' | sed 's/>/\n/g' | grep 'http://rapidshare.com/files' > rapidsharelinks.txt;
		LINKS=rapidsharelinks.txt;
		# echo "The rapidshare links are: ";
		# cat $LINKS;
		echo "OLA KALA";
		cat $LINKS | awk '{print("wget -c --load-cookies ~/.cookies/rapidshare \""$0"\"")}'  > ../rapid.sh;
		chmod 744 ../rapid.sh;
		rm $LINKS;
		rm $HTML_PAGE;
		../rapid.sh;
		rm ../rapid.sh;		
	done 
else
	echo "You have not supplied any URLs. Please supply with valid URLs that contain rapidshare links.";
fi

προσοχή το αν τα files είναι password protected - πρέπει να κάνω αλλού save το password.

[mrsaccess]

Ωραίος!
Θα σου προτείνω όμως, επειδή παλιά και εγώ με wget και script το έκανα, να κοιτάξεις και το aria2.

Είναι και αυτός download manager για κονσόλα, επίσης ελαφρύς και έχει το καλό πως είναι multithreaded, multisegmented και resumable.
Δηλαδή στο aria2 για να πεις να κατεβάσεις 3 αρχεία ταυτόχρονα με 2 segments το καθένα για πιο γρήγορα θα έτρεχες:

$ aria2c -s2 -j3 --load-cookies /path/to/cookie -i batman.txt

Αν θέλεις να σταματήσει απλά κάνεις control+c και για να συνεχίσεις ξανατρέχεις την παραπάνω εντολή.
Επίσης σημαντικό είναι πως κάνει preallocation του χώρου ώστε να μην δημιουργεί fragmentation στο σκληρό.

[hammered]

Επισης δεν χρειάζεται να κάνεις script για να δώσεις στο wget ένα txt με URL. Το δίνεις κατευθείαν με:

wget -i url.txt

ή

 wget -input=url.txt

[d.stathopoulos]

οκ, και authentication για τον premium account πως θα κάνεις?

[mrsaccess]

Κανονικά, με το διακόπτη που χρησιμοποιείς και εσύ (--load-cookie).

[d.stathopoulos]

έλα ντε!

[mrsaccess]

Ένα scriptάκι που επίσης μπορεί να φανεί χρήσιμο (για αυτό το είχα φτιάξει άλλωστε ) είναι το παρακάτω που ελέγχει αν υπάρχουν τα links:

#!/bin/bash
# Check for dead rapidshare links
# official filename: mrschklnks
# by And.Marios - mrsaccess.

wget --spider --load-cookie /path/to/cookie -i $1 2>&1 | \
 grep -E -o "http.*|Length.*|Remote file.*" | \
 sed -e 's/Length: \(.*\) (.*/\1/' | \
 tr '\n' ' ' |  \
 sed -e 's/ http/\nhttp/g' > $2

echo >> $2

cat $2 | while read i; do
        if echo $i | grep -sq -i further; then
                echo -e "\033[31;1m$(echo $i|sed -e 's/ Remo.*/ File inexistent!/')\033[0m"
        else
                echo $i | sed -e 's/ Remo.*//'
        fi
done

Θυμήσου μόνο να αλλάξεις τη γραμμή που φορτώνει το cookie (bold).

Το τρέχεις κάπως έτσι, έστω το script λέγεται mrschklnks και έχεις μια λίστα με links, την list.txt:

$ mrschklnks list.txt list2.txt

Καθυστερεί λίγο αλλά μην σε ενοχλεί.
Διαβάζει την λίστα list.txt και σου τυπώνει στην οθόνη αλλά και στο αρχείο list2.txt ποια υπάρχουν (το μέγεθός τους) και ποια είναι νεκρά.

Θα μπορούσε να μη γράφει νέο αρχείο αλλά έτσι το χρειαζόμουν και έτσι το έφτιαξα, όποιος θέλει μπορεί να το αλλάξει!