Viele verschiedene Downloads (dessen Link nur über eine Website zu erreichen ist) besser managen

Hi,

ich habe einen Server. Und immer wieder mal möchte ich Sachen von Filehostern herunterladen. Wenn es nur eine Datei ist oder mehrere aber alle Einzelt heruntergeladen werden müssen, muss zu erst der Link über eine Website für die der Link in dieser Session extra erstellt wird, erreicht werden. Dabei ist dann die Adresse nicht textlich sichtlich, sondern der Downloadauftrag wird einfach angefragt (Script).

Also wie bekomme ich einen erreichten Link nun sauber in ein anderes Programm? Ein Programm was auf dem Server laufen kann und sauber die Datei herunterladen kann und bei bedarf für diese Verbindung eine benutzerdefinierte Proxy-Verbindung nimmt.

Oder gibt es auch kein Add-on für Firefox, wo es die Probleme bei Filehostern wie bei Downthemall nicht gibt? Oder was eignet sich bei Ubuntu sonst? Die Downloads brechen einfach zu oft ab.

Shade Of Mine

Schau dir mal JDownloader an.
Ich denke das ist das was du suchst.

Interessantes Programm. Installation ist bei Ubuntu recht easy. Allerdings musste ich den Flashgot über Firefox selbst installieren. Komisch eigentlich, das es nicht einfach direkt einen Kontext-Eintrag für den JDownloader im Download-Dialog von Firefox gibt.

Ansonsten mein Manko ist, dass die Schrift ziemlich klein ist. Kann man die irgendwie vergrößern?

Leider kann man nur global für den JDownloader einen Proxy festlegen und nicht pro Verbindung. Entweder ich lege mehrere JDownloader-Ordner und mehrere Firefox-Profile an - wobei das die eine und die selbe jar ist. könnte also Probleme geben. Geht vielleicht nur, wenn alle JDownloader.jars in einem Container gestartet werden - oder ich bastele mir einen Proxy, der einfach erfassbar, die Verbindungen von einander unabhängig darbietet und dann jede Verbindung auf einen anderen Proxy umleiten kann. Mit welcher Sprache und welcher Bibliothek geht das am besten oder gibt es da günstige Jobber?

hustbaer

Du könntest mal gucken ob man Squid so hinkonfigurieren kann dass er macht was du willst.

hustbaer schrieb:

Du könntest mal gucken ob man Squid so hinkonfigurieren kann dass er macht was du willst.

Hast Du eine konkrete Ahnung wo Squid das anbieten könnte bzw. wie Du meinst wo ich (Programm? / Dokument?) das nachschauen sollte? Oder gibt es eine Bezeichnung für das was ich meine?

Shade Of Mine

KeinPlan2 schrieb:

Ansonsten mein Manko ist, dass die Schrift ziemlich klein ist. Kann man die irgendwie vergrößern?

JDownloader ist ziemliche Schrottsoftware - aber das einzige Programm dass so ziemlich alles runter laden kann.

Wenn du eine vernueftige Loesung fertig hast, bitte Poste die irgendwo hier im Forum. Ich sehe mich schon lange nach was besserem als den jdownloader.

hustbaer

Wenn es mit Squid geht, dann logischerweise nur über irgendwelche Config-Settings.
Demzufolge würde ich mal in der Dokumentation der Config-Settings nachgucken.

Halt alle Einstellungen durchsehen die damit zu tun haben dass Squid selbst wieder nen Proxy verwendet.

Hab' grad selber mal nachgesehen - sieht so aus als könnte Squid nicht abhängig von der URL entscheiden welcher Proxy verwendet werden soll.

hustbaer schrieb:

Wenn es mit Squid geht, dann logischerweise nur über irgendwelche Config-Settings.
Demzufolge würde ich mal in der Dokumentation der Config-Settings nachgucken.

Halt alle Einstellungen durchsehen die damit zu tun haben dass Squid selbst wieder nen Proxy verwendet.

Hab' grad selber mal nachgesehen - sieht so aus als könnte Squid nicht abhängig von der URL entscheiden welcher Proxy verwendet werden soll.

Für mich wäre nicht eher eine Sortierung nach URL wichtig, sondern dass mehrere Verbindungen, dessen Ziel im selben Adressraum liegt oder die selbe TOP-Domain haben, nicht die selbe Herkunfts-IP-Adresse haben. Also so das es dem einen Server so verkommt, als kämen die mehreren Verbindungen (Downloads) nicht von mir, sondern nur eine (vorausgesetzt ich leite einen einzigen nicht über einen weiteren Proxy um).

hustbaer

Achsooooo... jetzt verstehe ich was du machen willst.
Naja, Squid kann man glaube ich so einstellen dass er mehrere Proxies "round robin" durchrotiert.
Weiss nicht ob das für dich reicht, denn dabei wird die angefragte URL vollkommen ignoriert.
D.h. wenn du 2 Proxies hast, und dann in der Reihenfolge abfragst

GET A.com/foo
GET B.com/xxx
GET A.com/bar

dann werden die beiden Requests an A.com über den selben Proxy gehen.

Irgendwie funktioniert das so leider sowieso nicht. Man müsste irgendwie dem JDownloader oder Squid mitteilen, welchen Proxy man im Firefox (mit FoxyProxy) benutzt hat, wo man den Download-Script-Button auf der Website angeklickt hat hat, damit dann der Transport auch genau über diesen Proxy gemacht wird.

Mein Problem ist, dass ich wegen der Anonymität FoxyProxy verwende, um nicht immer nur über einen Proxy zu erscheinen, sondern je nach dem was ich aufrufe, über einen anderen komme, um überhaupt keine Rückschlüsse auf mich ziehen zu können. Da aber JDownloader wieder seine eigene Netzwerkeinstellungen bezieht, würde dann ein FileHoster die Anfrage von ihm verweigern, da seine IP-Adresse anders ist, als die über die ich die Website aufgerufen habe.