wget - HTTP-Error 403 obwohl ich mit Browser drauf komm ?!?

schrankwand

Hi,

wenn ich die Seite http://www.unix.org.ua/orelly/unix/sedawk/index.htm versuche mit wget zu holen bekomm ich "ERROR 403 Forbidden." obwohl ich die Seite mit dem Browser (Firefox und Internet Explorer) ganz normal anzeigen kann.

Wie kann das sein? Gibt es vielleicht einen Parameter von wget mit dem ich das umgehen könnte?

Gruß
Schrankwand

Guck mal ob es einen Parameter gibt mit dem man den User-Agent verändern kann. Den änderst du am besten auf nen leeren String. Dann sollte es gehen.

hab mal in der manpage nachgeguckt.

wget -U "" ...

schrankwand

Mit

wget -U "" http://www.unix.org.ua/orelly/unix/sedawk/index.htm

geht es nicht, aber wenn ich z.B. den Firefox-Browser vorgaukel funktioniert es:

wget -U "Mozilla/5.0 (Windows; U; Windows NT 5.1; de-DE; rv:1.7.10) Gecko/20050717 Firefox/1.0.6" http://www.unix.org.ua/orelly/unix/sedawk/index.htm

Anscheinend wollt da jemand verhindern, dass ich mir mit wget -r dieses E-Book runterlade. :p

Danke für deinen Hinweis.

Gruß
Schrankwand

nman

schrankwand schrieb:

Anscheinend wollt da jemand verhindern, dass ich mir mit wget -r dieses E-Book runterlade. :p

Blödsinn, -U "" geht nicht, weil der UserAgent nicht leer sein darf:

~ % wget -U "" http://www.unix.org.ua/orelly/unix/sedawk/index.htm
wget: useragent: Invalid value `'.

Jeder weiß doch, dass man den Useragent bei wget frei wählen kann, davon würde ich auch niemanden bei unix.org ausnehmen...

wie meinen?

nman

quote schrieb:

wie meinen?

Naja, warum sollte jemand versuchen, zu verhindern, dass man sich das Ebook so herunterladen kann, wenn er noch dazu genau weiß, dass das nichts bringt, weil man es mit einer einzelnen Kommandozeilen-Option umgehen kann?

schrankwand

nman schrieb:

schrankwand schrieb:

Anscheinend wollt da jemand verhindern, dass ich mir mit wget -r dieses E-Book runterlade. :p

Blödsinn, -U "" geht nicht, weil der UserAgent nicht leer sein darf:
~ % wget -U "" http://www.unix.org.ua/orelly/unix/sedawk/index.htm
wget: useragent: Invalid value `'.

Das stimmt, aber ich halte es dennoch für möglich das jemand so verhindern wollte, dass man die Seite anders als über einen konventionellen Browser aufrufen kann.

nman schrieb:

Jeder weiß doch, dass man den Useragent bei wget frei wählen kann

Naja ich kenn einen Haufen von Leuten (u.A. Programmierer und Administratoren) die wissen noch nicht mal was wget ist und kennen Unix/Linux nur vom Namen her.

nman

schrankwand schrieb:

Das stimmt, aber ich halte es dennoch für möglich das jemand so verhindern wollte, dass man die Seite anders als über einen konventionellen Browser aufrufen kann.

Glaube ich nach wie vor nicht, immerhin kannst Du da ein paar Bytes aus /dev/random in den User-Agent setzen und Du bekommst die Seite trotzdem.
Und viele Download-Utilities übermitteln einen eigenen User-Agent.

nman schrieb:

Naja ich kenn einen Haufen von Leuten (u.A. Programmierer und Administratoren) die wissen noch nicht mal was wget ist und kennen Unix/Linux nur vom Namen her.

Klar, aber bestimmt nicht die Leute von unix.org!

DrGreenthumb

Also fakt ist, dass sie wget blocken.

da kannst du auch fragen warum es kopierschütze gibt, wenn man sie ja doch cracken kann.

nman

DrGreenthumb schrieb:

Also fakt ist, dass sie wget blocken.

Klar, aber dabei gings dann bestimmt nicht darum, dass sie einem den Zugriff nur via Browser erlauben wollen, sondern das Ganze war höchstwahrscheinlich ein erster freundlicher Hinweis an irgendjemanden, der die Seite unerlaubterweise gespiegelt hat.

da kannst du auch fragen warum es kopierschütze gibt, wenn man sie ja doch cracken kann.

Naja, wenn ich um den Kopierschutz zu umgehen nur statt "playmydvd" "playmydvd --disable-copyprotection" verwenden müsste, dann würde das den Namen Kopierschutz nicht verdienen.

nen paar noobs kann man auf jeden fall mit der methode abblocken!