Problem mit dem Laden bestimmter Webseiten (war: Indy läd manche Seiten nicht)



  • Hallo, ich habe ein Problem, das meiner Meinung nach extrem schwerzu lösen sein dürfte. Und zwar geht es darum, dass ich Seiten mit IdHttp herunter laden will. Funktioniert auch problemlos.
    Bei der Website handelt es sich um Onlinebücher die über http://adresse/s/<<Story ID>>/<<Kapitel ID>>/ angesprochen werden. So weit ich weiß handelt es sich bei dem Webserver um ein Clustersystem.

    Bei 90% der Bücher funktioniert es einwandfrei, die Seiten werden aufgerufen, verarbeitet und gespeichert. Manchmal passiert es aber, dass ich einfach 'nichts' bekomme. An sich ist das nicht unüblich, da die Seite insbesondere um 17:00 Amerika-durchschnittszeit unter starker Belastung steht. Jedoch ist es bei diesen Geschichten IMMER der Fall. Die Seite ist auch online, da dieselbe URL im Browser ein Ergebnis bringt.

    IdHTTP *http=new TIdHTTP(0);
           http->HandleRedirects=true;
           String Seite=http->Get(adress2);
    

    Wenn ich es mit dem Debugger durchgehe, bleibt er dann immer beim http->Get stehen und macht einfach nichts mehr.....
    Ein Beispiel ist
    http://www.fanfiction.net/s/2667564/1/
    Die Seite ist Problemlos mitm Browser aufrufbar, jedoch bekomme ich nichts in meinen String rein.

    (Sry wegen fehlenden Buchstaben, die Laptoptastatur macht beim Streik der öffentlichen Dienste mit)

    mfg
    Raimond



  • raimond schrieb:

    http://www.fanfiction.net/s/2667564/1/

    Erzeugt in meinem Browser (Firefox 1.5.1) eine leere Seite, Seitenquelltext ist auch leer.
    Dito für IE6.1.



  • Ich wäre glücklich wenn es so wäre, denn dann hätten wir unser Problemja geunden.

    Ich hab den Link mit der Bitte nach überprüfung mal großflächig verteilt... ca 50% haben ein Problem damit, 50% nicht... bei mir lässt sich die Seite problemlos aufrufen (Inet Cache ausgeräumt), auch von PCs aus, die noch nie auf dieser Seite waren.

    Vorschläge? Oder ist das einfach ein Mysterium?

    mfg
    Raimond

    *edit*: Obwohl ich die Seite aufrufen kann, bekommt indy bei mir keine daten.../edit



  • Dieser Thread wurde von Moderator/in Jansen aus dem Forum VCL/CLX (Borland C++ Builder) in das Forum Rund um die Programmierung verschoben.

    Im Zweifelsfall bitte auch folgende Hinweise beachten:
    C/C++ Forum :: FAQ - Sonstiges :: Wohin mit meiner Frage?

    Dieses Posting wurde automatisch erzeugt.



  • Ein Aufruf mit wget

    me@server:~$ wget http://www.fanfiction.net/s/2667564/1/
    --21:08:42--  http://www.fanfiction.net/s/2667564/1/
               => `index.html.3'
    Auflösen des Hostnamen »www.fanfiction.net«.... 209.151.227.69
    Verbindungsaufbau zu www.fanfiction.net|209.151.227.69|:80... verbunden.
    HTTP Anforderung gesendet, warte auf Antwort... 503 Service Unavailable
    21:08:43 FEHLER 503: Service Unavailable.
    


  • Bei dir ist die ganze Seite nicht verfügbar, demnach war dieses Ergebnis zu erwarten. Wenn die Website offline ist, ist ja auch klar, wieso mein Programm nichts macht. Aber wenn die Website für mich verfügbar ist, wieso tut dann das Programm nicht?

    Bei der Website tritt es öfters mal auf, dass bestimmte Inhalte für manche Personen nicht aufrufbar sind... niemand weiß aber, wieso das Auftritt. Es ist auch nicht auf bestimmte Prvider/Länder begrenzt.

    Deshalb ist für mich auch nur die Frage wichtig, wieso das eine tut, wenn das andere offensichtlich kein Ergebnis bringt.

    (Gerade hat sich der Webserver zu 100% verabschidet...) Ich habe es jetzt über Tage beobachtet, an überbelastung des Servers kanns nicht liegen.

    (Danke fürs Verschieben, ich werde die Themenerstellung ab sofort richtig machen)



  • raimond schrieb:

    Bei der Website tritt es öfters mal auf, dass bestimmte Inhalte für manche Personen nicht aufrufbar sind...

    Wieso "verdächtigst" du dann die Indy-Komponenten, wenn bekannt ist, dass der Server diese Probleme öfter hat!?
    Wahrscheinlich sollten die statt ihres komischen Solaris/LiteSpeed-Gespanns mal was vernünftiges aufsetzen.

    Jetzt eben konnte ich die von dir genannte URL übrigens erfolgreich aufrufen, scheinbar wurde der Server gerade neu gestartet o.ä.



  • Meine Einschätzung mit Indy war vermutlich Falsch, doch zu diesem ZEitpunkt bin ich davon ausgegangen, dass die Website bei allen Problemlos funktioniert.

    Die angesprochene Geschichte kann ich nach dem kurzen down der Seite jetzt auch wieder aufrufen, indy liefert aber immer noch nichts zurück.......



  • Offenbar ist der Server nicht in der Lage, konsistent normgerecht zu antworten.
    Ein Testaufruf über validator.w3.org ergab grad auch einen 503, obwohl sich die Seite selbst im Browser aufrufen lässt.



  • Hab inzwischen noch ein paar Stroys gefunden, die ähnlich reagieren....

    erstaunlicherweise ist es immer nur ein Kapitel. wenn du statt http://www.fanfiction.net/s/2667564/1/ das Zweite Kapitel, also http://www.fanfiction.net/s/2667564/2/ testest, dann funktioniert es problemlos.

    Mal schauen ob ich irgendwann mal einen Admin sprechen kann......

    Was anderes als mit dem Problem zu leben bleibt mir ja vermutlich nicht, oder?



  • Soooo,

    ich wärme dieses alte Thema mal wieder auf, falls mal wieder ein Problem dieser Art auftritt hier die Lösung:

    Bisher: Download der Seiten mit indy->http->get, wenn das fehlschlägt öffnen im cpp webbrower und rauskopiren des Textest. (Notlösung)

    Hier im Forum gibt es ja zur Zeit ein Thema über Sockes mit Wiki Link, dort gibts dann eine Seite mit der man http request und antwort betrachen kann. Damit habe ich mal rumgespielt,und mir ist folgendes aufgefallen:

    Wenn eine Seite mit Get nicht übermittelt wird, dann funktioniert es trotzdem mit Post.

    Ich habe zwar keine Ahnung wieso, aber jetzt klappts.

    N8

    Rai


Anmelden zum Antworten