Mit C++ Internetseiten durchsuchen

Sapzero

Hi,
ich arbeite an einem Projekt, welches ein Programm sein soll, dass wie ein Formular aufgebaut ist.
Mit diesem Programm möchte ich spezifische Internet Seiten durchsuchen und die Links und Informationen auslesen.

Nun zu meiner Frage ich arbeite mit Borland C++ 2009. Im Internet habe ich schon die MSDN Library durchgelesen und habe ein paar
Klassen gefunden unteranderem: [http://msdn.microsoft.com/de-de/library/cttkhz64.aspx Cinternetsession], [http://msdn.microsoft.com/de-de/library/0z6f3y99.aspx Chttpconnection], ...
Ist es überhaupt möglich mit diesen Klassen sich auf Internet Seiten zu verbinden um Informationen auszulesen?

Oder ist dies effektiver mit einem Socketclient zu lösen?
Für mich wäre dabei die Geschwindigkeit und Auslastung des Rechners wichtig.

Würde mich auf eine baldige Antwort freuen.

Gruß

Sapzero

http://board.gulli.com/thread/1456784-mit-c-internetseiten-durchsuchen/

Sapzero

Große Hilfe von dir.
Ist es verboten auch in anderen Foren zu Posten?

Immer diese destruktiven Beiträge

Sapzero schrieb:

Oder ist dies effektiver mit einem Socketclient zu lösen?

mit python gehts ganz einfach
import urllib.request

req = urllib.request.Request('http://www.voidspace.org.uk')
response = urllib.request.urlopen(req)
the_page = response.read()

Ist es verboten auch in anderen Foren zu Posten?

Nicht verboten, aber das wird überhaupt nicht gerne gesehen. Ich hoffe du kriegst keine Antwort.

unskilled

detector schrieb:

Ist es verboten auch in anderen Foren zu Posten?

Nicht verboten, aber das wird überhaupt nicht gerne gesehen. Ich hoffe du kriegst keine Antwort.

quark xD

naja - du solltest dir zu allererst mal klarwerden, ob es für versch. Plattformen gehen soll oder nur unter Windows und wovon du dich vll noch abhängig machen möchtest...
borland komponenten(vcl) - da wirds sicherlich eine geben, die dich (fast) direkt ans ziel führt
oder was weiß ich, was es nich noch alles noch gibt - das hier ist aber ein forum für standard C++ (und boost).
womit wir auch schon bei der unabhängisten methode wären:
boost-asio
wird aber auf jeden fall mehr arbeit sein, als was fertiges zu verwenden

Die WinApi bietet da auch ne Möglichkeit an:
DownloadUrlToFile oder so was in der Richtung...
Vermutlich die bequemste Methode - ich würd vermutlich erst mal die nehmen und später - wenn sich herausstellen sollte, dass es so zu langsam ist oder so - umsteigen...

bb

Sinthoras

Ein Beispiel mit Sockets:

Verbindung zum Server (bspw. spiegel.de) aufbauen (Port 80) und dann folgendes senden:
"GET /politik/deutschland/0,1518,654491,00.html HTTP/1.1\r\nHost: www.spiegel.de\r\nConnection: close\r\n\r\n"

Würde dir den Artikel:
http://www.spiegel.de/politik/deutschland/0,1518,654491,00.html
liefern.

Was jetzt effektiver ist, weiß ich nicht, aber so würde es gehen.

Sinthoras

Bin gerad zufällig auch noch auf das gestoßen:
http://magazin.c-plusplus.net/artikel/Sockets und das HTTP-Protokoll
Vielleicht kannst du das benutzen.