<![CDATA[Selbstversuch, eigener Webcrawler]]>hallo community, ich plane einen eigenen Webcrawler zu schreiben, der Seiten nach links durchforsten , indizieren und lesen und bestimmte ergebnisse auf meiner Festplatte speichern kann. Ich will dazu genau wie google c++ verwenden, genauergesagt wxwidgets(die daten sollen auch noch weiterverarbeitet werden). Wie würdet ihr vorgehen. Muß sich ein crawler an die robots.txt halten, eurer ansicht nach? Wie schaffe ich es, dass beim user in den logfiles sowas steht wie beim googlebot?

mfg cruel

]]>https://www.c-plusplus.net/forum/topic/187079/selbstversuch-eigener-webcrawlerRSS for NodeWed, 01 Jul 2026 09:48:40 GMTSun, 15 Jul 2007 15:22:28 GMT60<![CDATA[Reply to Selbstversuch, eigener Webcrawler on Sun, 15 Jul 2007 15:22:28 GMT]]>hallo community, ich plane einen eigenen Webcrawler zu schreiben, der Seiten nach links durchforsten , indizieren und lesen und bestimmte ergebnisse auf meiner Festplatte speichern kann. Ich will dazu genau wie google c++ verwenden, genauergesagt wxwidgets(die daten sollen auch noch weiterverarbeitet werden). Wie würdet ihr vorgehen. Muß sich ein crawler an die robots.txt halten, eurer ansicht nach? Wie schaffe ich es, dass beim user in den logfiles sowas steht wie beim googlebot?

mfg cruel

]]>https://www.c-plusplus.net/forum/post/1325953https://www.c-plusplus.net/forum/post/1325953Sun, 15 Jul 2007 15:22:28 GMT<![CDATA[Reply to Selbstversuch, eigener Webcrawler on Sun, 15 Jul 2007 17:24:57 GMT]]>Dieser Thread wurde von Moderator/in HumeSikkins aus dem Forum C++ in das Forum Andere GUIs - Qt, GTK+, wxWidgets verschoben.

Im Zweifelsfall bitte auch folgende Hinweise beachten:
C/C++ Forum :: FAQ - Sonstiges :: Wohin mit meiner Frage?

Dieses Posting wurde automatisch erzeugt.

]]>https://www.c-plusplus.net/forum/post/1326014https://www.c-plusplus.net/forum/post/1326014Sun, 15 Jul 2007 17:24:57 GMT<![CDATA[Reply to Selbstversuch, eigener Webcrawler on Sun, 15 Jul 2007 19:20:58 GMT]]>ein crawler MUSS sich an robots.txt halten

grundsätzlich sollte der kern gui-unabhängig sein (da sich boost, besonders boost::asio für einiges anbietet)

]]>https://www.c-plusplus.net/forum/post/1326089https://www.c-plusplus.net/forum/post/1326089Sun, 15 Jul 2007 19:20:58 GMT<![CDATA[Reply to Selbstversuch, eigener Webcrawler on Sun, 15 Jul 2007 21:19:08 GMT]]>Stimme Ronny zu. Und GUI ist bei einem Crawler eigentlich fehl am Platz.
Es könnte höchstens einen Einstellungsdialog geben, sonst aber eigentlich keine GUI.
Es sei denn, du möchtest die gecrawlten Seiten visualisieren...

Generell würde ich so vorgehen:
boost::asio für HTTP,
boost::spirit fürs parsen der Webseiten
evtl. boost::graph für die Datenhaltung, wenn die Seiten komplexer werden.

wxWidgets wäre imho nur für die Sockets geeignet, bietet dort aber auch keine gute HTTP Implementierung,
so das boost::asio hier imho gleichwertig, und vom "Stil" sogar wesentlich besser ist.

phlox

]]>https://www.c-plusplus.net/forum/post/1326160https://www.c-plusplus.net/forum/post/1326160Sun, 15 Jul 2007 21:19:08 GMT<![CDATA[Reply to Selbstversuch, eigener Webcrawler on Sun, 15 Jul 2007 21:17:44 GMT]]>Dieser Thread wurde von Moderator/in phlox81 aus dem Forum Andere GUIs - Qt, GTK+, wxWidgets in das Forum Rund um die Programmierung verschoben.

Im Zweifelsfall bitte auch folgende Hinweise beachten:
C/C++ Forum :: FAQ - Sonstiges :: Wohin mit meiner Frage?

Dieses Posting wurde automatisch erzeugt.

]]>https://www.c-plusplus.net/forum/post/1326166https://www.c-plusplus.net/forum/post/1326166Sun, 15 Jul 2007 21:17:44 GMT<![CDATA[Reply to Selbstversuch, eigener Webcrawler on Sun, 15 Jul 2007 23:07:11 GMT]]>cruel schrieb:

Muß sich ein crawler an die robots.txt halten, eurer ansicht nach?

Ja!

Wie schaffe ich es, dass beim user in den logfiles sowas steht wie beim googlebot?

Was? Meinst du den User-Agent? Na ganze einfach: Den User-Agent so setzen, wie du willst 🙂 (siehe HTTP-RFC, wenn du nicht weißt was das ist ;))

(und ja: Nimm lieber Boost.Asio)

]]>https://www.c-plusplus.net/forum/post/1326206https://www.c-plusplus.net/forum/post/1326206Sun, 15 Jul 2007 23:07:11 GMT<![CDATA[Reply to Selbstversuch, eigener Webcrawler on Mon, 23 Jul 2007 05:00:54 GMT]]>cruel schrieb:

Muß sich ein crawler an die robots.txt halten, eurer ansicht nach?

nein.

]]>https://www.c-plusplus.net/forum/post/1330491https://www.c-plusplus.net/forum/post/1330491Mon, 23 Jul 2007 05:00:54 GMT<![CDATA[Reply to Selbstversuch, eigener Webcrawler on Tue, 31 Jul 2007 14:12:05 GMT]]>Hallo Leute,
habe den gleichen selbstversuch vor.
Bin allerdings ein C++ Neuling und möchte nun wissen ob Ihr mir zu den gennantem Thema ein paar Bücher oder Quellen vorschlagen könnt, die mir den Einstieg in boost::asio für HTTP,boost::spirit fürs parsen der Webseiten leichter machen.

Grüße von mir!

]]>https://www.c-plusplus.net/forum/post/1335838https://www.c-plusplus.net/forum/post/1335838Tue, 31 Jul 2007 14:12:05 GMT<![CDATA[Reply to Selbstversuch, eigener Webcrawler on Tue, 31 Jul 2007 22:10:44 GMT]]>ronny schrieb:

ein crawler MUSS sich an robots.txt halten

Wer sagt das? Wo steht das geschrieben? Welches Gesetz?

]]>https://www.c-plusplus.net/forum/post/1336180https://www.c-plusplus.net/forum/post/1336180Tue, 31 Jul 2007 22:10:44 GMT<![CDATA[Reply to Selbstversuch, eigener Webcrawler on Tue, 31 Jul 2007 22:58:22 GMT]]>hustbaer schrieb:

ronny schrieb:

ein crawler MUSS sich an robots.txt halten

Wer sagt das? Wo steht das geschrieben? Welches Gesetz?

Der Anstand? Ansonsten ist außerdem die Wahrscheinlichkeit hoch, dass du von diversen Seiten gebannt wirst.

]]>https://www.c-plusplus.net/forum/post/1336201https://www.c-plusplus.net/forum/post/1336201Tue, 31 Jul 2007 22:58:22 GMT<![CDATA[Reply to Selbstversuch, eigener Webcrawler on Wed, 01 Aug 2007 08:46:29 GMT]]>Aus meinen Bookmarks, könnte vielleicht interessant sein:
Build a Web spider on Linux

]]>https://www.c-plusplus.net/forum/post/1336319https://www.c-plusplus.net/forum/post/1336319Wed, 01 Aug 2007 08:46:29 GMT<![CDATA[Reply to Selbstversuch, eigener Webcrawler on Wed, 01 Aug 2007 10:32:46 GMT]]>Ob sich der Crawler an die robots.txt halten sollte hängt wohl stark vom Einsatzzweck ab.
Bei einer Suchmaschine würde ich ja sagen, aber bei einem Programm wie HTTrack würd ich nein sagen.

]]>https://www.c-plusplus.net/forum/post/1336402https://www.c-plusplus.net/forum/post/1336402Wed, 01 Aug 2007 10:32:46 GMT