<![CDATA[Wie googlet google eigentlich?]]>Ich meine: Hat google denn etwa irgendwo ne liste von dns-namen/ip-hostst,m wleches es der reihe nach druchläuft? google braucht ja eine liste von webseiten, die es durchsuchen soll. Aber woher bekomt man diese liste?

]]>https://www.c-plusplus.net/forum/topic/187154/wie-googlet-google-eigentlichRSS for NodeWed, 01 Jul 2026 17:23:01 GMTMon, 16 Jul 2007 13:16:46 GMT60<![CDATA[Reply to Wie googlet google eigentlich? on Mon, 16 Jul 2007 13:16:46 GMT]]>Ich meine: Hat google denn etwa irgendwo ne liste von dns-namen/ip-hostst,m wleches es der reihe nach druchläuft? google braucht ja eine liste von webseiten, die es durchsuchen soll. Aber woher bekomt man diese liste?

]]>https://www.c-plusplus.net/forum/post/1326552https://www.c-plusplus.net/forum/post/1326552Mon, 16 Jul 2007 13:16:46 GMT<![CDATA[Reply to Wie googlet google eigentlich? on Mon, 16 Jul 2007 13:20:27 GMT]]>webcrawler.

]]>https://www.c-plusplus.net/forum/post/1326555https://www.c-plusplus.net/forum/post/1326555Mon, 16 Jul 2007 13:20:27 GMT<![CDATA[Reply to Wie googlet google eigentlich? on Mon, 16 Jul 2007 13:33:40 GMT]]>es gibt nue begrenzt viele IPs

]]>https://www.c-plusplus.net/forum/post/1326562https://www.c-plusplus.net/forum/post/1326562Mon, 16 Jul 2007 13:33:40 GMT<![CDATA[Reply to Wie googlet google eigentlich? on Mon, 16 Jul 2007 13:37:56 GMT]]>Nix IP`s.
Unter einer IP kann es tausende Domains und Subdomains geben welche wiederum tausende Seiten haben.

]]>https://www.c-plusplus.net/forum/post/1326566https://www.c-plusplus.net/forum/post/1326566Mon, 16 Jul 2007 13:37:56 GMT<![CDATA[Reply to Wie googlet google eigentlich? on Mon, 16 Jul 2007 13:43:10 GMT]]>Krux schrieb:

es gibt nue begrenzt viele IPs

klar, sind auch nur 2^32. sind wir mal großzügig, da viele davon ja gar nicht öffentlich zugänglich sind und man diese ausschließen kann, und machen nur 2^31 draus. sind wir weiterhin so großzügig und gönnen dem crawler 2 sekunden spass mit jeder seite. dann braucht er nur knapp 35 jahre, um sich alle IPs mal angeguckt zu haben.

]]>https://www.c-plusplus.net/forum/post/1326575https://www.c-plusplus.net/forum/post/1326575Mon, 16 Jul 2007 13:43:10 GMT<![CDATA[Reply to Wie googlet google eigentlich? on Mon, 16 Jul 2007 13:56:28 GMT]]>a) Gibt es eine möglichkeit google zu sagen "Indexir mal meine Site" (google.com/webmasters ?)
b) Wer von anderen verlinkt wird, der wird auch gefunden (der crawler folgt Links auf Websites)

]]>https://www.c-plusplus.net/forum/post/1326592https://www.c-plusplus.net/forum/post/1326592Mon, 16 Jul 2007 13:56:28 GMT<![CDATA[Reply to Wie googlet google eigentlich? on Mon, 16 Jul 2007 13:59:57 GMT]]>http://infolab.stanford.edu/~backrub/google.html

]]>https://www.c-plusplus.net/forum/post/1326593https://www.c-plusplus.net/forum/post/1326593Mon, 16 Jul 2007 13:59:57 GMT<![CDATA[Reply to Wie googlet google eigentlich? on Wed, 18 Jul 2007 09:09:40 GMT]]>thordk schrieb:

Krux schrieb:

es gibt nue begrenzt viele IPs

klar, sind auch nur 2^32. sind wir mal großzügig, da viele davon ja gar nicht öffentlich zugänglich sind und man diese ausschließen kann, und machen nur 2^31 draus. sind wir weiterhin so großzügig und gönnen dem crawler 2 sekunden spass mit jeder seite. dann braucht er nur knapp 35 jahre, um sich alle IPs mal angeguckt zu haben.

Hm, und wenn, sagen wir 2 crawler im Einsatz sind?
Dann müsste das ganze ja nur noch 17,5 Jahre dauern... ok, machen wir vier, nein acht, besser 300 crawler daraus. Cool, dann ist die Sache in nem knappen Monat erledigt 😉 :p

]]>https://www.c-plusplus.net/forum/post/1327611https://www.c-plusplus.net/forum/post/1327611Wed, 18 Jul 2007 09:09:40 GMT<![CDATA[Reply to Wie googlet google eigentlich? on Wed, 18 Jul 2007 11:00:41 GMT]]>Unix-Tom schrieb:

Nix IP`s.
Unter einer IP kann es tausende Domains und Subdomains geben welche wiederum tausende Seiten haben.

👍 zudem gibt es auch einfach nur seiten zu denen von den domains/subdomains keine verlinkung gibt.

]]>https://www.c-plusplus.net/forum/post/1327691https://www.c-plusplus.net/forum/post/1327691Wed, 18 Jul 2007 11:00:41 GMT<![CDATA[Reply to Wie googlet google eigentlich? on Mon, 23 Jul 2007 05:15:46 GMT]]>google verfügt auch über riesenserver mit riesigen datenbänken.
die inhalte der webseiten werden von den crawlern thematisch indexiert und zu jeder seite existiert ein stichwortkatalog.
darum funktioniert auch sowas: Ergebnisse 1 - 10 von ungefähr 69.200.000 für porno. (0,03 Sekunden)

würden die crawler erst bei einer suchanfrage bei google anfangen im web zu suchen, könnte man u.U. tatsächlich ein paar monate warten, bis man 69.200.000 seiten verfügbar hätte. so dauert das nicht einmal eine zehntel sekunde

]]>https://www.c-plusplus.net/forum/post/1330492https://www.c-plusplus.net/forum/post/1330492Mon, 23 Jul 2007 05:15:46 GMT<![CDATA[Reply to Wie googlet google eigentlich? on Mon, 23 Jul 2007 06:05:20 GMT]]>darthdespotism schrieb:

a) Gibt es eine möglichkeit google zu sagen "Indexir mal meine Site" (google.com/webmasters ?)

ich erinnere mich mal dran, im rahmen eines total unspektakulären praktikum ich glaube mit hilfe von python so etwas gemacht zu haben. google bietet so eine möglichkeit an, dass man den website-verzeichnisbaum bereitstellt und es dann angeblich schneller gehen soll, dass er alle ebenen der site erfasst. falls es das ist was du meinst.

]]>https://www.c-plusplus.net/forum/post/1330508https://www.c-plusplus.net/forum/post/1330508Mon, 23 Jul 2007 06:05:20 GMT