crawler
-
Guten Tag,
ich habe vor, einen Crawler zu schreiben.
Gibt es dafür bestimmte Techniken/Methoden?Eigentlich bleibt mir doch nichts anderes übrig, als die Quelltexte der Seiten zu lesen und zu parsen und evtl. die API's von den SocialNetworks zu nutzen.
Oder gibst noch andere Möglichkeit, die ich übersehen habe?
-
just4fun-progger schrieb:
Eigentlich bleibt mir doch nichts anderes übrig, als die Quelltexte der Seiten zu lesen und zu parsen und evtl. die API's von den SocialNetworks zu nutzen.
exakt.
just4fun-progger schrieb:
Oder gibst noch andere Möglichkeit, die ich übersehen habe?
Naja, es gibt sicher alle möglichen Libraries, sodass du nicht alles selber schreiben musst. Einfach mal google fragen...
-
Ich würde einen Super Class Crawler nehmen.
http://www.youtube.com/watch?v=jMhyuBYxLpI
-
Effizientere Suchalgorithmen etc gibt es dann auch noch. Ich hab selber mal nen Crawler geschrieben und im Grund ist es nichts kompliziertes.
-
Letztens hat doch einer nen Crawler geproggt und sich danach umgebracht.
