N
Jo, wie yanni schrieb: Den (http)-Server fragen und alle Links der Seiten, die er zurueckliefert, abklappern ist die praktischste Methode. wget ist dazu (und allgemein zum Downloaden kompletter Seiten) zB. auch sehr gut zu gebrauchen.
Wirklich alle "Ressourcen", die ein Server anbietet, kannst du auf die Art aber natuerlich nicht abrufen.