Verzeichnisse auslesen

[hydee]

Hallo,

was ich bräuchte ist ein Tip, wie ich eine ganze Seite mirroren könnte. Dabei sollten die Links ggf. in lokale Links transformiert werden. Der Sinn ist ganz einfach. Bei uns an der Uni gibt es jährlich zwei Termine, an denen das Vorlesungsverzeichnis gnadenlos überlastet oder gar nicht mehr erreichbar ist. Könnt Euch ja vorstellen, wann das ist.

Daher möchte ich einen snapshot vom aktuellen Online VVZ anlegen. Ich weiß aber nicht, wie ich das am besten (unter Linux) machen soll.

[mehlvogel]

Mit wget kannst du sowas machen. Die Option heisst --mirror, aber lies dir auf jeden Fall noch die passende Manpage durch, wegen Rekursionstiefe und solcher Geschichten.

[hydee]

So, habs probiert und auch die entsprechenden Parameter rausgesucht. Dummerweise hört der immer sofort auf, nachdem ihm eine robots.txt dazwischen kommt. Versteh ich allerdings nicht ganz. Warum geht das mit dem Browser, aber nicht per wget?
Was macht man da?

[mehlvogel]

Check mal das hier:
http://www.gnu.org/software/wget/faq.html#3.0

[hydee]

Thx! (und diese Nachricht muss mind. 10 Zeichen lang sein)