Tool zum Content-Überwachen von Webseiten

[xstevex22]

Hi!
Ich suche ein Tool (frei, kommerziell) was mir die Änderungen von Webseiten anzeigt. Dabei soll folgendes geschehen/möglich sein:

Ich will betrachte eine Seite. In einer Stunde will ich prüfen, ob sich veränderungen ergeben haben. Allerdings sollte die Möglichkeit bestehen, eine gewisse Schwelle anzugeben, z.B. 90% müssen nur übereinstimmen, um zu sagen, dass keine Veränderung aufgetreten ist (z.B. wenn nur ein Banner gewechselt ist, sich aber am Content der Seite nichts getan hat).

Kennt jemand ein Tool für diesen Zweck bzw. kann mir einen Denkanstoss geben ?

[mwanaheri]

man watch

die Seite mit einem nicht-graphischen Browser (links) betrachten und diese Betrachtung mit watch abfangen. Hab's noch nie probiert, könnte aber gehen.

[peschmae]

oder mit diff schauen, wieviele Zeilen unterschiedlich sind

(kannst die ja greppen und dann "wc -l" oder so ähnlich)

MfG Peschmä

[xstevex22]

Hallo!
Das mit watch kenne ich nicht, werde ich prüfen.

Das prüfen mit diff beruht auf keiner Genauigkeit. Da werden schon Banner-Unterschiede gemeldet, außerdem kann ich so keinen Schwellwert definieren.

Weiß zufällig jemand, ob man mittels md5sum Relevanz/Schwellwerte machen kann ?

[peschmae]

lies doch was ich geschrieben habe :rolleyes:
Pisa ist hier das Stichwort *scnr*

Mit md5sums liegst du ganz falsch - die sind eben gerade so konzipiert, dass sie bei der kleinsten Änderung der Daten eine ganz andere Checksumme produzieren. Sonst könnte man sie wegwerfen :p
Schliesslich braucht man sowas z.B. zur Passwortverschlüsselung oder Überprüfung von Datenintegrität nach Übertragung über ein Netzwerk.

MfG Peschmä

[samsara]

Wie Peschmae sagt:

wc neudatei.html

dann

diff neudatei.html altdatei.html | wc

die zwei Ausgabewerte in Variablen einlesen und dividieren, schon hast Du den Unterschied in Zeilen pro Zeilen, als Dezimalzahl. *seufz*

Koenntest Dir sogar einen Index ausdenken, der die Gesamtzahl der unterschiedlichen Zeilen miteinbezieht, z.B.

if ((Unterschied dezimal * 100) + Anzahl Zeilen unterschiedlich) > 5; then
"do whatever"
fi

Samsara

PS: Moeglicherweise irgendwelche Optionen fuer diff angeben, aber das kannst Du Dir selber anschauen! "A man's best friend."

[xstevex22]

Hi!
Nur so zur Info. Folgende Tools sind in der näheren Auswahl:

wdiff - vergleicht wortweise zwei Dateien


diff.py (http://www.aaronsw.com/2002/diff/) - vergleicht zwei Dateien und markiert die Unterschiede.