PHP - Fehler 404 Problem

[exe]

Auf einer Webseite werden von Bots (z.B. googlebot) immer noch die alten .html Seiten gescannt (welche natürlich schon längst gelöscht sind). Ich handle aber 404er Fehler nun über ein PHP Script, das dem User eine Fehlermeldung zurückgibt in der Form "Seite nicht gefunden, sie wurden auf die Hauptseite umgeleitet".

Ich sende den 404er Header auch an den Bot, wenn er ein nicht mehr vorhandenes Dokument scannt. Trotzdem sind ein paar Bots scheinbar unbelehrbar und scannen fröhlich weiter immer wieder die alten .html Seiten ohne sich durch den 404er davon abhalten zu lassen.

Die folge ist, es tauchen immer wieder Hits von Leuten auf, welche versuchen alte .html Dokumente anzusurfen weil Suchmaschinen immer noch drauf verlinken.

Vermutung:
Ich sende weiter Header raus an den Browser (z.B. Last Modified usw...) vielleicht irritiert das die Bots?

[Gaert]

Möglicherweise ist das der Grund... allerdings kenne ich mich mit der internen Funktionsweise der Suchmaschinen nicht so aus...

Was du dir allerdings unbedingt mal reinziehen solltest ist http://www.spiderhunter.com.

Die haben unter anderem auch eine Aktuelle Spiderlist, mit IP´s und Identifikationsmerkmalen, mit denen du die Crawler gezielt aussortieren und z.B. auf eine Sitemap umleiten kannst die sie dann indizieren.

BTW... warum leitest du nicht auf eine existierende Seite um anstatt die 404 ´s in den Header zu schreiben?

[Hondapower]

Natürlich kommt das auch darauf an, wie lange du deine Seite schon upgedatet hast.
Bei manchen Suchmaschinen dauert es etwas länger, bis die Seite neu indiziert ist.

Einfach mal ein wenig warten.
Nach 1-2 Monaten sollte die Seite von den meisten Suchmaschinen richtig indiziert werden.