Internetsuchmaschine

[terraX]

Liebe Gemeinde,

ich sitze mal wieder da, wie der Ochs' vorm Berg!

Ich würde gerne meine Internetseite um eine kleine Internetsuchmaschine erweitern und habe im Moment (mein Hirn ist eh vollgepackt mit irgendwelchen Projekten) keinen Schimmer, wie ich das anfange. Welche Sprache, brauche ich eine eigene Datenbank, muß ich java oder php oder gar ein c nehmen?

Für einen kleinen Gedankenanstoss währe ich sehr dankbar! :D

terraX

[Gaert]

Hallo!

Definiere mal bitte, was du mit einer Suchmaschine für deine Seite meinst!

Willst du nur deine eigene Homepage mit einer Suchfunktion ausstatten, möchtest du einen Crawler (Suchroboter) programmieren, oder willst du eine Meta Suchmaschine, die Ergebnisse von vorhandenen Suchmaschinen abgreift, oder willst du einfach ein Verzeichnis wie bei Yahoo.

[terraX]

Ich stelle mir einen eigenen Crawler (Suchroboter) vor. Das mit dem Verzeichnis weiß ich überhaupt nicht, wie das funzt. Ich denke mal, das da eine SQL-Datenbank dahinterhängt!?!

[Gaert]

Hallo!

Ein Crawler zu programmieren ist eigentlich nicht schwer... das ganze aber so zu Programmieren, dass es intelligent und performant Seiten indiziert und Speichert, Links in HTML und JavaScript folgt und in Kategorien einordnet ist ein Monsterprojekt... vom Speicher, Traffic und Zeitaufwand zum Indizieren des WWW ganz zu schweigen - Suchmaschinen wie Google haben dafür Jahre gebraucht und haben Serverfarmen mit hunderten von Servern als Backend stehen.

Einige Ansätze findest du vielleicht hier:
http://www.hotscripts.com/PHP/Scripts_and_Programs/Search_Engines/index.html
http://www.hotscripts.com/C_and_C++/Scripts_and_Programs/Searching/Web_Indexing/index.html
Ich verstehe allerdings nicht ganz, wofür du das benötigst... eine Metasuchmaschine, welche die Ergebnisse von Google auswertet wäre IMHO das höchste der Gefühle.

Als wissenschaftliches Projekt ist die Geschichte ganz interessant, aber als verschönerung für die Homepage sicherlich extrem oversized.
Wahrscheinlich stellst du dir das ganze etwas einfach vor...

[samsara]

nur ganz kurz: ich habe schon webseiten gesehen, die dafuer google als dienstleister genommen haben. was das kostet, weiss ich nicht, ist aber sicher fuer Dich effizienter, als es selber zu basteln - andererseits kommst du wahrscheinlich mit den regular expression von perl schon recht weit - kommt dann auf das textvolumen deiner webseiten an, ob du das auf dem eigenen server laufen haben moechtest!

gruss,

samsara

[terraX]

Ich habe mir das sicher nicht einfach vorgestellt! Da werde ich wohl eine Metasuchmaschine ansetzten müssen. Nur wie bringe ich eine Suchemaschine dazu, Suchmaschinen wie google, yahoo und Konsorten abzugreifen. Ich verstehe das Prinzip noch nicht richtig. Gibts da irgendwo weiterführende Links? :confused:

[Gaert]

Wenn du nur Suchergebnisse von Google abgreifen möchtest kannst du dieses Skript verwenden: http://www.jappc.com/google.php

[terraX]

Ich habe es runtergeladen, auf meine Bedürfnise umgearbeitet und ins Netz gestellt. Funktioniert so, wie ich mir das vorgestellt habe. Ich danke der Gemeinde!!!! :D