Suchmaschine Programmieren

[Witschi262]

Html'ler,
ich möchte eine Suchmaschine programmieren, die sö ähnlich wie Google funktioniert.
Sie soll Websites suchen, die aber eingetragen werden müssen.

Beispiel: test.de und hallo.de sind eingetragen in der Datebank
Ich suche nach test und es er spuckt aus:
test.de

Wie ist sowas möglich?
Danke schonmal!

 

[struppi]

Wie ist sowas möglich?

In dem du sowas programmierst. Was willst du konkret Wissen?

 

[Sn0opy]

Das was du meinst, ist aber auf keinen Fall "wie Google". Google durchkämmt selbst das Web. wenn Google einen Link findet, speichert es diesen, geht dem Link nach und sucht nach weiteren Links und speichert auch diese und natürlich jeweils auch immer den Inhalt dieser Seiten.

 

[Witschi262]

Tut mir leid, aber, es ist doch wohl klar, dass ich etwas konkreteres wissen möchte oder?

 

[mermshaus]

Verschaff dir am besten erstmal einen Überblick: Suchmaschine - Wikipedia

 

[Efchen]

Tut mir leid, aber, es ist doch wohl klar, dass ich etwas konkreteres wissen möchte oder?

Witzbold. Dir ist klar, das wir konkretere Fragen wissen wollen, oder?
Wenn Du nichtmal einen Ansatz für sowas hast, dann ist das Projekt ohnehin zum Scheitern verurteilt, wie willst Du das zu Ende bringen?

 

[rexini]

Ich hab mal aus Lust und Laune sowas programmiert: Twissi Search - The personal Search Engine! Ist jetzt nix besonderes aber er dursucht halt selbständig das Internet ^^

Eckbausteine würd ich mal so setzen:
Eine Engine (z.B. eine PHP Seite) die Webseiten öffnet, dort alle links sucht und diese in eine datenbank einträgt... dann einen link aus der datenbank nehmen und diesen wieder durchsuchen usw... Natürlich sollten für den start so etwa 20 seiten bereits in der DB stehen ;-)
Das ist so mein Prinzip..

 

[crash]

Da hat sich jemand aber was vorgenommen.

Als gute Engine für die Suche könnte ich mir Lucene vorstellen: Zend Framework: Documentation: Zend_Search_Lucene - Zend Framework Manual
Diese Engine ist tausendfach bewährt.

 

[Witschi262]

rexini's Suchmaschine entspricht 1:1 meinen vorstellungen.

 

[Tomm]

Willste Google Konkurrenz machen ?
Mußt halt die Links und die dazugehörigen Texte in deiner Datenbank abspeichern
Da brauchste irgendwann aber ne große Datenbank, wenn du viele Seiten indexieren willst

 

[struppi]

rexini's Suchmaschine entspricht 1:1 meinen vorstellungen.

Das ist aber etwas komplett anderes als was du uns "konkret" am Anfang erzählt hast.Das ist eine Seitensuchmaschine, die eine Site, also eine einzige Internetsite durchsucht und dann gibst du einen Suchbegriff ein (ich weiß nicht was du mit test.de und hallo.de wolltest) und dann wird die Seite durchsucht.

google ist weitaus komplexer, sowohl der Suchalgorithmus dürfte ausgefeilter sein und google duchsucht das komplette Internet.

Das meinte ich mit konkret. Deine Beschreibung hatte fast nichts mit dem zu tun was du wirklich wolltest.

 

[sysop]

deine frage hat aber schon was von:

ich möchte ein space-shuttle bauen, ich habe schon einen lötkolben, was muss ich nun tun? :mrgreen:

 

[freak131]

frag mal die jungs von google, vielleicht geben sie dir ihr php skript. ~.~

 

[Witschi262]

Mit Test.de und Hallo.de meinte ich, die seiten, die in der Datenbank gespeichert sind.Die Datenbank wird durchsucht und was mit dem Suchbegriff übereinstimmt wird eben ausgegeben.
Und der Vergleich mit dem Spaceshuttle passt eigentlich nicht.
Und bevor wir das diskutieren anfangen, kann mir jmd. jetz nun tipps geben bzw. helfen?

 

[Sn0opy]

A Web Crawler in Perl | Linux Journal

Mit dieser Erklärung hatte ich mir recht schnell nen eigenen Crawler gebastelt. Das ist nun zwar für Perl, aber im Prinzip isses ja das selbe, abgesehen vom Code.

Der Rest ist dann nicht mehr wirklich das Problem.

 

[struppi]

Mit Test.de und Hallo.de meinte ich, die seiten, die in der Datenbank gespeichert sind.Die Datenbank wird durchsucht und was mit dem Suchbegriff übereinstimmt wird eben ausgegeben.

Das ist nicht wikrlich verständlich
Du willst also eine Datenbank nach Domains durchsuchen, die so klingen wie eine Suchebgriff?

Und bevor wir das diskutieren anfangen, kann mir jmd. jetz nun tipps geben bzw. helfen?

Ich denk' du hast die Lösung schon gefunden?

 

[freak131]

es hat Gründe warum kaum eine Suchmaschine sinnvolle Ergebnisse ausspuckt. Wenn du für deine Seite eine Suche programmieren wolltest - okay. aber einen Crawler mit Suchmaschine? Ich denke da wirst du keine Chance haben.