Mit Beginn der 90-er Jahre setzte eine spürbare Verbreitung des Internets ein, was nicht nur die Zahl der registrierten User in die Höhe schnellen ließ, sondern auch den ersten Boom für die angemeldeten Websites auslöste. Eine steigende Unübersichtlichkeit war die Folge und der Bedarf nach einer gewissen Katalogisierung stellte sich alsbald ein. Dies war die Geburtsstunde der ersten Suchmaschinen, die den Internet-Nutzer dabei unterstützen sollten, eine bestimmte Seite rasch zu finden. Im Jahre 1990 wurde als erster Suchdienst Archie entwickelt, der für die Suche und Sortierung von FTP-Dateien konzipiert war. Wenn auch heute Archie kaum noch eine Rolle spielt, war er jedoch quasi die Grundsteinlegung in der Ära der Internet-Suchdienste.
Den ersten sogenannten Crawler mit dem Namen "Wanderer" hat Mathew Gray entwickelt. Mit seiner Funktion, die Seiten im Internet durchsuchen und sortieren zu können, stand er am Anfang der Generation von Volltext- und Spider Suchmaschinen. Der große Vorteil eines Spiders ist es, der steten Veränderung von Seiteninhalten schnell Rechnung zu tragen und somit den hohen Arbeitsaufwand zu ersparen, der normalerweise bei Aktualisierungen anfallen würde. So profitiert nicht nur der Betreiber des jeweiligen Suchdienstes, sondern auch der Internet-Nutzer kann so immer auf dem aktuellen Stand bei seiner Suche gehalten werden, denn gerade bei der Recherche im Internet ist Aktualität das A und O.
Heutzutage sind Suchmaschinen derart verbreitet, dass sie zu ca. 85% für den gesamten Verkehr im WWW sorgen. Mit anderen Worten: von 100 Usern sind es 85, die mit Hilfe eines Internet-Suchdienstes auf eine Website gelangt sind. So ist es auch nicht verwunderlich, dass der Homepage-Besitzer in der Regel viel Aufwand aufbringen wird, um seine Website für die Suchmaschinen zu optimieren. Denn von wem in den Suchmaschinen keine Spur zu finden ist, der ist nach den Gesetzen des Internets praktisch gar nicht da.
Die Suchdienste von heute - ob Spider oder Webkatalog - leisten ausgezeichnete Arbeit, wie die jeweiligen Suchergebnisse belegen. Dabei ist zu berücksichtigen, dass der größte Anteil davon einem Algorithmus bzw. einem Roboter zu verdanken ist. Der erstere sorgt für die (hohe) Relevanz der Suchtreffer. Da bleibt es nur gespannt darauf zu warten, was die Zukunft der Suchmaschinen bringen wird.
