Mit dem Invisible Web existiert ein zweites Internet
Das versteckte Netz: Was Suchmaschinen niemals sehen
Was wir als Internet verstehen, geben größtenteils die Suchmaschinen vor, frei nach dem Motto: Was Google nicht findet, existiert nicht. Doch das ist weit gefehlt: Das so genannte Invisible Web landet nicht im Index der Suchmaschinen und ist um ein Vielfaches größer als das bekannte Netz.
Inhaltsverzeichnis
- 1Die Grenzen von Google
- 2Rätselraten um die Größe des Verstecks
- 3Warum Internetseiten unsichtbar bleiben
- 4Bewusste Such-Blockade
- 5Versteckt und trotzdem informativ
Die Grenzen von Google
Es ist technisch unmöglich, alle relevanten Internetseiten zu kennen oder mitzubekommen, wenn neue Websites entstehen. Deshalb erfreuen sich Suchmaschinen großer Beliebtheit, allen voran im deutschsprachigen Raum Google. Schätzungsweise 40 Milliarden normal erreichbare Websites gibt es weltweit, knapp die Hälfte davon hat Google im Index.
Damit die Suchmaschine eine Seite kennt und dem Nutzer als Ergebnis präsentieren kann, muss sie erst in den Index aufgenommen werden. Das erledigt ein Crawler, ein Programm, welches Websites abarbeitet, Links folgt und diese Daten sammelt. Doch diese Crawler stoßen im Internet regelmäßig an unüberwindbare Grenzen und ziehen unverrichteter Dinge weiter. Die Folge: Eine Website landet nicht im Index, kann dadurch nicht als Suchergebnis präsentiert werden und für die Nutzer existiert sie nicht. Das unsichtbare Netz wächst.
Google machtlos: Das versteckte Netzt lässt sich nicht von Suchmaschinen finden.
Rätselraten um die Größe des Verstecks
Wie groß das Invisible Web im Verhältnis zum sichtbaren Internet ist, bleibt ein Streitthema. Zwei Untersuchungen gelten als bislang zuverlässigste Quelle über die Dimensionen, welche das unsichtbare Netz annimmt. Die Analyse von Michael Bergman aus dem Jahr 2001 ergab, dass die Datenmenge des Invisible Webs etwa 500-mal so groß sei wie die des sichtbaren Teils - und das bei gerade einmal 200.000 versteckten Websites zu diesem Zeitpunkt.
In ihrer Veröffentlichung von 2006 wiesen Dirk Lewandowski und Philipp Mayr die Zahlen als um den Faktor zehn zu hoch zurück. Dennoch war man sich auch hier sicher, dass das Invisible Web mit etwa 100 Milliarden Dokumenten deutlich größer sei als das bekannte, sichtbare Internet.
>>>Lesen Sie auf der nächsten Seite, warum Seiten nicht im Index landen.
Ist dem Verfasser des Beitrags vielleicht auch schon mal eingefallen dass es auch sehr viele Seiten gibt die gar nicht gefunden werden wollen weil sie nur für eine/n bestimmten Zirkel/Clique gedacht sind? Stichwort...