El Internet Profundo

La principal causa de la existencia de la Internet profunda es la imposibilidad de los motores de búsqueda de encontrar o indexar gran parte de la información existente en Internet. Se estima que la Internet Profunda es 500 veces mayor2 que la Internet Superficial, siendo el 95% de esta información públicamente accesible. Si los buscadores tuvieran la capacidad para acceder a toda la información entonces la magnitud de la "Internet profunda" se reduciría casi en su totalidad; sin embargo, no desaparecería totalmente porque siempre existirán páginas privadas.

Los siguientes son algunos de los motivos por los que los buscadores son incapaces de indexar la Internet profunda:

Páginas y sitios web protegidos con contraseña.

Documentos en formatos no indexables.

Enciclopedias, diccionarios, revistas en las que para acceder a la información hay que interrogar a la base de datos, como por ejemplo la base de datos de la RAE3 .

Tamaño[editar]

En el año 2000 se estimaba4 que el tamaño de la Internet profunda era de 7500 Terabytes de datos en unos 550 000 millones de documentos.5 Para comparar se estima que en aquella época la Internet superficial ocupaba 167 Terabytes y el contenido de la Biblioteca del Congreso de Estados Unidos tenía unos 3000 Terabytes que no eran accesibles por los motores de búsqueda.

La Internet profunda tiene el mayor crecimiento de nueva información en Internet, más de la mitad del contenido de este reside en bases de datos, la calidad del contenido de la Internet profunda es considerada por lo menos 1000 o 2000 veces mayor que la del Web superficial y el 95% de la información de la web profunda es información totalmente pública, libre de suscripciones y tarifas.6

Estimaciones basadas en la extrapolación de un estudio de la Universidad de California en Berkeley especula que actualmente la Internet profunda debe tener unos 91 000 Terabytes.7

Mike Bergman ha dicho que la búsqueda en el Internet hoy en día se puede comparar con una red de arrastre a través de la superficie del océano: una gran cantidad puede ser atrapada en la red, pero hay una gran cantidad de información que está en lo profundo y por lo tanto, se pierde. La mayor parte de la información de la Web está enterrada muy abajo en sitios generados dinámicamente, y los motores de búsqueda estándar no la encuentran. Los buscadores tradicionales no pueden "ver" o recuperar el contenido de la Web profunda, esas páginas no existen hasta que se crea de forma dinámica, como resultado de una búsqueda específica. La Web profunda es varios órdenes de magnitud más grande que la web de la superficie profunda.5

...