Manuel Jota Lod

Deep Web o Invisible Web: El origen del concepto

La Deep Web (Red profunda), antes (1994) denominada Invisible Web (no hace falta traducción), ha sido bautizada de esta manera en 2001 debido a que no es accesible directamente a través del uso del principal medio de navegación superficial en estos tiempos: los motores de búsquedas tradicionales o estándar. El motivo de esto se divide generalmente en tres factores. El primero es el técnico o involuntario, y es debido a una falta de actualización a nuevos estándares en cuanto a indexación o por el carácter dinámico de un sitio web (cambian de contenido constantemente, se renuevan a través de interacción del visitante, etc.) El segundo caso es el de los sitios privados y protegidos o aquellos que contienen documentos en formatos que no pueden ser indexados. En estos dos casos, el motor de búsqueda no encontrará en el código que leen sus robots un contenido asociable al cuál hacer referencia estática o directamente no podrá acceder a las bases de datos protegidas (bibliotecas, diccionarios, etc.), con lo que “pasará de largo” ante ese sitio. El otro caso es el de la decisión deliberada, pues el mismo desarrollador puede indicarle al motor de búsqueda que no revise periódicamente su código en busca de cambios a través de una variable como Follow / No Follow en el caso de Google. Si elige No Follow, los robots ignorarán el sitio y éste se mantendrá escondido, invisible, en la profundidad a la que muy pocos tendrán acceso.

información

Deep Web o Invisible Web: El origen del concepto

¿Qué hay en la Deep Web?

Una vez definidas la Surface Web y la Deep Web (ordinariamente resumibles como indexadas y no indexadas), surge la pregunta sobre qué es lo que hay en todo esto que no vemos. ¿Qué nos estamos perdiendo? Para comprender lo que queda en el fondo, lo mejor es imaginarnos que sólo en el 2001 (donde los sitios personales como blogs y similares no habían explotado del todo) la información que se podía encontrar en la Deep Web era 500 veces mayor que en la superficial, teniendo la primera unos 91.000 Terabytes contra 197. Extrapolando los números de una manera más artesanal (no hay datos actuales al respecto, mismo por las propiedades de la Web Profunda), el crecimiento ha sido sin lugar a dudas inmenso, aunque hay que reconocer que en 10 años los sistemas de rastreo y la educación al respecto evolucionaron mucho y gigas y gigas de información de la Red profunda ahora son visibles.

En cuanto a contenido, la Deep Web está compuesta por todo tipo de información, que al ser tanta y tan variada, la categorización se vuelve obligatoria. Es así que entre lo que no se ve en la superficial, tendremos archivos que no tengan formatos del tipo HTML o de texto (principal fracaso de los sitios web completos en Flash) y también algunos documentos multimedia

...