jueves, 16 de julio de 2009
Nuestra misión en Google es organizar la información mundial y hacerla universalmente accesible y útil. Una de las formas de hacerlo es rastreando Internet para encontrar nueva información y, a continuación, añadirla a nuestro índice de búsqueda. Rastreamos periódicamente miles de millones de páginas
e indexamos
[inglés]
páginas web
,
tablones de mensaje
s,
imágenes
,
noticias
,
vídeos
,
libros
y
mucho más
. Sin embargo, a veces nos damos cuenta de que a los usuarios de Internet le gustaría encontrar incluso más información: información que está disponible en línea, pero, por una razón u otra, está bloqueada para nuestros rastreadores. Si nuestros rastreadores no pueden ver los documentos, nos resulta difícil añadirla al índice de forma adecuada y hacerla accesible a los usuarios de todo el mundo.
¿Está indexado tu contenido?
Comprobar que nuestro motor de búsqueda indexa tu contenido de forma correcta es muy sencillo: busca tu sitio web con el operador "site". Por ejemplo, para saber que el contenido de Grupos de Google está siendo indexado en nuestra búsqueda web, puedes buscar [ site: groups.google.com ] (Generalmente utilizamos paréntesis para indicar las palabras que buscamos, así que no es necesario que la incluyas en la consulta).
En este caso, vemos que hay un gran número de páginas indexadas y la primera es la página principal de Grupos de Google y se ve bien: mucha información, muchos mensajes indexados y disponibles para los usuarios de Internet.
Si tu sitio web no se actualiza correctamente, generalmente verás un mensaje indicando que el contenido no está en el índice, o encontrarás una listado con poca o ninguna información. Por ejemplo, el nombre de dominio "example.com" está reservado para ejemplos y no puede ser rastreado. En nuestros resultados de búsqueda, puedes ver que no estamos indexándolo de la misma manera que los Grupos de Google por la búsqueda [
site: example.com
]
Esto se parece a lo que ocurre con mi sitio ¿Cómo puedo solucionarlo?
Si tu sitio está indexado de la misma manera que este último ejemplo, o no hay nada indexado, no te preocupes. Nada es permanente en la web, en general es fácil de localizar y resolver estos problemas. Aquí hay algunas cosas que puedes comprobar:
¿Es nuevo tu sitio web?
El rastreo y la indexación de la web puede llevar algún tiempo. Si tu sitio es nuevo, puede que todavía no hayamos llegado a él. Ten paciencia y compruébalo de nuevo dentro de un tiempo. Mientras tanto, puedes comprobar si tu sitio web es compatible con los robots de Google para que pueda ser rastreado.
¿Permite tu sitio web el acceso a los motores de búsqueda?
Los motores de búsqueda en general siguen las directivas que figuran en el archivo "robots.txt" de un sitio web, que definen qué contenido se puede rastrear. A veces los sitios web bloquean de manera accidental a todos los motores de búsqueda con el archivo robots.txt, a menudo porque el archivo no se cambia, por error, desde su versión de prueba.
En algunos casos también hemos visto que los webmasters bloquean todos los motores de búsqueda para evitar cargar el servidor al rastrear las URL. En casos así, puede ser útil definir qué páginas de las rastreadas causan el problema y bloquearlas, de forma selectiva, en lugar de bloquear todo el sitio web. Puede que también desees cambiar la configuración de frecuencia de rastreo en tu cuenta de las Herramientas para webmasters.
Puedes comprobar fácilmente el archivo robots.txt de tu sitio web en un navegador. Por ejemplo, puedes comprobar el archivo robots.txt para YouTube.com . Las Herramientas para webmasters de Google ofrecen una herramienta muy sencilla para probar el archivo robots.txt . También puedes aprender a crear uno para tu sitio si aún no dispones de uno (es totalmente opcional).
El siguiente archivo robots.txt bloquea el rastreo de contenido en todos los motores de búsqueda :
User-agent: *
Disallow: /
Los siguientes robots.txt permitirían a todos los motores de búsqueda rastrear el contenido:
User-agent: *
Disallow:
# No hay ninguna ruta, después de "Disallow:" lo que significa que se permite el rastreo a todos.
Ten en cuenta que no hay nada al lado de la directiva Disallow: (Si no tuvieses un archivo robots.txt en tu sitio web esto tendría el mismo efecto).
Desde la cuenta de las Herramientas para webmasters de Google generalmente informamos sobre errores de rastreo, como los procedentes del archivo robots.txt . ¡Asegúrate de que has añadido tu sitio web y está verificado para saber más!
¿Permite tu sitio web la indexación del contenido?
Hemos visto sitios web que permiten ser rastreados, pero luego bloquean a los motores de búsqueda para que no indexen su contenido. Esto generalmente se hace con una metaetiqueta "robot" añadiendo un "noindex" . Puedes comprobar si tu sitio web está utilizando esta metaetiqueta a través del código fuente de tu página de inicio (hay que tener en cuenta que esta metaetiqueta puede utilizarse a nivel de página).
A menudo esto se debe a un ajuste en el software del sitio web y se activó de manera accidental (o fue simplemente un olvido). A veces los títulos de estas opciones son difíciles de relacionar con esta metaetiqueta. Por ejemplo, puede ser llamado "Visibilidad del sitio web" o "Deja que los motores de búsqueda encuentren tu sitio web".
¿Estás seguro de que no hay otros problemas técnicos que puedan bloquear a los motores de búsqueda?
Algunas veces hay problemas técnicos que impiden el rastreo de tu sitio web [inglés] . Si sospechas que este podría ser tu caso, puede que quieras publicar una pregunta en nuestro Foro de Asistencia para webmasters o recibir ayuda de tu proveedor de alojamiento.
¿Cumple tu sitio web con nuestras Directrices para webmasters?
Podemos optar por eliminar un sitio web de nuestros resultados de búsqueda, si creemos que viola nuestras Directrices para webmasters . Si crees que este podría ser tu caso, sería una buena idea para limpiar cualquier problema que puedas encontrar y enviar una solicitud de reconsideración a través de tu cuenta de las Herramientas para webmasters. Si no estás seguro acerca de algunos de los puntos de las directrices, no dudes en preguntar en el Foro de Asistencia para webmasters .
Si tienes dudas acerca de cualquiera de estos pasos y crees que tu sitio web debería haber sido rastreado e indexado a estas alturas, quizás pueda ayudarte la experiencia de otras personas. Así que invierte un poco de tiempo buscando entre las preguntas del Foro para webmasters y si no te ayuda, crea tu propio hilo con detalles específicos de su sitio, como la url o cualquier cambio que hayas hecho recientemente. Una vez que hayas llevado a cabo todos estos consejos generales sobre rastreo, la indexación de tu sitio web será sólo una cuestión de tiempo.
Gracias por tomarte tu tiempo para comprobar tu sitio web. ¡Esperamos poder ayudarte a hacer tu contenido accesible y útil a través de nuestro motor de búsqueda!
Publicado por John Mueller, Webmaster Trends Analyst, Google Zurich, (Traducido por Esperanza, Equipo de calidad de búsqueda)