Razones porque Google no indexa mi web y cómo solucionarlo

Que no indexe tu web en Google es mal rollo

A ver, esto suele pasar.

Así que tranquilo/a, te voy indicar varias cosas que puedes hacer si tu web no indexa en Google.

Primeros pasos para identificar porque tu web no indexa en Google

 

Vamos a ver.

Lo primero que has de hacer siempre que tengas una web es darla de alta en Search Console.

Además considerarás esta herramienta como la mejor herramienta para ver el SEO de tu web. Y además es gratis.

Vale.

 

Una vez dada de alta la web, no voy explicar que tienes que subir un fichero html que te proporcionan a la raíz del servidor para que Google la valide.

Bien, supongamos que ya la tienes verificada y tal.

 

Ahora verás el menú de la izquierda y te he marcado 2 zonas importantes en este punto; la roja y la naranja.

Empecemos por la Inspección de Urls.

Enviando a indexar nuestra web

Aquí tendremos que poner la url principal de nuestra web para decirte a Google que nuestra web existe y que puede rastrearla.

Si acabas de crear la web lo más normal es que ocurra esto:

Nuestra web no está indexada por lo que hay que enviarla.

Procedemos.

 

Aquí lo normal es que te lo ponga en verde y te lo marque como enviado a indexar o procesando pero hay casos paranormales en los que devuelve “Solicitud de indexación rechazada”.

Si vamos a ver prueba de versión publicada nos indica que la url no está disponible en Google y que la página no se puede indexar ya que no está disponible debido a un problema en todo el sitio y además nos recomienda ver las condiciones bajo las que la url se indexará si se cumplen ciertas condiciones.

 

Si sucede esto lo inmediatamente posterior será ir a la zona naranja(Sitemaps) para tratar de hacerle la cosa un poco más sencilla para Google.

Es decir, le vamos a dar nuestro sitemap.xml que no es más que un fichero que enlaza a todas las páginas y posts de nuestra web. De ese modo Google con leer ese fichero tendrá acceso a todo el contenido de la web.

Subiendo el sitemaps.xml

Esto es muy sencillo, casi todas las direcciones del sitemap suelen ser del palo:

https://miguelcidre.com/sitemap_index.xml o https://miguelcidre.com/sitemap.xml.

Si es wordpress será la primera.

Para saber si es ese simplemente podemos ponerlo en el explorador y verás una página con urls.

 

Bien, volvamos al tema.

Enviamos el sitemap a Google desde aquí:

Lo más normal es que te ponga lo siguiente:

Ahí saldrá la fecha, si está correcto y el número de urls detectadas.

Pero puede pasar esto también:

Y aquí es cuando llegamos a un callejón sin salida.

Si Google Search Console no puede conectar al servidor de tu sitio web o al archivo XML, esto suele indicar un problema con la accesibilidad del servidor. A continuación, te detallo algunas posibles causas y soluciones:

1. Problemas de Servidor (Hosting)

• Servidor Caído o Inaccesible: Si el servidor está temporalmente caído o tiene problemas de conectividad, Google no podrá acceder a tu sitio. Verifica si puedes acceder a tu sitio web desde un navegador o usa herramientas como Down For Everyone Or Just Me para ver si otros pueden acceder.
• Bloqueo de IP: Es posible que el firewall de tu servidor esté bloqueando las IPs de Googlebot. Revisa la configuración del firewall y asegúrate de que no estés bloqueando las IPs de Googlebot.

2. Problemas de DNS

• Problemas de Resolución de DNS: Si tu dominio tiene problemas de DNS o la configuración es incorrecta, Google no podrá encontrar tu servidor. Verifica la configuración de DNS y usa herramientas como DNS Checker para asegurarte de que tu dominio está correctamente propagado.

3. Archivo robots.txt o .htaccess

• Restricciones en robots.txt: Verifica que tu archivo robots.txt no esté bloqueando el acceso de Googlebot al sitio o al archivo XML.
• Restricciones en .htaccess: Si tienes restricciones en el archivo .htaccess, podría estar bloqueando el acceso al sitio o al archivo XML.

Estos dos puntos si tienes wordpress con Yoast o Rank Math como plugins de SEO no deberías tener problemas pero revísalo, sobre todo que permitan a todos los bots entrar.

4. Problemas con el Certificado SSL

• SSL No Configurado Correctamente: Si tu sitio usa HTTPS, asegúrate de que el certificado SSL esté configurado correctamente y que no haya problemas de seguridad que puedan impedir la conexión.
• Certificado Expirado: Verifica que el certificado SSL no esté expirado.

5. Problemas de Redirección

• Redirecciones Incorrectas: Si hay redirecciones mal configuradas (por ejemplo, bucles de redirección o redirecciones a URLs incorrectas), Google puede tener problemas para acceder al sitio.

6. Errores en el Archivo XML

• Sitemap XML Incorrecto: Asegúrate de que el archivo XML esté correctamente formado y no tenga errores. Si el sitemap está mal formado o contiene URLs incorrectas, Google podría no ser capaz de procesarlo.

7. Sobrecarga del Servidor

• Carga Elevada del Servidor: Si tu servidor está bajo una carga elevada, puede responder lentamente o no responder en absoluto a las solicitudes de Googlebot.

8. Limitaciones de Ancho de Banda

• Ancho de Banda Limitado: Si tu hosting tiene limitaciones de ancho de banda, es posible que el servidor no pueda responder a las solicitudes de Googlebot si ya ha alcanzado su límite.

La web no indexa porque da error 500

En mi caso que es este caso real que os muestro el problema es que la web daba error 500, pero lo más raro de todo es que yo podía acceder a la web mediante el explorador a la web pero cuando la intentaba rastrear con Screaming Frog o con Down For Everyone Or Just Me.

También usé un simulador de Google Bot como puede ser este https://www.dnsqueries.com/es/simulador_de_googlebot.php

El resultado seguía siendo el mismo:

Por lo tanto en mi caso las soluciones se reducen a las siguientes.

Diferencias en el Agente de Usuario (User-Agent)

• Condicionales Basadas en el User-Agent: Algunos servidores pueden estar configurados para comportarse de manera diferente según el agente de usuario (User-Agent) que realiza la solicitud. Si hay reglas en tu servidor que traten a Googlebot de manera distinta (por ejemplo, bloqueando acceso o redirigiendo a recursos no válidos), esto podría causar un error 500 para Googlebot pero no para los navegadores comunes.
• Pruebas: Puedes usar herramientas como cURL o un simulador de Googlebot para enviar solicitudes con el mismo User-Agent que Googlebot y ver si puedes replicar el error.

2. Problemas de Recursos del Servidor

• Sobrecarga de Recursos: El servidor puede estar bajo una carga de recursos alta cuando Googlebot realiza la solicitud, pero responder normalmente cuando tú accedes a través del navegador. Esto puede ocurrir si hay procesos pesados en el servidor o si Googlebot está enviando muchas solicitudes en poco tiempo.
• Pruebas: Revisa los logs del servidor y monitoriza el uso de recursos (CPU, RAM, etc.) para identificar si hay picos coincidiendo con las solicitudes de Googlebot.

3. Configuración de PHP o del Servidor

• Errores en Scripts: Si hay errores en scripts PHP u otros recursos que solo se activan bajo ciertas condiciones, esto podría causar un error 500 para Googlebot. Por ejemplo, scripts que dependen de cookies o sesiones que Googlebot no maneja de la misma manera que un navegador.
• Pruebas: Revisa los registros de errores de PHP o del servidor web para identificar cualquier error que coincida con las solicitudes de Googlebot.

4. Problemas con .htaccess o Configuraciones del Servidor

• Directivas en .htaccess: Reglas incorrectas en .htaccess, como redirecciones mal configuradas o restricciones de acceso, pueden afectar a Googlebot. Aunque los navegadores podrían ignorar ciertas reglas, Googlebot podría estar afectado de manera diferente.
• Pruebas: Temporalmente renombra o desactiva .htaccess y realiza una prueba para ver si el error 500 persiste.

5. Limitaciones de Tasa (Rate Limiting)

• Restricciones de Tasa: Algunos servidores o servicios de seguridad pueden limitar la tasa de solicitudes desde un IP específico (como las de Googlebot), lo que puede causar errores 500 si el límite se excede.
• Pruebas: Verifica si hay políticas de limitación de tasa configuradas en tu servidor o en servicios de terceros (como firewalls de aplicaciones web) que puedan estar aplicándose a Googlebot.

6. Problemas de Conexión a Recursos Externos

• Dependencias Externas: Si tu sitio depende de recursos externos (como APIs o servidores CDN) que pueden estar fallando o ser inaccesibles para Googlebot, esto podría causar un error 500 mientras que un navegador normal podría estar accediendo a una versión en caché o no hacer las mismas solicitudes.
• Pruebas: Revisa si el sitio hace llamadas a servicios externos durante la carga y verifica su disponibilidad.

 

Entonces en estos casos no podemos resolver el problema mediante una solución SEO ya que directamente va ser una solución de hosting.

Existe alguna configuración que no está permitiendo el acceso a rastreadores.

OJO! En este caso no tenía acceso al .htaccess pero dudo que estuviera ahí una instrucción para no dejar entrar rastreadores ya que es una web con wordpress y como he dicho anteriormente las webs con wordpress no presentan ese tipo de problemas a menos que alguien meta mano ahí.

Cómo ayudar a indexar webs nuevas más rápido

Otra manera de hacer que una web indexe antes ya que a pesar de no tener errores enviando sitemap y enviando a indexar no te ha dado error pero sigue sin indexar es crearle enlaces, algo que hacemos desde mi empresa Enlazator ayudando a muchas webs a indexar más rápido.

El propio John Mueller indica que es mejor crear enlaces que dar de alta las webs en Search Console 🙂

 

✅ ¡OJO!

➡️ Si tienes una WEB nueva puedes enviarla a INDEXAR en SEARCH CONSOLE pero….

John Mueller Tiene un MÉTODO MÁS EFECTIVO 👇 pic.twitter.com/VHXAKS8hYI

— SEO 🔴Miguel Cidre⛩️ (@MiguelCidrex) May 5, 2022

Espero que con todo esto puedas resolver tu problema, en caso de que no puedas no dudes en dejarme un comentario por si puedo ayudar.