Los temas de esta sección describen cómo puede controlar la capacidad de Google para encontrar y analizar su contenido con el fin de mostrarlo en la Búsqueda y otras propiedades de Google, así como cómo evitar que Google rastree contenido específico en su sitio.
Aquí tiene una breve descripción de cada página. Para obtener una visión general del rastreo y la indexación, lea nuestra guía Cómo funciona la Búsqueda.
Tipos de archivos indexables por Google
Google puede indexar el contenido de la mayoría de los tipos de páginas y archivos. Los tipos de archivos más comunes que indexamos incluyen:
Texto (.txt, .text, otras extensiones de archivo), incluido el código fuente en lenguajes de programación comunes: Código fuente básico (.bas)
Búsqueda por tipo de archivo
Puede utilizar el operador filetype: en la Búsqueda de Google para limitar los resultados a un tipo de archivo específico. Por ejemplo, filetype:rtf galway buscará archivos RTF con el término “galway” en ellos.
Mantenga una estructura de URL simple
La estructura de URL de un sitio debe ser lo más simple posible. Considere organizar su contenido de modo que las URL se construyan de forma lógica y de la manera más inteligible para los humanos.
Recomendado: Utilice codificación UTF-8 según sea necesario. Por ejemplo, el siguiente ejemplo utiliza codificación UTF-8 para caracteres árabes en la URL:
Si su sitio es multirregional, considere utilizar una estructura de URL que facilite el GEO-targeting de su sitio. Para obtener más ejemplos de cómo puede estructurar sus URL, consulte el uso de URL específicas de la configuración regional.
Considere usar guiones para separar palabras en sus URL, ya que ayuda a los usuarios y a los motores de búsqueda a identificar conceptos en la URL más fácilmente. Le recomendamos que utilice guiones ( – ) en lugar de guiones bajos ( _ ) en sus URL.
Las URL excesivamente complejas, especialmente aquellas que contienen múltiples parámetros, pueden causar problemas a los rastreadores al crear un número innecesariamente alto de URL que apuntan a contenido idéntico o similar en su sitio. Como resultado, Googlebot puede consumir mucho más ancho de banda de lo necesario, o puede ser incapaz de indexar completamente todo el contenido de su sitio.
Causas comunes de este problema
Filtrado aditivo de un conjunto de elementos. Muchos sitios proporcionan diferentes vistas del mismo conjunto de elementos o resultados de búsqueda, a menudo permitiendo al usuario filtrar este conjunto utilizando criterios definidos (por ejemplo: muéstrame hoteles en la playa). Cuando los filtros se pueden combinar de forma aditiva (por ejemplo: hoteles en la playa y con gimnasio), el número de URL (vistas de datos) en los sitios explota. Crear un gran número de listas de hoteles ligeramente diferentes es redundante, porque Googlebot solo necesita ver un pequeño número de listas desde las cuales pueda llegar a la página de cada hotel. Por ejemplo: Propiedades hoteleras a “tarifas de valor”:https://www.example.com/hotel-search-results.jsp?Ne=292&N=461
Generación dinámica de documentos. Esto puede resultar en pequeños cambios debido a contadores, marcas de tiempo o anuncios.
Parámetros problemáticos en la URL. Las ID de sesión, por ejemplo, pueden crear cantidades masivas de duplicación y un mayor número de URL.
Parámetros de ordenación. Algunos sitios de compras grandes ofrecen múltiples formas de ordenar los mismos artículos, lo que resulta en un número mucho mayor de URL. Por ejemplo:https://www.example.com/results?search_type=search_videos&search_query=tpb&search_sort=relevance&search_category=25
Problemas de calendario. Un calendario generado dinámicamente podría generar enlaces a fechas futuras y pasadas sin restricciones en las fechas de inicio o finalización. Por ejemplo:https://www.example.com/calendar.php?d=13&m=8&y=2011
Enlaces relativos rotos. Los enlaces relativos rotos a menudo pueden causar espacios infinitos. Con frecuencia, este problema surge debido a elementos de ruta repetidos. Por ejemplo:https://www.example.com/index.shtml/discuss/category/school/061121/html/interview/category/health/070223/html/category/business/070302/html/category/community/070413/html/FAQ.htm
Resuelva este problema
Considere usar un archivo robots.txt para bloquear el acceso de Googlebot a URL problemáticas. Por lo general, considere bloquear URL dinámicas, como las URL que generan resultados de búsqueda, o URL que pueden crear espacios infinitos, como los calendarios. El uso de expresiones regulares en su archivo robots.txt puede permitirle bloquear fácilmente un gran número de URL.
Si su sitio tiene un calendario infinito, agregue un atributo nofollow a los enlaces a páginas de calendario futuras creadas dinámicamente.
Servicio relacionado: Agencia de marketing con IA