Indexación rápida de páginas. Una forma rápida de comprobar la indexación de páginas en Yandex y Google. Escribir la letra correcta en Yandex

De este material aprenderás:

• ¿Qué es la indexación?
• Cómo agregar un sitio a la base de datos
• Cómo acelerar la indexación

¿Qué es la indexación?

Ya te hemos hablado de. En resumen, se trata de respuestas a las consultas de los usuarios que escriben en un motor de búsqueda. Si hace clic en "comprar un elefante", obtendrá sitios que ofrecen elefantes al por mayor y al por menor. Yandex o Google no mostrarán ventanas de plástico ni llamarán prostitutas para tales solicitudes. Y ahora atención, la pregunta: ¿todos los sitios aparecen en los resultados de búsqueda? No, no todos. Como mínimo, los motores de búsqueda necesitan conocer la existencia de este sitio y el contenido que se publica en él. Después de todo, ¿cómo puedes mostrar algo que nadie conoce? Hay bases de datos de sitios web para esto. En resumen, agregar un sitio con su contenido a esta base de datos se llama indexación. ¿Cómo funciona la indexación? El robot Yandex o Google funciona según sus propios algoritmos: busca información sobre su sitio (esta información incluye artículos clave, textos, fotografías, etc.; en una palabra, todo el contenido). Es como una radiografía, escanea cada página del sitio, la analiza, la escanea y agrega su sitio a la base de datos. Ahora se mostrará en los resultados de búsqueda y en respuesta a las consultas de los usuarios. Y en qué puestos (líderes o outsiders) depende del contenido con el que se llene. Por supuesto, la indexación de sitios es simplemente necesaria. Cuando su sitio comienza a ser visto por los motores de búsqueda, los visitantes llegan a él y crece.

¿Cómo agregar un sitio a la base de datos?

Supongamos que creó el sitio web Mostbestsite.rf. Por supuesto, lo llenamos con el mejor contenido y esperamos que llegue a la cima. Para que el sitio y el contenido se indexen e incluyan en la base de datos, puede utilizar dos métodos.

1. Espere a que se autoindexe. Tarde o temprano, los robots encontrarán su sitio; para ello, basta con dejar enlaces activos desde otros recursos. Se cree que cuantos más enlaces haya, más rápida será la indexación.
2. Agregue un sitio manualmente completando un formulario especial en el motor de búsqueda. Allí debe indicar un enlace al sitio y Breve información sobre él. En Yandex, por ejemplo, esto se hace en el servicio.Webmaster de Yandex En la pagina Reportar un sitio nuevo .

Allí, en Webmaster, puede monitorear las estadísticas de las solicitudes que atraen a los usuarios a su sitio. En Google también todo es sencillo: puede registrar un sitio mediante el enlaceCentro para webmasters de Google . ¿Qué tan rápido es la indexación? Es difícil decir números exactos, depende de tu suerte. Pero una cosa sabemos con certeza: Yandex indexa más lentamente que Google. Hubo casos en que la indexación tardó varias semanas.

¿Cómo acelerar la indexación?

Los algoritmos de los motores de búsqueda son algo impredecible y, como ya se mencionó, no existe una receta exacta. Podemos recomendar métodos probados (esencialmente los mismos que afectan la promoción del sitio web en los resultados de búsqueda)

1. Contenido único que tanto aman los motores de búsqueda. Una cosa: si has publicado un artículo en un sitio web o blog y aún no ha sido indexado, en teoría cualquiera puede robarlo y publicarlo por su cuenta. Si el artículo está indexado anteriormente en otro sitio, tiene problemas. Su artículo se considerará no único y su competidor quedará en la oscuridad.
2. Estructura clara del sitio. Siga la regla de los tres clics: puede acceder a cada página desde la página principal con no más de tres clics. ¡Menos es bueno, más es mejor! De esta forma facilitarás la tarea a los motores de búsqueda, que indexarán no sólo la página principal, sino también otras páginas.
3. Vincular con páginas internas es útil tanto para los visitantes como para el robot.
4. Difusión de publicaciones a directorios RSS. Todas sus publicaciones se duplicarán en directorios RSS a los que se agregan fuentes RSS. Estos son feeds para suscribirse a actualizaciones de blogs o sitios web para recibir lo último en su correo electrónico. Con su ayuda, el motor de búsqueda encontrará rápidamente sus nuevos artículos y los indexará.

A continuación se muestra un ejemplo de indexación exitosa:

Hace una semana apareció un artículo sobre un arma en uno de los sitios. VPO-213 . Prácticamente no había información sobre esta arma en Internet; aún no había aparecido a la venta. Sólo hubo una breve presentación en un vídeo en YouTube. En consecuencia, el texto era completamente único y casi el único en Internet sobre este tema. Alrededor de medianoche, el texto fue publicado en el sitio (¡ni siquiera en la página principal!) y fue indexado en poco tiempo. A las nueve y media de la mañana del día siguiente, el artículo ocupaba el tercer lugar en los resultados de búsqueda de Yandex. A las 9.50 se convirtió en la primera y aún ocupa esta posición.

En general, si su recurso es bueno y está bien elaborado, entonces no debería haber problemas con su indexación. Si el sitio, aunque no al 100%, cumple con los requisitos de los motores de búsqueda: "para personas", estarán felices de mirarlo e indexar todo lo nuevo que se agregará.

Pero sea como fuere, el primer paso para promocionar un sitio es agregarlo al índice de PS. Hasta que el recurso esté indexado, en general no hay nada que promocionar, porque los motores de búsqueda no lo sabrán en absoluto. Por lo tanto, en este artículo consideraré qué es la indexación de sitios en Yandex y cómo enviar un recurso para indexación. También le diré cómo verificar si un sitio o una página separada está incluida en el índice de Yandex y qué hacer para acelerar la indexación por parte de Yandex.

La indexación de un sitio en Yandex es rastreada por robots buscador Yandex de su sitio web e ingresando todas las páginas abiertas en la base de datos. La araña del motor de búsqueda ruso agrega datos sobre el sitio a la base de datos: sus páginas, imágenes, videos, documentos que se pueden buscar. Además, el robot de búsqueda se dedica a indexar enlaces y otros elementos que no están ocultos por etiquetas y archivos especiales.

Las principales formas de indexar un recurso:

Obligado: debe enviar el sitio para indexarlo en Yandex a través de un formulario especial.

Natural - araña de búsqueda logra encontrar su sitio web de forma independiente al pasar de recursos externos que enlazan al sitio web.

El tiempo necesario para indexar un sitio en Yandex es diferente para cada uno y puede variar desde un par de horas hasta varias semanas.

Esto depende de muchos factores: qué valores hay en Sitemap.xml, con qué frecuencia se completa el recurso, con qué frecuencia aparecen menciones del sitio en otros recursos. El proceso de indexación es cíclico, por lo que el robot llegará a usted en intervalos de tiempo (casi) iguales. Pero la frecuencia depende de los factores mencionados anteriormente y del robot específico.

La araña puede indexar todo el sitio web (si es pequeño) o una sección separada (esto se aplica a tiendas o medios en línea). En los recursos que se actualizan con frecuencia, como los portales de medios y de información, existen los llamados robots rápidos para la indexación rápida de sitios en Yandex.

A veces pueden surgir problemas técnicos (o problemas con el servidor) en el proyecto; en este caso, Yandex no indexará el sitio, por lo que el motor de búsqueda puede recurrir al siguiente escenario:

• desechar inmediatamente las páginas no indexadas de la base de datos;
• volver a indexar el recurso después de un tiempo determinado;
• configura las páginas que no fueron indexadas para que se excluyan de la base de datos y, si no las encuentra durante la reindexación, se eliminarán del índice.

Cómo acelerar la indexación de sitios en Yandex

Cómo acelerar la indexación en Yandex - preguntas frecuentes en varios foros para webmasters. De hecho, la vida de todo el sitio depende de la indexación: la posición del recurso en el PS, la cantidad de clientes, la popularidad del proyecto, las ganancias, en definitiva.

He preparado 10 métodos que espero te sean de utilidad. Los primeros cinco son estándar para la indexación constante de un recurso y los cinco siguientes le ayudarán a acelerar la indexación de su sitio en Yandex:

servicios de marcadores;

Feed RSS: garantizará la transmisión de nuevos materiales desde su recurso a los correos electrónicos y directorios RSS de los suscriptores;

intercambios de enlaces: garantizará un aumento estable de enlaces dofollow de donantes de calidad, si se seleccionan correctamente (cómo seleccionar correctamente);

– Si aún no ha registrado su sitio en directorios, le aconsejo que lo haga. Mucha gente dice que los directorios han muerto hace mucho tiempo o que registrarse en ellos acabará con un sitio; esto no es cierto. Más precisamente, no es toda la verdad: si se registra en todos los directorios seguidos, su recurso solo se verá afectado por esto. Pero con la correcta selección de confianza y buenos catálogos, el efecto sin duda será.

Comprobación de la indexación del sitio en Yandex

• El sitio y los operadores de URL. Si desea comprobar la indexación de un sitio en Yandex, puede utilizar los operadores de motores de búsqueda estándar ..biz. (Naturalmente, en lugar de mi dominio, el tuyo)

  

• Barra RDS. Considero que es la forma mejor y más rápida de comprobar la indexación de una página en Yandex. Este complemento se puede instalar en todos los navegadores populares y proporcionará inmediatamente información detallada sobre el número de páginas del sitio en el índice y la presencia de material específico en él. Con esta extensión no perderás tiempo introduciendo URL manualmente en servicios o búsquedas. En general lo recomiendo, la barra RDS es sumamente conveniente:
• Serpiente de Servicio. Un recurso multifuncional con el que se puede analizar un sitio: evaluar la eficacia y el seguimiento de los sitios, analizar las páginas de la competencia, comprobar las posiciones y la indexación de los sitios. Puede comprobar la indexación de páginas de forma gratuita utilizando este enlace: https://serphunt.ru/indexing/. Gracias a la verificación por lotes (hasta 50 direcciones) y la alta confiabilidad de los resultados, este servicio es, en mi opinión, uno de los tres mejores.

  

• Servicio XSEO. Un conjunto de herramientas para webmasters, en XSEO.in puede consultar la indexación de sitios en Yandex. Obtenga también mucha información útil adicional sobre su recurso:

  

• Servicios PR-CY y CY-PR. Un par de servicios más que le proporcionarán información sobre el número total de páginas indexadas:

  

• Servicio de informes del sitio. Un excelente servicio que le señalará todos sus errores al trabajar en el sitio. También cuenta con una sección “Indexación”, donde se presentará información de cada página del sitio, indicando si está indexada o no en los motores de búsqueda Yandex y Google. Por lo tanto, recomiendo utilizar este recurso para detectar problemas en el sitio y verificar la indexación masiva de Yandex:

  

¿Has creado un sitio web, pero no lo encuentras en los motores de búsqueda? ¡Ningún problema! En este material aprenderá cómo indexar un sitio web en Yandex y Google en el menor tiempo posible. Probablemente no sea necesario hablar de las ventajas de acceder rápidamente al índice de los motores de búsqueda. Al fin y al cabo, cualquiera sabe que cuanto antes aparezca su sitio web en los resultados de búsqueda, más rápido aparecerán nuevos clientes. Y para que esto funcione, debe ingresar a la base de datos del motor de búsqueda.

Por cierto, gracias al enfoque correcto, los nuevos materiales en nuestro sitio se encuentran bastante bien y, lo más importante, los motores de búsqueda siempre los indexan rápidamente. Quizás llegó a esta página después de realizar la solicitud correspondiente a barra de búsqueda. Pasemos de la letra a la práctica.

¿Cómo saber si un sitio está indexado?

Lo primero que debe hacer es averiguar si el sitio está indexado por los motores de búsqueda. Es posible que el sitio simplemente no esté en la primera página de búsqueda de la consulta que ingresó. Estas pueden ser consultas de gran volumen en las que es necesario trabajar para que aparezcan. Promoción SEO, y no solo crear y lanzar un sitio web.

Entonces, para comprobarlo, vamos a todos los buscadores a los que tenga sentido ir ( Yandex, Google, Correo, Rambler) y a la línea consulta de busqueda ingrese la dirección del sitio.

Si su recurso aún no ha sido indexado, no se mostrará nada en los resultados de búsqueda o aparecerán otros sitios.

¿Cómo indexar un sitio en Yandex?

Primero, le diremos cómo indexar un sitio web en Yandex. Pero antes de agregar su recurso, verifique que funcione correctamente, se abra correctamente en todos los dispositivos y contenga solo contenido único. Por ejemplo, si agrega un sitio en la etapa de desarrollo, simplemente puede caer bajo el filtro; esto nos sucedió una vez y tuvimos que esperar un mes entero para que Yandex entendiera que tenemos un sitio de alta calidad y levantara las sanciones. .

Para informar a Yandex sobre un nuevo sitio, debe agréguelo a Yandex Webmaster Y instalar Yandex Métrica, la primera herramienta es responsable de Información adicional sobre el recurso ( región, estructura, enlaces rápidos) y cómo se ve el sitio en los resultados orgánicos, el segundo para recopilar datos en el sitio ( asistencia, comportamiento, etc.), que, según nuestra experiencia, también afecta a la indexación del sitio y a su posición en la búsqueda. Además, asegúrese de crear un mapa del sitio e indicarlo en el panel de webmasters.

¿Cómo indexar un sitio en Google?

La mayoría de las veces, el propio Google encuentra rápidamente nuevos sitios y los incluye en la búsqueda, pero esperar a que Google venga y haga todo el trabajo por nosotros es demasiado presuntuoso, así que descubramos cómo indexar un sitio en Google.

Después de agregar los sitios, debería pasar por de 3 a 7 días, antes de que los motores de búsqueda actualicen los datos e indexen el sitio.

Siempre desea que las nuevas páginas del sitio web aparezcan en los resultados de búsqueda lo más rápido posible y, para ello, existen varias formas secretas (y muy simples) de acelerar la indexación de las páginas del sitio web en los motores de búsqueda.

3. Para realizar la manipulación descrita en el párrafo 2, solo para el motor de búsqueda sistemas de google, ve a Search Console. Seleccione "Escanear" y "Verse como el robot de Google"-agregue la dirección de la nueva página y haga clic en "Crawn", después de lo cual solicitamos la indexación.

Análisis de indexación de sitios

En conclusión, cabe señalar que incluso después de una indexación exitosa del sitio en los motores de búsqueda, el trabajo no termina ahí. Es necesario analizar periódicamente la indexación del sitio, así como eliminar posiciones para consultas populares. Esto le permitirá mantenerse al tanto y no terminar en una situación en la que una parte importante del tráfico de los resultados de búsqueda orgánicos simplemente haya desaparecido.

Esto sucedió con muchos sitios antiguos que utilizaron métodos de promoción antiguos después del lanzamiento. Algoritmo de Yandex Baden-Baden. Al mismo tiempo, Yandex anunció de antemano que lanzaría este algoritmo y que las páginas demasiado optimizadas serían excluidas de la búsqueda, mientras que Google nunca informa sobre el lanzamiento de nuevos algoritmos. Por lo tanto, sólo un seguimiento incansable le permitirá permanecer o convertirse en un líder del tema.

Con Google todo es muy sencillo. Debe agregar su sitio a las herramientas para webmasters en https://www.google.com/webmasters/tools/, luego seleccione el sitio agregado, ingresando así a la Consola de búsqueda de su sitio. A continuación, en el menú de la izquierda, seleccione la sección "Escanear" y en ella el elemento "Ver como Googlebot".

En la página que se abre, en el campo vacío, ingrese la dirección de la nueva página que queremos indexar rápidamente (teniendo en cuenta el nombre de dominio del sitio ya ingresado) y haga clic en el botón "Rastrear" a la derecha. Esperamos hasta que la página sea escaneada y aparezca en la parte superior de la tabla de direcciones previamente escaneadas de manera similar. A continuación, haga clic en el botón "Agregar al índice".

¡Hurra, Google indexa instantáneamente su nueva página! En tan solo un par de minutos podrás encontrarlo en los resultados de búsqueda de Google.

Indexación rápida de páginas en Yandex

EN nueva versión las herramientas para webmasters estuvieron disponibles herramienta similar para agregar nuevas páginas al índice. En consecuencia, su sitio también debe agregarse primero a Yandex Webmaster. También puede llegar allí seleccionando el sitio deseado en el webmaster, luego vaya a la sección "Indexación" y seleccione el elemento "Rerastreo de páginas". En la ventana que se abre, ingresamos las direcciones de las nuevas páginas que queremos indexar rápidamente (a través de un enlace en una línea).

A diferencia de Google, la indexación en Yandex aún no se produce instantáneamente, pero intenta esforzarse por lograrlo. Con las acciones anteriores, informará al robot Yandex sobre nueva pagina. Y se indexará en media hora o una hora; esto es lo que muestra mi experiencia personal. Quizás la velocidad de indexación de páginas en Yandex dependa de una serie de parámetros (la reputación de su dominio, cuenta y/u otros). En la mayoría de los casos, puedes detenerte ahí.

Si ve que las páginas de su sitio están mal indexadas por Yandex, es decir, existen varias recomendaciones generales sobre cómo afrontar esto:

• La mejor recomendación, pero también la más difícil, es instalar Yandex Quickbot en su sitio web. Para hacer esto, es recomendable agregar materiales frescos al sitio todos los días. Preferiblemente 2-3 o más materiales. Además, no los agregue todos a la vez, sino después de un tiempo, por ejemplo, por la mañana, tarde y noche. Sería incluso mejor mantener aproximadamente el mismo cronograma de publicación (aproximadamente mantener el mismo tiempo para agregar nuevos materiales). Además, muchos recomiendan crear un feed RSS para su sitio para robots de búsqueda Podría leer actualizaciones directamente desde él.
• Naturalmente, no todos podrán agregar nuevos materiales al sitio en tales volúmenes; es bueno si puede agregar 2 o 3 materiales por semana. En este caso, realmente no puedes soñar con la velocidad de Yandex, pero intenta incluir nuevas páginas en el índice de otras maneras. Se considera que el más eficaz es publicar enlaces a nuevas páginas de cuentas de Twitter actualizadas. Mediante el uso programas especiales Al igual que Twidium Accounter, puede "aumentar" la cantidad de cuentas de Twitter que necesita y, con su ayuda, insertar rápidamente nuevas páginas del sitio en el índice del motor de búsqueda. Si no tiene la oportunidad de publicar usted mismo enlaces a cuentas de Twitter actualizadas, puede comprar dichas publicaciones a través de intercambios especiales. Una publicación con su enlace costará en promedio de 3 a 4 rublos o más (dependiendo de la solidez de la cuenta seleccionada). Pero esta opción resultará bastante cara.
• La tercera opción para una indexación rápida es utilizar el servicio http://getbot.guru/, que por sólo 3 rublos le ayudará a conseguir el efecto deseado con garantía de resultados. Muy adecuado para sitios con un cronograma poco común para agregar nuevas publicaciones. También hay tarifas más económicas. Es mejor consultar sus detalles y diferencias en el sitio web del propio servicio. Personalmente, estoy muy satisfecho con los servicios de este servicio como acelerador de indexación.

Por supuesto, también puedes agregar nuevas publicaciones a los marcadores sociales, lo que en teoría también debería ayudar a que el sitio se indexe rápidamente. Pero la eficacia de dicha adición también dependerá del nivel de sus cuentas. Si tiene poca actividad en ellos y usa cuentas solo para ese tipo de spam, prácticamente no obtendrá resultados útiles.

PD con amplia experiencia siempre es relevante: ¡contáctenos!

Hola, queridos lectores del sitio. Hoy te diré cómo encontrar y arreglar Posibles problemas con la indexación de su sitio. Veamos tres puntos principales.

1. El robot debe indexar las páginas necesarias del sitio;
2. Estas páginas deben indexarse ​​rápidamente;
3. El robot no debe visitar páginas innecesarias del sitio;

Todo parece bastante sencillo. Pero, de hecho, la mayoría de los webmasters enfrentan los mismos problemas al configurar la indexación. Mirémoslos detenidamente.

Actualmente, en la mayoría de los casos, si estamos hablando acerca de sobre una nueva página del sitio en los resultados de búsqueda, aparecerá en unas pocas decenas de minutos. Si hablamos de páginas ya indexadas, entonces esto 3-5 días.

Como resultado, para que su sitio sea visitado rápidamente, debe recordar tres reglas:

1. En primer lugar, debe tener un archivo de mapa del sitio correcto y actualizado periódicamente;
2. En segundo lugar, no utilice la directiva Crawl-delay sólo si lo desea. Ahora mismo, asegúrese de ir a su archivo robots.txt y verificar si existe dicha directiva. Si está instalado, piensa si realmente lo necesitas.
3. En tercer lugar, utilice el "rastreo de páginas" para que el robot visite las páginas más importantes de su sitio con una nueva página importante.

Libramos al robot de páginas web innecesarias

Cuando un robot comienza a visitar su recurso, a menudo esto no siempre tiene un efecto positivo en la indexación. buenas paginas sitio. Imaginemos una situación: digamos que un robot realiza 5 solicitudes por segundo a su recurso. Parece un resultado excelente, pero ¿de qué sirven estas cinco visitas por segundo si todas ellas se refieren a páginas de servicios de tu sitio o duplicadas y el robot no presta atención a las páginas realmente importantes? Esta es nuestra siguiente sección, cómo no indexar páginas innecesarias.

1. Usamos la sección para webmasters de Yandex y rastreamos estadísticas.
2. Obtenemos las direcciones de páginas que el robot no debería indexar.
3. Compilando el archivo robots.txt correcto

Echemos un vistazo a la herramienta Estadísticas de rastreo, se ve así. También hay gráficos aquí. Nos interesa desplazarnos un poco hacia abajo en la página, utilizando el botón “todas las páginas”. Verás todo lo que ha visitado el robot en los últimos días.

Entre estas páginas, si hay páginas de servicio, deben prohibirse en el archivo robots.txt. Veamos qué es exactamente lo que debe prohibirse punto por punto.

1. En primer lugar, como dije antes, filtrando paginas, la selección de productos y la clasificación deben estar prohibidos en el archivo robots.txt.
2. En segundo lugar, prohibimos definitivamente varias páginas de acción. Por ejemplo, agregar para comparar, agregar a favoritos, agregar al carrito. También prohibimos la página con el carrito en sí.
3. En tercer lugar, prohibimos eludir todas las secciones de servicio como búsqueda de sitio, panel de administración de su recurso, secciones con datos de usuario. Por ejemplo, la información de entrega, números de teléfono, etc. también están prohibidos en el archivo robots.txt.
4. Y páginas de identificación, por ejemplo, también se debe prohibir el rastreo de etiquetas utm en el archivo robots.txt mediante la directiva Clean-param.

Si se enfrenta a la pregunta de si esta página debería bloquearse o abrirse para su rastreo, responda usted mismo una pregunta sencilla: ¿Los usuarios necesitan esta página?¿buscador? Si no se deben buscar consultas en esta página, se puede desactivar.

Y un pequeño caso práctico, espero que os motive. Mire, en uno de los recursos, el robot realiza casi miles de llamadas al día a páginas con redireccionamiento. De hecho, las páginas de redireccionamiento en realidad se agregaron a las páginas del carrito.

Realizamos cambios en el archivo robots.txt y en el gráfico se puede ver que el acceso a dichas páginas prácticamente ha desaparecido. Al mismo tiempo, la dinámica positiva inmediata: pasar por alto las páginas necesarias en esta página de estepa con el código 200 ha aumentado considerablemente.

- Páginas duplicadas en el sitio, cómo encontrarlas y qué hacer con ellas.

Y aquí te espera otro peligro: este paginas duplicadas. Por duplicados nos referimos a varias páginas de un sitio web a las que se puede acceder desde diferentes direcciones, pero que al mismo tiempo contienen contenido absolutamente idéntico. El principal peligro de los duplicados es que, si están presentes, pueden cambiar en los resultados de la búsqueda. Una página puede terminar en una dirección que no necesita y competir con la página principal que está promocionando para algunas solicitudes. Además, una gran cantidad de páginas duplicadas dificulta que un robot de indexación rastree el sitio. En general, traen muchos problemas.

Creo que casi todos los webmasters están seguros de que no hay páginas duplicadas en su sitio web. Quiero molestarte un poco. De hecho, hay duplicados en casi todos los sitios de RuNet. ? Tengo un artículo detallado sobre esto, después de leerlo no te quedará ni una sola pregunta.

- Comprobando el código de respuesta del servidor.

Además del archivo robots.txt, también me gustaría informarle sobre los códigos de respuesta http correctos. También parecen cosas que ya se han dicho muchas veces. El código de respuesta HTTP en sí es un determinado estado de la página para el robot de indexación.

1. http-200: la página se puede indexar y habilitar la búsqueda.
2. http-404 significa que la página ha sido eliminada.
3. http-301: página redirigida.
4. http-503: no disponible temporalmente.

¿Cuál es la ventaja de utilizar la herramienta para corregir códigos http?

1. En primer lugar, nunca tendrá varios enlaces rotos a su recurso, es decir, aquellos enlaces que conducen a páginas que no responden con un código de respuesta 200. Si la página no existe, entonces el código de respuesta 404 significa que el robot lo entenderá. .
2. En segundo lugar, ayudará al robot a rastrear las páginas realmente necesarias que responden con un código de respuesta de 200.
3. Y en tercer lugar, le permitirá evitar que varios tipos de basura lleguen a los resultados de búsqueda.

De esto trata exactamente la siguiente captura de pantalla, también procedente de la práctica. Cuando un recurso no está disponible y se está realizando un trabajo técnico, el robot recibe un código auxiliar con un código de respuesta http de 200. Esta es exactamente la descripción de este código auxiliar que ve en los resultados de la búsqueda.

Dado que la página responde con un código de respuesta de 200, se devuelven. Naturalmente, las páginas con dicho contenido no se pueden localizar ni mostrar para ninguna solicitud. En este caso configuración correcta habrá una respuesta http 503. Si una página o recurso no está disponible temporalmente, este código de respuesta evitará excluir páginas de los resultados de búsqueda.

Estas son situaciones en las que las páginas importantes y necesarias de su recurso se vuelven inaccesibles para nuestro robot, por ejemplo, responden con el código 503 o 404, o en su lugar se devuelven a este código auxiliar.

Estas situaciones se pueden rastrear utilizando la herramienta. "páginas importantes". Agregue aquellas páginas que atraigan más tráfico a su recurso. Configura notificaciones por correo electrónico o servicio y recibirás información sobre lo que está sucediendo con esta página. Cuál es su código de respuesta, cuál es su título, cuándo fue visitado y cuál es su estado en los resultados de búsqueda.

Puede verificar la exactitud de devolver un código de respuesta en particular utilizando la herramienta adecuada en Yandex Webmaster (aquí). En este caso, verificamos el código de respuesta de páginas inexistentes. Se me ocurrió una página y la puse en la herramienta, hice clic en el botón de verificación y recibí una respuesta 404.

Aquí todo está bien, ya que la página no estaba disponible; respondió correctamente con un código 404 y ya no se incluirá en la búsqueda. Como resultado, para evitar que los robots visiten páginas innecesarias del sitio, utilice activamente la herramienta de estadísticas de rastreo, realice cambios en el archivo robots.txt y asegúrese de que las páginas devuelvan el código de respuesta http correcto.

- Resumamos

Le dimos al robot las páginas correctas del sitio web con contenido. Nos hemos asegurado de que se indexe rápidamente. Prohibimos al robot indexar páginas innecesarias. Estos tres grandes grupos de tareas están interconectados.. Es decir, si no limita al robot para que no indexe las páginas del servicio, lo más probable es que tenga menos tiempo para indexar las páginas necesarias del sitio.

Si el robot no recibe el contenido completo de las páginas requeridas, no incluirá estas páginas en los resultados de búsqueda rápidamente. Es decir, necesita trabajar en la indexación de su recurso de manera compleja, en estas tres tareas. Y en este caso, logrará cierto éxito para que las páginas necesarias aparezcan rápidamente en los resultados de búsqueda.

Respuestas oficiales de Yandex

El índice incluía páginas en mayúsculas, aunque el sitio no contiene dichas páginas. Si las páginas están en mayúsculas, lo más probable es que el robot haya encontrado enlaces a ellas en algún lugar de Internet. Primero revise su sitio, lo más probable es que haya un enlace incorrecto en algún lugar de Internet. Llegó el robot, lo vio y empezó a descargar la página en mayúsculas. Para ellos, para este tipo de páginas es mejor utilizar una redirección 301.

El mapa del sitio tiene varias páginas. ¿Es esto normal? Si estamos hablando de un mapa del sitio, entonces hay un formato de mapa del sitio especial en el que puede especificar enlaces a otros archivos del mapa del sitio, entonces, por supuesto, es normal.

Si coloca enlaces a todas las secciones del catálogo en la parte inferior del sitio, que se muestran en todas las páginas, ¿ayudará a la indexación o la perjudicará? De hecho, no necesita hacer esto en absoluto, es decir, si los visitantes de su sitio no lo necesitan, entonces no necesita agregarlo específicamente. Sólo un archivo de mapa del sitio es suficiente. El robot conocerá la presencia de todas estas páginas y las agregará a su base de datos.

¿Necesito indicar la frecuencia de las actualizaciones en el mapa del sitio? El archivo de mapa del sitio se puede utilizar para proporcionar información adicional al robot de indexación. Además de las direcciones en sí, nuestro robot también entiende varias etiquetas más. En primer lugar, esta es la frecuencia de actualización, es decir, la frecuencia de las actualizaciones. Esta es la prioridad de rastreo y la fecha. ultimo cambio. Toma toda esta información del archivo del mapa del sitio cuando procesa el archivo, la agrega a su base de datos y la usa más tarde para ajustar las políticas de rastreo.

¿Es posible prescindir de un mapa del sitio? Sí, asegúrese de que su sitio tenga una navegación clara, con enlaces accesibles que conduzcan a cualquier página interna. Pero tenga en cuenta que si se trata de un recurso nuevo (del autor: lea sobre cómo iniciar un sitio nuevo) y, por ejemplo, alguna página está ubicada en lo más profundo de su sitio, por ejemplo, a entre 5 y 10 clics de distancia, entonces el El robot necesitará mucho tiempo para conocer su disponibilidad. Primera descarga pagina de inicio sitio, obtener enlaces, luego descargar nuevamente las páginas que conoció, etc. El archivo de mapa del sitio le permite transferir información sobre todas las páginas a la vez al robot.

El robot realiza 700 mil solicitudes al día en páginas inexistentes. En primer lugar, es necesario comprender de dónde proceden esas páginas inexistentes. Quizás los enlaces relativos se utilicen incorrectamente en su sitio, o alguna sección se haya eliminado por completo del sitio y el robot continúe revisando dichas páginas de todos modos. En este caso, simplemente deberías desactivarlos en el archivo robots.txt. Dentro de 12 horas, el robot dejará de acceder a dichas páginas.

Si las páginas de servicios están indexadas, ¿cómo se pueden eliminar de la búsqueda? Para eliminar páginas de los resultados de búsqueda, utilice también robots.txt. Es decir, no importa si estableció la prohibición al crear su sitio o cuando lanzó el recurso. La página desaparecerá de los resultados de búsqueda dentro de una semana.

¿Un mapa del sitio generado automáticamente es bueno o no? En la mayoría de los casos, todos los mapas del sitio se generan automáticamente, por lo que podemos decir que esto probablemente sea bueno. No tienes que hacer nada con las manos y puedes dedicar tu atención a otra cosa.

Cómo se indexará la página si se hace canónica para sí misma. ¿Si el atributo canónico conduce a la misma página? ¿Esta página se considera canónica? Será correctamente indexado e incluido en los resultados de búsqueda, es decir, utilizar esta técnica es bastante correcto.

¿Qué significa el estatus "no canónico"? z El atributo canónico se establece en la página, lo que conduce a otra página de su sitio. Es por eso esta página no podrá entrar en la búsqueda. Abierto fuente páginas, haga una búsqueda, mire a dónde conduce el canonical y verifique la página canónica en la búsqueda.

¿Qué es más correcto que una página de carrito esté prohibida en robots.txt o noindex? Si una página está prohibida utilizando el método noindex, el robot la visitará periódicamente y comprobará si esta prohibición. Para evitar que el robot haga esto, es mejor utilizar una prohibición en el archivo robots.txt.

¡Nos vemos! Manténgase al día con todo y siempre en las páginas del sitio del blog.

Ayude al proyecto: suscríbase a nuestro canal Yandex.Zen.