Snabb sidindexering. Ett snabbt sätt att kontrollera indexeringen av sidor i Yandex och Google. Skriver rätt brev till Yandex

Från detta material kommer du att lära dig:

• Vad är indexering
• Hur man lägger till en webbplats i databasen
• Hur man påskyndar indexeringen

Vad är indexering?

Vi har redan berättat om. Kort sagt, det här är svar på användarfrågor som de skriver in i en sökmotor. Om du klickar på "köp en elefant" får du sajter som erbjuder elefanter i grossist- och detaljhandel. Yandex eller Google kommer inte att visa plastfönster eller ringa tjejer för sådana förfrågningar. Och nu uppmärksamhet, frågan: kommer varje webbplats in i sökresultaten? Nej, inte alla. Som ett minimum måste sökmotorer veta om den här webbplatsens existens och innehållet som publiceras på den. När allt kommer omkring, hur kan du visa något som ingen vet om? Det finns webbplatsdatabaser för detta. Kort sagt, att lägga till en webbplats med dess innehåll till denna databas kallas indexering. Hur fungerar indexering? Yandex- eller Google-roboten fungerar enligt sina egna algoritmer: den söker efter information om din webbplats (denna information inkluderar nyckelartiklar, texter, foton, etc. - i ett ord, allt innehåll). Det är som en röntgenbild, den skannar igenom varje sida på webbplatsen, analyserar den, skannar den och lägger till din webbplats i databasen. Nu kommer den att visas i sökresultaten och visas som svar på användarfrågor. Och i vilka positioner - ledare eller utomstående - beror på innehållet som det fylls med. Naturligtvis är webbplatsindexering helt enkelt nödvändig. När din webbplats börjar ses av sökmotorer kommer besökare till den och den växer

Hur lägger man till en webbplats i databasen?

Låt oss säga att du skapade webbplatsen Mostbestsite.rf. Vi fyllde den såklart med det bästa innehållet och ser fram emot att det når toppen. För att webbplatsen och innehållet ska indexeras och inkluderas i databasen kan du använda två metoder.

1. Vänta på självindexering. Förr eller senare kommer robotar att hitta din webbplats - för att göra detta behöver du bara lämna aktiva länkar till den från andra resurser. Man tror att ju fler länkar det finns, desto snabbare blir indexeringen.
2. Lägg till en webbplats manuellt genom att fylla i ett speciellt formulär i sökmotorn. Där måste du ange en länk till webbplatsen och kort information om honom. I Yandex, till exempel, görs detta i tjänstenYandex Webmaster På sidan Rapportera en ny webbplats .

Där, i Webmaster, kan du sedan övervaka statistiken över förfrågningar som tar användare till din webbplats. Allt är också enkelt i Google - du kan registrera en webbplats med hjälp av länkenGoogle Webmaster Center . Hur snabbt går indexeringen? Det är svårt att säga exakta siffror - det beror på din tur. Men vi vet en sak med säkerhet: Yandex indexerar långsammare än Google. Det fanns fall då indexeringen i den tog flera veckor.

Hur snabbar man på indexeringen?

Sökmotoralgoritmer är en oförutsägbar sak, och som redan nämnts finns det inget exakt recept. Vi kan rekommendera beprövade metoder (i huvudsak samma som påverkar marknadsföring av webbplatser i sökresultat)

1. Unikt innehåll som sökmotorer älskar så mycket. En sak: om du har lagt upp en artikel på en webbplats eller blogg och den ännu inte har indexerats, kan vem som helst teoretiskt sett stjäla den och lägga upp den på egen hand. Om artikeln har indexerats tidigare på en annan sida är du i trubbel. Din artikel kommer att betraktas som icke-unik, och din konkurrent kommer att lämnas i skymundan.
2. Tydlig webbplatsstruktur. Följ treklicksregeln: du kan komma till varje sida från huvudsidan med högst tre klick. Mindre är bra, mer är bättre! På så sätt kommer du att göra uppgiften enklare för sökmotorer, som indexerar inte bara huvudsidan utan även andra sidor.
3. Att länka till interna sidor är användbart för både besökare och roboten.
4. Sändning av inlägg till RSS-kataloger. Alla dina inlägg kommer att dupliceras i RSS-kataloger som RSS-flöden läggs till. Det här är flöden för att prenumerera på blogg- eller webbuppdateringar så att du får det senaste i din e-post. Med deras hjälp kommer sökmotorn snabbt att hitta dina nya artiklar och indexera dem.

Här är ett exempel på framgångsrik indexering:

För en vecka sedan dök det upp en artikel om ett vapen på en av sajterna VPO-213 . Det fanns praktiskt taget ingen information om denna pistol på Internet - den hade ännu inte dykt upp till försäljning. Det fanns bara en kort presentation i en video på YouTube. Följaktligen var texten helt unik och nästan den enda på Internet om detta ämne. Runt midnatt publicerades texten på sajten (inte ens på huvudsidan!) och indexerades inom kort. Vid halv tio på morgonen dagen efter låg artikeln på tredje plats i Yandex sökresultat. Klockan 9.50 blev hon först och har fortfarande denna position.

I stort sett, om din resurs är bra, välgjord, borde det inte vara några problem med dess indexering. Om webbplatsen, även om den inte är 100%, uppfyller kraven från sökmotorer - "för människor", kommer de gärna att titta på dig och indexera allt nytt som kommer att läggas till.

Men hur som helst, det första steget för att marknadsföra en webbplats är att lägga till den i PS-indexet. Tills resursen är indexerad finns det i stort sett inget att främja, eftersom sökmotorer inte vet om det alls. Därför kommer jag i den här artikeln att titta på vad webbplatsindexering är i Yandex och hur man skickar in en resurs för indexering. Jag kommer också att berätta hur du kontrollerar om en webbplats eller en separat sida ingår i Yandex-indexet och vad du ska göra för att påskynda indexeringen av Yandex.

Att indexera en webbplats i Yandex genomsöks av robotar sökmotor yandex på din webbplats och mata in alla öppna sidor i databasen. Den ryska sökmotorspindeln lägger till data om webbplatsen till databasen: dess sidor, bilder, videor, dokument som är sökbara. Sökroboten är också engagerad i att indexera länkar och andra element som inte är dolda av speciella taggar och filer.

De viktigaste sätten att indexera en resurs:

Tvingad - du måste skicka in webbplatsen för indexering till Yandex genom ett speciellt formulär.

Naturligt - sök spindel lyckas självständigt hitta din webbplats genom att flytta från externa resurser som länkar till webbplatsen.

Tiden det tar att indexera en webbplats i Yandex är olika för alla och kan variera från ett par timmar till flera veckor.

Detta beror på många faktorer: vilka värden finns i Sitemap.xml, hur ofta resursen fylls, hur ofta omnämnanden av webbplatsen visas på andra resurser. Indexeringsprocessen är cyklisk, så roboten kommer till dig med (nästan) lika tidsintervall. Men med vilken frekvens beror på faktorerna som nämns ovan och den specifika roboten.

Spindeln kan indexera hela webbplatsen (om den är liten) eller en separat sektion (detta gäller nätbutiker eller media). På ofta uppdaterade resurser, som media- och informationsportaler, bor så kallade snabba robotar för snabb sajtindexering i Yandex.

Ibland kan tekniska problem (eller problem med servern) uppstå i projektet; i det här fallet kommer Yandex-indexering av webbplatsen inte att äga rum, varför sökmotorn kan ta till följande scenario:

• kasta omedelbart ut oindexerade sidor från databasen;
• indexera om resursen efter en viss tid;
• ställ in sidor som inte indexerades för att uteslutas från databasen, och om den inte hittar dem under återindexering kommer den att kastas ut ur indexet.

Hur man påskyndar webbplatsindexering i Yandex

Hur man påskyndar indexeringen i Yandex - vanliga frågor på olika webmasterforum. Faktum är att hela webbplatsens livslängd beror på indexering: resursens position i PS, antalet kunder från dem, projektets popularitet, vinst, i slutändan.

Jag har förberett 10 metoder som jag hoppas kommer vara användbara för dig. De första fem är standard för konstant indexering av en resurs, och de nästa fem hjälper dig att påskynda indexeringen av din webbplats i Yandex:

Bokmärkestjänster;

RSS-flöde – kommer att säkerställa sändning av nytt material från din resurs till prenumeranters e-post och RSS-kataloger;

länkutbyten - kommer att säkerställa en stabil ökning av dofollow-länkar från kvalitetsgivare, om de väljs korrekt (hur man väljer rätt);

– om du ännu inte har registrerat din webbplats i kataloger, råder jag dig att göra det. Många säger att kataloger har dött för länge sedan eller att registrering i dem kommer att döda en webbplats - det är inte sant. Mer exakt, det är inte den fullständiga sanningen, om du registrerar dig i alla kataloger i rad, kommer din resurs verkligen bara att lida av detta. Men med rätt urval av förtroende och bra kataloger kommer effekten utan tvekan att bli.

Kontrollera webbplatsindexering i Yandex

• Webbplats- och webbadressoperatörer. Om du vill kontrollera indexeringen av en webbplats i Yandex kan du använda vanliga sökmotoroperatörer ..biz. (Naturligtvis, istället för min domän, din)

  

• RDS bar. Jag anser att det är det bästa och snabbaste sättet att kontrollera indexeringen av en sida i Yandex. Denna plugin kan installeras på alla populära webbläsare och kommer omedelbart att tillhandahålla detaljerad information om antalet webbplatssidor i indexet och förekomsten av specifikt material i det. Med detta tillägg kommer du inte att slösa tid på att manuellt ange webbadresser i tjänster eller sökningar. I allmänhet rekommenderar jag det, RDS-fältet är extremt bekvämt:
• Service Serphant. En multifunktionell resurs med vilken du kan analysera en webbplats: bedöma effektiviteten och övervakningen av webbplatser, analysera konkurrenters sidor, kontrollera positioner och webbplatsindexering. Du kan kontrollera sidindexering gratis med denna länk: https://serphunt.ru/indexing/. Tack vare batchkontroll (upp till 50 adresser) och hög tillförlitlighet av resultaten är denna tjänst en av de tre bästa enligt min mening.

  

• XSEO-tjänst. En uppsättning verktyg för webbansvariga, i XSEO.in kan du titta på webbplatsindexeringen i Yandex. Få även mycket mer användbar information om din resurs:

  

• PR-CY och CY-PR tjänster. Ett par tjänster till som ger dig information om det totala antalet indexerade sidor:

  

• Platsrapporttjänst. En utmärkt tjänst som kommer att peka ut alla dina misstag när du arbetar på sajten. Den har också en sektion "Indexering", där information kommer att presenteras för varje sida på webbplatsen, som anger om den är indexerad eller inte i sökmotorerna Yandex och Google. Därför rekommenderar jag att du använder den här resursen för att upptäcka problem på webbplatsen och kontrollera Yandex massindexering:

  

Har du skapat en webbplats men kan inte hitta den i sökmotorer? Inga problem! I det här materialet kommer du att lära dig hur du indexerar en webbplats i Yandex och Google på kortast möjliga tid. Det är förmodligen onödigt att prata om fördelarna med att snabbt komma in i sökmotorindex. När allt kommer omkring förstår alla att ju tidigare hans webbplats visas i sökresultaten, desto snabbare kommer nya kunder att dyka upp. Och för att detta ska fungera måste du komma in i sökmotordatabasen.

Förresten, tack vare rätt tillvägagångssätt, är nytt material på vår webbplats ganska bra, och viktigast av allt, alltid snabbt indexerat av sökmotorer. Kanske kom du till denna sida efter att ha gjort en motsvarande förfrågan till sökruta. Låt oss gå vidare från texten till övning.

Hur tar man reda på om en webbplats är indexerad?

Det första du behöver göra är att ta reda på om webbplatsen är indexerad av sökmotorer. Det kan vara så att webbplatsen helt enkelt inte finns på första sidan i sökningen efter den sökfråga du angav. Det kan vara frågor med stora volymer som måste bearbetas för att dyka upp SEO marknadsföring, och inte bara skapa och lansera en webbplats.

Så för att kontrollera går vi till alla sökmotorer som är vettiga att gå till ( Yandex, Google, Mail, Rambler) och till linjen Sök fråga ange webbplatsens adress.

Om din resurs ännu inte har indexerats kommer ingenting att visas i sökresultaten, eller andra webbplatser kommer att visas.

Hur indexerar man en webbplats i Yandex?

Först berättar vi hur du indexerar en webbplats i Yandex. Men innan du lägger till din resurs, kontrollera att den fungerar korrekt, öppnas korrekt på alla enheter och endast innehåller unikt innehåll. Om du till exempel lägger till en webbplats i utvecklingsstadiet kan du helt enkelt falla under filtret - det här hände oss en gång och vi var tvungna att vänta en hel månad för att Yandex skulle förstå att vi har en webbplats av hög kvalitet och häva sanktionerna .

För att informera Yandex om en ny webbplats måste du lägg till den i Yandex Webmaster Och installera Yandex Metrica, det första verktyget ansvarar för Ytterligare information om resursen ( region, struktur, snabblänkar) och hur webbplatsen ser ut i organiska resultat, den andra för att samla in data på webbplatsen ( närvaro, beteende osv.), vilket enligt vår erfarenhet också påverkar indexeringen av webbplatsen och dess position i sökningen. Se också till att göra en webbplatskarta och ange den i panelen för webbansvariga.

Hur indexerar man en webbplats i Google?

Oftast hittar Google själv snabbt nya webbplatser och lägger dem i sökningar, men att vänta på att Google ska komma och göra allt arbete åt oss är för förmätet, så låt oss ta reda på hur man indexerar en webbplats i Google.

Efter att webbplatserna har lagts till bör den gå igenom från 3 till 7 dagar, innan sökmotorer uppdaterar data och indexerar webbplatsen.

Du vill alltid att nya webbsidor ska dyka upp i sökresultaten så snabbt som möjligt, och för detta finns det flera hemliga (och mycket enkla) sätt att påskynda indexeringen av webbsidor i sökmotorer.

3. För att utföra den manipulation som beskrivs i punkt 2, endast för sökmotorn Googles system, gå till Search Console. Välj "Skanna" och "Se som Googlebot"-lägg till adressen till den nya sidan och klicka på "Crawn", varefter vi begär indexering.

Webbplatsindexeringsanalys

Sammanfattningsvis bör det noteras att även efter framgångsrik indexering av webbplatsen i sökmotorer slutar arbetet inte där. Det är nödvändigt att periodiskt analysera indexeringen av webbplatsen, samt ta bort positioner för populära frågor. Detta gör att du kan hålla fingret på pulsen och inte hamna i en situation där en betydande del av trafiken från organiska sökresultat helt enkelt har försvunnit.

Detta hände med många gamla webbplatser som använde gamla marknadsföringsmetoder efter lanseringen Yandex algoritm Baden-Baden. Samtidigt meddelade Yandex i förväg att man lanserar denna algoritm och överoptimerade sidor skulle uteslutas från sökningen, medan Google aldrig rapporterar lanseringen av nya algoritmer. Därför är det bara outtröttlig övervakning som gör att du kan stanna kvar eller bli en ämnesledare!

Med Google är allt väldigt enkelt. Du måste lägga till din webbplats i verktyg för webbansvariga på https://www.google.com/webmasters/tools/, välj sedan den tillagda webbplatsen, så att du kommer in i Search Console på din webbplats. Därefter, i den vänstra menyn, välj avsnittet "Scanning" och i det alternativet "Visa som Googlebot".

På sidan som öppnas, i det tomma fältet, skriv in adressen till den nya sidan som vi snabbt vill indexera (med hänsyn till det redan angivna domännamnet på webbplatsen) och klicka på knappen "Genomsök" till höger. Vi väntar tills sidan har skannats och dyker upp överst i tabellen över adresser som tidigare skannats på liknande sätt. Klicka sedan på knappen "Lägg till i index".

Hurra, din nya sida indexeras omedelbart av Google! På bara ett par minuter kommer du att kunna hitta den i Googles sökresultat.

Snabb indexering av sidor i Yandex

I ny version verktyg för webbansvariga blev tillgängliga liknande verktyg för att lägga till nya sidor i indexet. Följaktligen måste din webbplats också först läggas till Yandex Webmaster. Du kan också komma dit genom att välja önskad webbplats i webbmastern, gå sedan till avsnittet "Indexering", välj alternativet "Sidgenomsökning". I fönstret som öppnas anger du adresserna till nya sidor som vi snabbt vill indexera (via en länk på en rad).

Till skillnad från Google sker indexering i Yandex ännu inte omedelbart, men det försöker sträva efter det. Med hjälp av ovanstående åtgärder kommer du att informera Yandex-roboten om ny sida. Och det kommer att indexeras inom en halvtimme till en timme - detta är vad min personliga erfarenhet visar. Kanske beror hastigheten på sidindexering i Yandex på ett antal parametrar (rykte för din domän, ditt konto och/eller andra). I de flesta fall kan du stanna där.

Om du ser att sidorna på din webbplats är dåligt indexerade av Yandex, det vill säga det finns flera allmänna rekommendationer om hur man hanterar detta:

• Den bästa, men också svåra, rekommendationen är att installera Yandex quickbot på din webbplats. För att göra detta är det lämpligt att lägga till färskt material till webbplatsen varje dag. Gärna 2-3 eller fler material. Lägg dessutom till dem inte alla på en gång, utan efter ett tag, till exempel på morgonen, eftermiddagen och kvällen. Det skulle vara ännu bättre att behålla ungefär samma publiceringsschema (ungefär samma tid för att lägga till nytt material). Många rekommenderar också att du skapar ett RSS-flöde för din webbplats sökrobotar kunde läsa uppdateringar direkt från den.
• Naturligtvis kommer inte alla att kunna lägga till nytt material till webbplatsen i sådana volymer - det är bra om du kan lägga till 2-3 material per vecka. I det här fallet kan du inte riktigt drömma om hastigheten på Yandex, men försök få in nya sidor i indexet på andra sätt. Det mest effektiva anses vara att lägga upp länkar till nya sidor till uppgraderade Twitter-konton. Genom att använda specialprogram som Twidium Accounter kan du "pumpa upp" antalet Twitter-konton du behöver och, med deras hjälp, snabbt infoga nya webbplatssidor i sökmotorindex. Om du inte har möjlighet att själv lägga upp länkar till uppgraderade Twitter-konton kan du köpa sådana inlägg genom särskilda börser. Ett inlägg med din länk kommer att kosta i genomsnitt 3-4 rubel och mer (beroende på styrkan på det valda kontot). Men det här alternativet kommer att bli ganska dyrt.
• Det tredje alternativet för snabb indexering är att använda tjänsten http://getbot.guru/, som för bara 3 rubel hjälper dig att uppnå önskad effekt med en garanti för resultat. Väl lämpad för webbplatser med ett sällsynt schema för att lägga till nya publikationer. Det finns också billigare priser. Det är bättre att titta på deras detaljer och skillnader på webbplatsen för själva tjänsten. Personligen är jag mycket nöjd med den här tjänstens tjänster som en indexeringsaccelerator.

Naturligtvis kan du även lägga till nya inlägg i sociala bokmärken, vilket i teorin också borde hjälpa sajten att snabbt indexeras. Men effektiviteten av ett sådant tillägg beror också på nivån på dina konton. Om du har lite aktivitet på dem och du bara använder konton för sådan spam, kommer det praktiskt taget inte att finnas någon användbar utdata.

P.S. med lång erfarenhet är alltid relevant - kontakta oss!

Hej kära läsare av sajten. Idag ska jag berätta hur du hittar och fixar eventuella problem med att indexera din webbplats. Låt oss titta på tre huvudpunkter.

1. Roboten måste indexera de nödvändiga sidorna på webbplatsen från;
2. Dessa sidor måste indexeras snabbt;
3. Roboten ska inte besöka onödiga sidor på webbplatsen;

Det hela verkar ganska enkelt. Men i själva verket möter de flesta webbansvariga samma problem när de ställer in indexering. Låt oss titta noga på dem.

För närvarande, i de flesta fall, if vi pratar om om en ny webbplatssida i sökresultaten, kommer den att visas inom några tiotals minuter. Om vi ​​pratar om redan indexerade sidor, då detta 3-5 dagar.

Som ett resultat måste du komma ihåg tre regler för att din webbplats ska kunna besökas snabbt:

1. Först måste du ha en korrekt och regelbundet uppdaterad webbplatskartafil;
2. För det andra, använd inte Crawl-delay-direktivet bara om du känner för det. Se till att gå till din robots.txt just nu och kontrollera om ett sådant direktiv finns. Om den är installerad, fundera över om du verkligen behöver den.
3. För det tredje, använd "sidgenomsökning" för att få roboten att besöka de viktigaste sidorna på din webbplats med en ny viktig sida.

Vi gör bort roboten från onödiga webbsidor

När en robot börjar besöka din resurs har detta ofta inte alltid en positiv effekt på indexeringen bra sidor webbplats. Låt oss föreställa oss en situation, låt oss säga att en robot gör 5 förfrågningar per sekund till din resurs. Det verkar vara ett utmärkt resultat, men vad är poängen med dessa fem besök per sekund om de alla relaterar till tjänstesidor på din webbplats eller dubbletter och roboten inte uppmärksammar de riktigt viktiga sidorna. Detta är vårt nästa avsnitt, hur man inte indexerar onödiga sidor.

1. Vi använder Yandex webbmastersektion och genomsöker statistik
2. Vi får adresser till sidor som roboten inte ska indexera
3. Kompilerar rätt robots.txt-fil

Låt oss ta en titt på verktyget Crawl Statistics, det ser ut så här. Här finns även grafer. Vi är intresserade av att scrolla ner sidan lite, genom att använda knappen "alla sidor". Du kommer att se allt som roboten har besökt de senaste dagarna.

Bland dessa sidor, om det finns några tjänstesidor, måste de vara förbjudna i robots.txt-filen. Låt oss titta på exakt vad som behöver förbjudas punkt för punkt.

1. För det första, som jag sa tidigare, filtrera sidor, urval av varor, sortering bör vara förbjuden i robots.txt-filen.
2. För det andra förbjuder vi definitivt olika åtgärdssidor. Till exempel, lägg till för att jämföra, lägg till i favoriter, lägg i varukorg. Vi förbjuder även sidan med själva varukorgen.
3. För det tredje förbjuder vi kringgående alla serviceavdelningar till exempel webbplatssökning, administratörspanel för din resurs, avsnitt med användardata. Till exempel är leveransinformation, telefonnummer etc. också förbjudna i robots.txt-filen.
4. OCH ID-sidor, till exempel bör utm-taggar också förbjudas att genomsökas i robots.txt-filen med Clean-param-direktivet.

Om du ställs inför frågan om den här sidan ska blockeras eller om den här sidan ska öppnas för genomsökning, svara dig själv på en enkel fråga: behöver användare denna sida? sökmotor? Om den här sidan inte ska sökas efter frågor kan den inaktiveras.

Och ett litet praktiskt fall, jag hoppas att det kommer att motivera dig. Titta, på en av resurserna ringer roboten nästan tusentals samtal om dagen till sidor med en omdirigering. Faktum är att omdirigeringssidorna lades till i kundvagnssidorna.

Vi gör ändringar i robots.txt-filen och du kan se på grafen att åtkomsten till sådana sidor praktiskt taget har försvunnit. Samtidigt har den omedelbara positiva dynamiken - att kringgå de nödvändiga sidorna på denna stäppsida med kod 200 ökat kraftigt.

- Duplicera sidor på sajten, hur man hittar dem och vad man ska göra med dem

Och här väntar en annan fara dig - den här dubbletter av sidor. Med dubbletter menar vi flera sidor på en webbplats som är tillgängliga på olika adresser, men som samtidigt innehåller helt identiskt innehåll. Den största faran med dubbletter är att om de finns kan de ändras i sökresultaten. En sida kan hamna på en adress som du inte behöver och konkurrera med huvudsidan som du marknadsför för vissa förfrågningar. Dessutom gör ett stort antal dubbletter av sidor det svårt för en indexeringsrobot att genomsöka webbplatsen. I allmänhet ger de många problem.

Jag tror att nästan alla webbansvariga är säkra på att det inte finns några dubbletter av sidor på deras hemsida. Jag vill göra dig lite upprörd. Faktum är att det finns dubbletter på nästan alla sajter i RuNet. ? Jag har en detaljerad artikel om detta, efter att ha läst som du inte kommer att ha en enda fråga kvar.

- Kontrollera serverns svarskod

Förutom robots.txt-filen skulle jag också vilja berätta om de korrekta http-svarskoderna. Det verkar också som saker som redan har sagts många gånger. Själva HTTP-svarskoden är en viss status för sidan för indexeringsroboten.

1. http-200 - sidan kan indexeras och sökning aktiveras.
2. http-404 betyder att sidan har tagits bort.
3. http-301 - sida omdirigerad.
4. http-503 - tillfälligt otillgänglig.

Vad är fördelen med att använda verktyget för korrekta http-koder:

1. För det första kommer du aldrig att ha olika trasiga länkar till din resurs, det vill säga de länkar som leder till sidor som inte svarar med en 200-svarskod. Om sidan inte finns betyder 404-svarskoden att roboten kommer att förstå detta .
2. För det andra kommer det att hjälpa roboten att genomsöka de verkligt nödvändiga sidorna som svarar med en svarskod på 200.
3. Och för det tredje låter det dig undvika att olika typer av skräp hamnar i sökresultaten.

Det är precis vad nästa skärmdump handlar om, också från praktiken. När en resurs inte är tillgänglig och tekniskt arbete utförs får roboten en stubb med en http-svarskod på 200. Det är exakt beskrivningen av denna stubb som du ser i sökresultaten.

Eftersom sidan svarar med en svarskod på 200 får de tillbaka. Naturligtvis kan sidor med sådant innehåll inte lokaliseras och visas för några förfrågningar. I detta fall korrekt inställning det kommer ett http-svar 503. Om en sida eller resurs är tillfälligt otillgänglig kommer denna svarskod att undvika att exkludera sidor från sökresultat.

Det här är situationer när dina viktiga och nödvändiga sidor i din resurs blir otillgängliga för vår robot, till exempel svarar de med koden 503 eller 404, eller istället returneras de till den här stubben.

Sådana situationer kan spåras med hjälp av verktyget "viktiga sidor". Lägg till de sidor som ger mest trafik till din resurs. Ställ in aviseringar via e-post eller tjänst så får du information om vad som händer med denna sida. Vad är dess svarskod, vad är dess titel, när besöktes den och vad är dess status i sökresultaten.

Du kan kontrollera att en viss svarskod returneras korrekt med lämpligt verktyg i Yandex Webmaster (här). I det här fallet kontrollerar vi svarskoden för icke-existerande sidor. Jag kom på en sida och la in den i verktyget, klickade på bockknappen och fick ett 404-svar.

Allt är bra här, eftersom sidan inte var tillgänglig, den svarade korrekt med en 404-kod och kommer inte längre att inkluderas i sökningen. Som ett resultat, för att begränsa robotar från att besöka onödiga sidor på webbplatsen, ska du aktivt använda verktyget för genomsökningsstatistik, göra ändringar i robots.txt-filen och se till att sidorna returnerar korrekt http-svarskod.

- Låt oss sammanfatta det

Vi gav roboten rätt webbsidor med innehåll. Vi har sett till att det indexeras snabbt. Vi förbjöd roboten att indexera onödiga sidor. Alla dessa tre stora grupper av uppgifter är sammanlänkade. Det vill säga, om du inte begränsar roboten från att indexera tjänstesidor, kommer den troligen att ha mindre tid att indexera de nödvändiga sidorna på webbplatsen.

Om roboten inte får innehållet på de obligatoriska sidorna i sin helhet, kommer den inte att ta med dessa sidor i sökresultat snabbt. Det vill säga att du måste arbeta med att indexera din resurs på ett komplext sätt, på alla dessa tre uppgifter. Och i det här fallet kommer du att uppnå viss framgång för att de nödvändiga sidorna snabbt ska visas i sökresultaten.

Officiella Yandex-svar

Indexet inkluderade sidor med versaler, även om webbplatsen inte innehåller sådana sidor. Om sidorna är i versaler, hittade roboten troligen länkar till dem någonstans på Internet. Kontrollera din sida först, troligtvis finns det en felaktig länk någonstans på Internet. Roboten kom, såg den och började ladda ner sidan med versaler. För dem är det bättre att använda en 301-omdirigering för sådana sidor.

Webbplatskartan har flera sidor – är detta normalt? Om vi ​​pratar om en webbplatskarta, så finns det ett speciellt webbplatskartformat där du kan ange länkar till andra webbplatskartfiler, då är det naturligtvis normalt.

Om du placerar länkar till alla delar av katalogen längst ner på webbplatsen, som visas på alla sidor, kommer det att hjälpa till att indexera eller skada den? Faktum är att du inte behöver göra detta alls, det vill säga om dina webbplatsbesökare inte behöver det behöver du inte lägga till det specifikt. Bara en sitemap-fil räcker. Roboten kommer att ta reda på förekomsten av alla dessa sidor och lägga till dem i sin databas.

Behöver jag ange uppdateringsfrekvensen i webbplatskartan? Sitemap-filen kan användas för att ge ytterligare information till indexeringsroboten. Förutom själva adresserna förstår vår robot även flera fler taggar. För det första är detta uppdateringsfrekvensen, det vill säga uppdateringsfrekvensen. Detta är genomsökningsprioritet och datum sista ändring. Den tar all denna information från webbplatskartfilen när filen bearbetas och lägger till den i sin databas och använder den senare för att justera genomsökningspolicyer.

Är det möjligt att klara sig utan en webbplatskarta? Ja, se till att din webbplats har tydlig navigering, med tillgängliga länkar som leder till valfri intern sida. Men tänk på att om det här är en ny resurs (från författaren: läs om hur man startar en ny webbplats) och till exempel en sida finns djupt på din webbplats, till exempel 5-10 klick bort, så roboten kommer att behöva mycket tid för att ta reda på dess tillgänglighet. Första nedladdningen startsida webbplats, skaffa länkar, sedan ladda ner de sidor som han lärde sig om, och så vidare. Sitemap-filen låter dig överföra information om alla sidor till roboten på en gång.

Roboten gör 700 tusen förfrågningar per dag på obefintliga sidor. Först och främst måste du förstå var sådana icke-existerande sidor kom ifrån. Kanske används relativa länkar felaktigt på din sida, eller så har någon del tagits bort helt från sidan och roboten fortsätter att kontrollera sådana sidor ändå. I det här fallet bör du helt enkelt inaktivera dem i robots.txt-filen. Inom 12 timmar kommer roboten att sluta komma åt sådana sidor.

Om tjänstesidor är indexerade, hur kan du ta bort dem från sökningen. Om du vill ta bort sidor från sökresultat använder du även robots.txt. Det vill säga, det spelar ingen roll om du ställer in förbudet när du skapar din webbplats eller när du startade resursen. Sidan försvinner från sökresultaten inom en vecka.

Är en automatiskt genererad webbplatskarta bra eller inte? I de flesta fall genereras alla webbplatskartor automatiskt, så vi kan säga att detta förmodligen är bra. Du behöver inte göra något med händerna och kan ägna din uppmärksamhet åt något annat.

Hur sidan kommer att indexeras om den görs kanonisk för sig själv. Om det kanoniska attributet leder till samma sida? Anses den här sidan kanonisk? Det kommer att indexeras korrekt och inkluderas i sökresultaten, det vill säga att använda denna teknik är helt korrekt.

Vad betyder "icke-kanonisk" status? Z Det kanoniska attributet ställs in på sidan, vilket leder till en annan sida på din webbplats. Det är därför denna sida kommer inte att kunna komma in i sökningen. Öppen källa sidor, gör en sökning, titta vart det kanoniska leder och kolla den kanoniska sidan i sökningen.

Vad är mer korrekt om en kundvagnssida ska förbjudas i robots.txt eller noindex? Om en sida är förbjuden att använda noindex-metoden kommer roboten regelbundet att besöka den och leta efter detta förbud. För att förhindra att roboten gör detta är det bättre att använda ett ban i filen robots.txt.

Vi ses! Håll dig uppdaterad med allt och alltid på bloggsidans sidor

Hjälp projektet - prenumerera på vår Yandex.Zen-kanal!