Rask sideindeksering. En rask måte å sjekke indekseringen av sider i Yandex og Google. Skrive riktig brev til Yandex

Fra dette materialet vil du lære:

• Hva er indeksering
• Hvordan legge til et nettsted i databasen
• Hvordan øke hastigheten på indeksering

Hva er indeksering?

Vi har allerede fortalt deg om. Kort fortalt er dette svar på brukerspørsmål som de skriver inn i en søkemotor. Hvis du klikker på "kjøp en elefant", vil du få nettsteder som tilbyr elefanter engros og detaljhandel. Yandex eller Google vil ikke vise plastvinduer eller ringe jenter for slike forespørsler. Og nå oppmerksomhet, spørsmålet: kommer hvert nettsted inn i søkeresultatene? Nei, ikke alle. Som et minimum må søkemotorer vite om eksistensen av dette nettstedet og innholdet som er lagt ut på det. Tross alt, hvordan kan du vise noe som ingen vet om? Det finnes nettsidedatabaser for dette. Kort sagt, å legge til et nettsted med innholdet i denne databasen kalles indeksering. Hvordan fungerer indeksering? Yandex- eller Google-roboten opererer i henhold til sine egne algoritmer: den søker etter informasjon om nettstedet ditt (denne informasjonen inkluderer nøkkelartikler, tekster, bilder osv. - i et ord, alt innhold). Det er som et røntgenbilde, det skanner gjennom hver side på nettstedet, analyserer det, skanner det og legger nettstedet ditt til databasen. Nå vil den vises i søkeresultater og vises som svar på brukerforespørsler. Og i hvilke posisjoner - ledere eller utenforstående - avhenger av innholdet den fylles med. Selvfølgelig er nettstedsindeksering ganske enkelt nødvendig. Når nettstedet ditt begynner å bli sett av søkemotorer, kommer besøkende til det og det vokser

Hvordan legge til et nettsted i databasen?

La oss si at du opprettet nettstedet Mostbestsite.rf. Vi fylte det selvfølgelig med det beste innholdet og gleder oss til det når toppen. For at siden og innholdet skal indekseres og inkluderes i databasen, kan du bruke to metoder.

1. Vent på selvindeksering. Før eller siden vil roboter finne nettstedet ditt - for å gjøre dette trenger du bare å legge igjen aktive linker til det fra andre ressurser. Det antas at jo flere lenker det er, jo raskere vil indekseringen være.
2. Legg til et nettsted manuelt ved å fylle ut et spesielt skjema i søkemotoren. Der må du angi en lenke til nettstedet og kort informasjon om ham. I Yandex, for eksempel, gjøres dette i tjenestenYandex Webmaster På siden Rapporter et nytt nettsted .

Der, i Webmaster, kan du deretter overvåke statistikken over forespørsler som bringer brukere til nettstedet ditt. Alt er også enkelt i Google - du kan registrere et nettsted ved å bruke lenkenGoogle Webmaster Center . Hvor raskt er indeksering? Det er vanskelig å si eksakte tall - det avhenger av flaksen din. Men vi vet én ting sikkert: Yandex indekserer tregere enn Google. Det var tilfeller da indeksering i det tok flere uker.

Hvordan øke hastigheten på indeksering?

Søkemotoralgoritmer er en uforutsigbar ting, og som allerede nevnt er det ingen eksakt oppskrift. Vi kan anbefale utprøvde metoder (i hovedsak de samme som påvirker markedsføring av nettsteder i søkeresultater)

1. Unikt innhold som søkemotorer elsker så mye. En ting: Hvis du har lagt ut en artikkel på en nettside eller blogg og den ennå ikke er indeksert, kan hvem som helst teoretisk sett stjele den og legge den ut på egenhånd. Hvis artikkelen er indeksert tidligere på et annet nettsted, er du i trøbbel. Artikkelen din vil bli ansett som ikke-unik, og konkurrenten din vil bli stående i mørket.
2. Tydelig struktur på nettstedet. Følg treklikksregelen: du kan komme til hver side fra hovedsiden med ikke mer enn tre klikk. Mindre er bra, mer er bedre! På denne måten vil du gjøre oppgaven enklere for søkemotorer, som vil indeksere ikke bare hovedsiden, men også andre sider.
3. Kobling til interne sider er nyttig for både besøkende og roboten.
4. Kringkaster innlegg til RSS-kataloger. Alle innleggene dine vil bli duplisert i RSS-kataloger som RSS-feeds legges til. Dette er feeds for å abonnere på blogg- eller nettsideoppdateringer slik at du mottar siste nytt i e-posten din. Med deres hjelp vil søkemotoren raskt finne de nye artiklene dine og indeksere dem.

Her er et eksempel på vellykket indeksering:

For en uke siden dukket det opp en artikkel om en pistol på en av sidene VPO-213 . Det var praktisk talt ingen informasjon om denne pistolen på Internett - den hadde ennå ikke dukket opp på salg. Det var bare en kort presentasjon i en video på YouTube. Følgelig var teksten helt unik og nesten den eneste på Internett om dette emnet. Rundt midnatt ble teksten publisert på siden (ikke engang på hovedsiden!) og ble indeksert i løpet av kort tid. Klokken halv ti om morgenen dagen etter lå artikkelen på tredjeplass i Yandex-søkeresultatene. Klokken 9.50 ble hun den første og har fortsatt denne stillingen.

I det store og hele, hvis ressursen din er god, godt laget, bør det ikke være noen problemer med indekseringen. Hvis nettstedet, selv om det ikke er 100%, oppfyller kravene til søkemotorer - "for folk", vil de gjerne se på deg og indeksere alt nytt som vil bli lagt til.

Men uansett, det første trinnet i å markedsføre et nettsted er å legge det til i PS-indeksen. Inntil ressursen er indeksert, er det stort sett ingenting å fremme, fordi søkemotorer ikke vil vite om det i det hele tatt. Derfor vil jeg i denne artikkelen se på hva nettstedindeksering er i Yandex og hvordan du sender inn en ressurs for indeksering. Jeg vil også fortelle deg hvordan du sjekker om et nettsted eller en separat side er inkludert i Yandex-indeksen og hva du skal gjøre for å øke hastigheten på indeksering av Yandex.

Å indeksere et nettsted i Yandex gjennomsøkes av roboter søkemotor yandex på nettstedet ditt, og legge inn alle åpne sider i databasen. Den russiske søkemotoredderkoppen legger til data om nettstedet til databasen: sidene, bilder, videoer, dokumenter som er søkbare. Søkeroboten er også engasjert i å indeksere lenker og andre elementer som ikke er skjult av spesielle tagger og filer.

De viktigste måtene å indeksere en ressurs på:

Tvunget - du må sende inn nettstedet for indeksering til Yandex gjennom et spesielt skjema.

Naturlig - søk edderkopp klarer å uavhengig finne nettstedet ditt ved å flytte fra eksterne ressurser som lenker til nettstedet.

Tiden det tar å indeksere et nettsted i Yandex er forskjellig for alle og kan variere fra et par timer til flere uker.

Dette avhenger av mange faktorer: hvilke verdier er i Sitemap.xml, hvor ofte ressursen er fylt, hvor ofte omtaler av nettstedet vises på andre ressurser. Indekseringsprosessen er syklisk, så roboten kommer til deg med (nesten) like intervaller. Men med hvilken frekvens avhenger av faktorene nevnt ovenfor og den spesifikke roboten.

Edderkoppen kan indeksere hele nettsiden (hvis den er liten) eller en egen seksjon (dette gjelder nettbutikker eller media). På ofte oppdaterte ressurser, som media og informasjonsportaler, bor det såkalte raske roboter for rask sideindeksering i Yandex.

Noen ganger kan det oppstå tekniske problemer (eller problemer med serveren) på prosjektet; i dette tilfellet vil ikke Yandex-indeksering av nettstedet finne sted, og derfor kan søkemotoren ty til følgende scenario:

• umiddelbart kaste ut uindekserte sider fra databasen;
• re-indeksere ressursen etter en viss tid;
• angi sider som ikke ble indeksert til å bli ekskludert fra databasen, og hvis den ikke finner dem under re-indeksering, vil den bli kastet ut av indeksen.

Hvordan øke hastigheten på nettstedindeksering i Yandex

Hvordan øke hastigheten på indeksering i Yandex - ofte stilte spørsmål på ulike webmasterfora. Faktisk avhenger levetiden til hele nettstedet av indeksering: ressursens plassering i PS, antall kunder fra dem, prosjektets popularitet, fortjeneste, til slutt.

Jeg har utarbeidet 10 metoder som jeg håper vil være nyttige for deg. De fem første er standard for konstant indeksering av en ressurs, og de neste fem vil hjelpe deg med å øke hastigheten på indekseringen av nettstedet ditt i Yandex:

bokmerketjenester;

RSS-feed – vil sikre kringkasting av nytt materiale fra ressursen din til abonnentenes e-poster og RSS-kataloger;

koblingsutveksling - vil sikre en stabil økning i dofollow-lenker fra kvalitetsgivere, hvis de er valgt riktig (hvordan velge riktig);

– hvis du ennå ikke har registrert nettstedet ditt i kataloger, anbefaler jeg deg å gjøre det. Mange sier at kataloger er døde for lenge siden eller at registrering i dem vil drepe et nettsted - dette er ikke sant. Mer presist, det er ikke den fullstendige sannheten, hvis du registrerer deg i alle katalogene på rad, vil faktisk ressursen din bare lide av dette. Men med riktig utvalg av tillit og gode kataloger, vil effekten utvilsomt være.

Sjekker nettstedindeksering i Yandex

• Nettstedet og url-operatørene. Hvis du vil sjekke indekseringen av et nettsted i Yandex, kan du bruke standard søkemotoroperatører ..biz. (Naturligvis, i stedet for mitt domene, ditt)

  

• RDS-stang. Jeg anser det som den beste og raskeste måten å sjekke indekseringen av en side i Yandex. Denne plugin kan installeres på alle populære nettlesere og vil umiddelbart gi detaljert informasjon om antall nettstedssider i indeksen og tilstedeværelsen av spesifikt materiale i den. Med denne utvidelsen vil du ikke kaste bort tid på å manuelt legge inn URL-er i tjenester eller søk. Generelt anbefaler jeg det, RDS-baren er ekstremt praktisk:
• Service Serphant. En multifunksjonell ressurs som du kan analysere et nettsted med: vurdere effektiviteten og overvåking av nettsteder, analysere konkurrenters sider, sjekke posisjoner og nettstedindeksering. Du kan sjekke sideindeksering gratis ved å bruke denne lenken: https://serphunt.ru/indexing/. Takket være batchkontroll (opptil 50 adresser) og høy pålitelighet av resultatene, er denne tjenesten en av de tre beste etter min mening.

  

• XSEO-tjeneste. Et sett med verktøy for webansvarlige, i XSEO.in kan du se på nettstedets indeksering i Yandex. Få også mye mer nyttig informasjon om ressursen din:

  

• PR-CY og CY-PR tjenester. Et par tjenester til som vil gi deg informasjon om det totale antallet indekserte sider:

  

• Sitereport-tjeneste. En utmerket tjeneste som vil påpeke alle feilene dine i arbeidet med nettstedet. Den har også en seksjon "Indeksering", der informasjon vil bli presentert for hver side på nettstedet, som indikerer om den er indeksert eller ikke i søkemotorene Yandex og Google. Derfor anbefaler jeg å bruke denne ressursen for å oppdage problemer på nettstedet og sjekke Yandex masseindeksering:

  

Har du opprettet et nettsted, men finner det ikke i søkemotorer? Ikke noe problem! I dette materialet vil du lære hvordan du indekserer et nettsted i Yandex og Google på kortest mulig tid. Det er sannsynligvis unødvendig å snakke om fordelene ved å komme raskt inn i søkemotorindeksen. Tross alt forstår alle at jo raskere nettstedet hans vises i søkeresultatene, desto raskere vil nye kunder dukke opp. Og for at dette skal fungere, må du komme inn i søkemotordatabasen.

Forresten, takket være riktig tilnærming, er nytt materiale på nettstedet vårt ganske bra, og viktigst av alt, alltid raskt indeksert av søkemotorer. Kanskje du kom til denne siden etter å ha gjort en tilsvarende forespørsel til søkelinje. La oss gå videre fra tekstene til å øve.

Hvordan finne ut om et nettsted er indeksert?

Det første du må gjøre er å finne ut om nettstedet er indeksert av søkemotorer. Det kan være at nettstedet rett og slett ikke er på den første siden i søket etter søket du skrev inn. Dette kan være store søk som må jobbes med for å vises SEO-kampanje, og ikke bare lage og lansere et nettsted.

Så for å sjekke, går vi til alle søkemotorene det er fornuftig å gå til ( Yandex, Google, Mail, Rambler) og til linjen søkeord skriv inn nettstedets adresse.

Hvis ressursen din ennå ikke er indeksert, vil ingenting vises i søkeresultatene, eller andre nettsteder vises.

Hvordan indeksere et nettsted i Yandex?

Først vil vi fortelle deg hvordan du indekserer et nettsted i Yandex. Men før du legger til ressursen din, sjekk at den fungerer riktig, åpnes riktig på alle enheter og kun inneholder unikt innhold. Hvis du for eksempel legger til et nettsted på utviklingsstadiet, kan du ganske enkelt falle inn under filteret - dette skjedde med oss ​​en gang, og vi måtte vente en hel måned på at Yandex skulle forstå at vi har et nettsted av høy kvalitet og oppheve sanksjonene .

For å informere Yandex om et nytt nettsted, må du legg den til Yandex Webmaster Og installer Yandex Metrica, er det første verktøyet ansvarlig for Ytterligere informasjon om ressursen ( region, struktur, hurtigkoblinger) og hvordan nettstedet ser ut i organiske resultater, den andre for innsamling av data på nettstedet ( oppmøte, oppførsel osv.), som ifølge vår erfaring også påvirker indekseringen av nettstedet og dets plassering i søket. Sørg også for å lage et områdekart og angi det i panelet for nettredaktører.

Hvordan indeksere et nettsted i Google?

Oftest finner Google selv raskt nye nettsteder og setter dem i søk, men å vente på at Google skal komme og gjøre alt arbeidet for oss er for overmodig, så la oss finne ut hvordan du indekserer et nettsted i Google.

Etter at sidene er lagt til, skal den gå gjennom fra 3 til 7 dager, før søkemotorer oppdaterer dataene og indekserer nettstedet.

Du vil alltid at nye nettsider skal vises i søkeresultatene så raskt som mulig, og for dette er det flere hemmelige (og veldig enkle) måter å fremskynde indekseringen av nettsider i søkemotorer.

3. For å utføre manipulasjonen beskrevet i avsnitt 2, kun for søkemotoren Google-systemer, gå til Search Console. Velg "Skann" og "Se som Googlebot"-Legg til adressen til den nye siden og klikk "Crawn", hvoretter vi ber om indeksering.

Analyse av nettstedindeksering

Avslutningsvis bør det bemerkes at selv etter vellykket indeksering av nettstedet i søkemotorer, slutter ikke arbeidet der. Det er nødvendig å periodisk analysere indekseringen av nettstedet, samt fjerne posisjoner for populære forespørsler. Dette vil tillate deg å holde fingeren på pulsen og ikke havne i en situasjon hvor en betydelig del av trafikken fra organiske søkeresultater rett og slett har forsvunnet.

Dette skjedde med mange gamle nettsteder som brukte gamle markedsføringsmetoder etter utgivelsen Yandex-algoritmen Baden-Baden. Samtidig annonserte Yandex på forhånd at de lanserer denne algoritmen og overoptimaliserte sider vil bli ekskludert fra søket, mens Google aldri rapporterer utgivelsen av nye algoritmer. Derfor er det kun utrettelig overvåking som lar deg forbli eller bli en temaleder!

Med Google er alt veldig enkelt. Du må legge til nettstedet ditt i verktøy for nettredaktører på https://www.google.com/webmasters/tools/, og velg deretter det tilføyde nettstedet, slik at du kommer inn i Search Console på nettstedet ditt. Deretter, i menyen til venstre, velg "Skanning" -delen, og i den "Se som Googlebot" -elementet.

På siden som åpnes, i det tomme feltet, skriv inn adressen til den nye siden som vi raskt vil indeksere (ta hensyn til det allerede angitte domenenavnet til nettstedet) og klikk på "Gjennomsøk" -knappen til høyre. Vi venter til siden er skannet og vises øverst i tabellen over adresser som tidligere er skannet på lignende måte. Deretter klikker du på "Legg til i indeks"-knappen.

Hurra, den nye siden din blir umiddelbart indeksert av Google! På bare et par minutter vil du kunne finne den i Googles søkeresultater.

Rask indeksering av sider i Yandex

I ny verson verktøy for nettredaktører ble tilgjengelig lignende verktøy for å legge til nye sider i indeksen. Følgelig må nettstedet ditt også først legges til Yandex Webmaster. Du kan også komme dit ved å velge ønsket nettsted i nettredaktøren, deretter gå til "Indeksering"-delen, velg elementet "Gjensøking av side". I vinduet som åpnes, skriv inn adressene til nye sider som vi raskt vil indeksere (via en lenke på én linje).

I motsetning til Google, skjer indeksering i Yandex ennå ikke umiddelbart, men det prøver å strebe etter det. Ved å bruke handlingene ovenfor vil du informere Yandex-roboten om ny side. Og det vil bli indeksert i løpet av en halvtime til en time - dette er hva min personlige erfaring viser. Kanskje hastigheten på sideindeksering i Yandex avhenger av en rekke parametere (omdømmet til ditt domene, kontoen og/eller andre). I de fleste tilfeller kan du stoppe der.

Hvis du ser at sidene på nettstedet ditt er dårlig indeksert av Yandex, det vil si at det er flere generelle anbefalinger om hvordan du skal håndtere dette:

• Den beste, men også vanskelige, anbefalingen er å installere Yandex quickbot på nettstedet ditt. For å gjøre dette, er det tilrådelig å legge til ferske materialer til nettstedet hver dag. Gjerne 2-3 eller flere materialer. Dessuten, legg dem ikke alle på en gang, men etter en stund, for eksempel om morgenen, ettermiddagen og kvelden. Det ville være enda bedre å opprettholde omtrent samme tidsplan for publisering (omtrent samme tid for å legge til nytt materiale). Mange anbefaler også å lage en RSS-feed for nettstedet ditt søkeroboter kunne lese oppdateringer direkte fra den.
• Naturligvis vil ikke alle kunne legge til nye materialer til nettstedet i slike volumer - det er bra hvis du kan legge til 2-3 materialer per uke. I dette tilfellet kan du egentlig ikke drømme om hastigheten til Yandex, men prøv å få nye sider inn i indeksen på andre måter. Den mest effektive av disse anses å være å legge ut linker til nye sider til oppgraderte Twitter-kontoer. Ved bruk av spesielle programmer som Twidium Accounter, kan du "pumpe opp" antallet Twitter-kontoer du trenger og, med deres hjelp, raskt sette inn nye nettstedssider i søkemotorindeksen. Hvis du ikke har mulighet til å legge ut linker til oppgraderte Twitter-kontoer selv, kan du kjøpe slike innlegg gjennom spesielle børser. Ett innlegg med lenken din vil i gjennomsnitt koste 3-4 rubler og mer (avhengig av styrken til den valgte kontoen). Men dette alternativet vil være ganske dyrt.
• Det tredje alternativet for rask indeksering er å bruke http://getbot.guru/-tjenesten, som for bare 3 rubler vil hjelpe deg med å oppnå ønsket effekt med en garanti for resultater. Godt egnet for nettsteder med en sjelden tidsplan for å legge til nye publikasjoner. Det er også billigere priser. Det er bedre å se på detaljene og forskjellene deres på nettstedet til selve tjenesten. Personlig er jeg veldig fornøyd med tjenestene til denne tjenesten som en indekseringsakselerator.

Du kan selvfølgelig også legge til nye innlegg i sosiale bokmerker, som i teorien også skal hjelpe siden med å bli indeksert raskt. Men effektiviteten av et slikt tillegg vil også avhenge av nivået på kontoene dine. Hvis du har lite aktivitet på dem og du bruker kontoer kun for slik spam, vil det praktisk talt ikke være noen nyttig utgang.

P.S. med lang erfaring er alltid aktuelt - kontakt oss!

Hei, kjære lesere av nettstedet. I dag vil jeg fortelle deg hvordan du finner og fikser mulige problemer med å indeksere nettstedet ditt. La oss se på tre hovedpunkter.

1. Roboten må indeksere de nødvendige sidene på nettstedet fra;
2. Disse sidene må indekseres raskt;
3. Roboten skal ikke besøke unødvendige sider på nettstedet;

Det hele virker ganske enkelt. Men faktisk møter de fleste nettredaktører de samme problemene når de setter opp indeksering. La oss se nøye på dem.

For øyeblikket, i de fleste tilfeller, if vi snakker om om en ny side i søkeresultatene, vil den vises i løpet av noen få titalls minutter. Hvis vi snakker om allerede indekserte sider, så dette 3-5 dager.

Som et resultat, for at nettstedet ditt skal besøkes raskt, må du huske tre regler:

1. Først må du ha en korrekt og regelmessig oppdatert nettstedskartfil;
2. For det andre, ikke bruk Crawl-delay-direktivet bare hvis du føler for det. Akkurat nå, sørg for å gå til robots.txt og sjekke om et slikt direktiv eksisterer. Hvis det er installert, tenk på om du virkelig trenger det.
3. For det tredje, bruk "sidegjennomsøking" for å få roboten til å besøke de viktigste sidene på nettstedet ditt med en ny viktig side.

Vi kvitter roboten for unødvendige nettsider

Når en robot begynner å besøke ressursen din, har dette ofte ikke alltid en positiv effekt på indekseringen gode sider nettstedet. La oss forestille oss en situasjon, la oss si at en robot sender 5 forespørsler per sekund til ressursen din. Det virker som et utmerket resultat, men hva er poenget med disse fem besøkene per sekund hvis de alle er relatert til tjenestesider på nettstedet ditt eller duplikater og roboten ikke tar hensyn til de virkelig viktige sidene. Dette er vår neste del, hvordan ikke indeksere unødvendige sider.

1. Vi bruker Yandex webmaster-delen og gjennomsøker statistikk
2. Vi får adressene til sider som roboten ikke skal indeksere
3. Kompilere riktig robots.txt-fil

La oss ta en titt på Crawl Statistics-verktøyet, det ser slik ut. Det er også grafer her. Vi er interessert i å rulle nedover siden litt ved å bruke knappen "alle sider". Du vil se alt som roboten har besøkt de siste dagene.

Blant disse sidene, hvis det er noen tjenestesider, må de være forbudt i robots.txt-filen. La oss se på hva som må forbys punkt for punkt.

1. For det første, som jeg sa tidligere, filtrering av sider, utvalg av varer, sortering bør være forbudt i robots.txt-filen.
2. For det andre forbyr vi definitivt ulike handlingssider. For eksempel, legg til for å sammenligne, legg til favoritter, legg i handlekurv. Vi forbyr også siden med selve handlekurven.
3. For det tredje forbyr vi forbikjøring alle serviceseksjoner for eksempel nettstedsøk, administrasjonspanel for ressursen din, seksjoner med brukerdata. For eksempel er leveringsinformasjon, telefonnumre osv. også forbudt i robots.txt-filen.
4. OG ID-sider, for eksempel bør utm-tagger også forbys fra å bli gjennomsøkt i robots.txt-filen ved å bruke Clean-param-direktivet.

Hvis du står overfor spørsmålet om denne siden skal blokkeres eller om denne siden skal åpnes for gjennomsøking, svar deg selv på et enkelt spørsmål: trenger brukere denne siden? søkemotor? Hvis denne siden ikke skal søkes etter søk, kan den deaktiveres.

Og en liten praktisk sak, jeg håper den vil motivere deg. Se, på en av ressursene foretar roboten nesten tusenvis av anrop om dagen til sider med omdirigering. Faktisk ble omdirigeringssidene lagt til handlekurvsider.

Vi gjør endringer i robots.txt-filen og du kan se på grafen at tilgangen til slike sider praktisk talt har forsvunnet. Samtidig har den umiddelbare positive dynamikken - å omgå de nødvendige sidene på denne steppesiden med kode 200 økt kraftig.

- Dupliserte sider på nettstedet, hvordan du finner dem og hva du skal gjøre med dem

Og her venter en annen fare på deg - denne dupliserte sider. Med duplikater mener vi flere sider på en nettside som er tilgjengelig på forskjellige adresser, men som samtidig inneholder helt identisk innhold. Hovedfaren med duplikater er at hvis de er tilstede, kan de endre seg i søkeresultatene. En side kan ende opp på en adresse du ikke trenger og konkurrere med hovedsiden du markedsfører for noen forespørsler. I tillegg gjør et stort antall dupliserte sider det vanskelig for en indekseringsrobot å gjennomsøke nettstedet. Generelt gir de mange problemer.

Jeg tror at nesten alle webansvarlige er sikre på at det ikke er noen dupliserte sider på nettsiden deres. Jeg vil opprøre deg litt. Faktisk er det duplikater på nesten alle nettsteder i RuNet. ? Jeg har en detaljert artikkel om dette, etter å ha lest som du ikke vil ha et eneste spørsmål igjen.

- Sjekker serverens svarkode

I tillegg til robots.txt-filen vil jeg også gjerne fortelle deg om de riktige http-svarkodene. Det virker også som ting som har blitt sagt mange ganger allerede. Selve HTTP-svarkoden er en viss status for siden for indekseringsroboten.

1. http-200 - siden kan indekseres og søkeaktivert.
2. http-404 betyr at siden er slettet.
3. http-301 - side omdirigert.
4. http-503 - midlertidig utilgjengelig.

Hva er fordelen med å bruke verktøyet for korrekte http-koder:

1. For det første vil du aldri ha ulike ødelagte lenker til ressursen din, det vil si de lenkene som fører til sider som ikke svarer med en 200-svarskode. Hvis siden ikke eksisterer, betyr 404-svarskoden at roboten vil forstå dette .
2. For det andre vil det hjelpe roboten å planlegge å gjennomsøke de virkelig nødvendige sidene som svarer med en svarkode på 200.
3. Og for det tredje vil det tillate deg å unngå at ulike typer søppel kommer inn i søkeresultatene.

Det er nettopp dette neste skjermbilde handler om, også fra praksis. Når en ressurs er utilgjengelig og teknisk arbeid utføres, mottar roboten en stubb med en http-svarkode på 200. Det er akkurat denne beskrivelsen av denne stubben du ser i søkeresultatene.

Siden siden svarer med en svarkode på 200, blir de returnert. Naturligvis kan sider med slikt innhold ikke lokaliseres og vises for forespørsler. I dette tilfellet riktig innstilling det vil være et http-svar 503. Hvis en side eller ressurs er midlertidig utilgjengelig, vil denne svarkoden unngå å ekskludere sider fra søkeresultater.

Dette er situasjoner når de viktige og nødvendige sidene i ressursen din blir utilgjengelige for roboten vår, for eksempel svarer de med koden 503 eller 404, eller i stedet blir de returnert til denne stubben.

Slike situasjoner kan spores ved hjelp av verktøyet "viktige sider". Legg til de sidene som gir mest trafikk til ressursen din. Sett opp varslinger på e-post eller tjeneste og du vil motta informasjon om hva som skjer med denne siden. Hva er svarkoden, hva er tittelen, når ble den besøkt og hva er statusen i søkeresultatene.

Du kan sjekke riktigheten av å returnere en bestemt svarkode ved å bruke det aktuelle verktøyet i Yandex Webmaster (her). I dette tilfellet sjekker vi svarkoden til ikke-eksisterende sider. Jeg kom opp med en side og la den inn i verktøyet, klikket på avmerkingsknappen og fikk et 404-svar.

Alt er bra her, siden siden var utilgjengelig; den svarte riktig med en 404-kode og vil ikke lenger inkluderes i søket. Som et resultat, for å begrense roboter fra å besøke unødvendige sider på nettstedet, må du aktivt bruke verktøyet for gjennomsøkingsstatistikk, gjøre endringer i robots.txt-filen og sørge for at sidene returnerer riktig http-svarkode.

- La oss oppsummere det

Vi ga roboten de riktige nettsidene med innhold. Vi har sørget for at den blir indeksert raskt. Vi forbød roboten å indeksere unødvendige sider. Alle disse tre store gruppene av oppgaver henger sammen. Det vil si at hvis du ikke begrenser roboten fra å indeksere tjenestesider, vil den mest sannsynlig ha mindre tid til å indeksere de nødvendige sidene på nettstedet.

Hvis roboten ikke mottar innholdet på de nødvendige sidene i sin helhet, vil den ikke inkludere disse sidene raskt i søkeresultatene. Det vil si at du må jobbe med å indeksere ressursen din på en kompleks måte, på alle disse tre oppgavene. Og i dette tilfellet vil du oppnå en viss suksess for at de nødvendige sidene raskt skal vises i søkeresultatene.

Offisielle Yandex-svar

Indeksen inkluderte sider med store bokstaver, selv om nettstedet ikke inneholder slike sider. Hvis sidene er med store bokstaver, har roboten mest sannsynlig funnet lenker til dem et sted på Internett. Sjekk siden din først, mest sannsynlig er det en feil lenke et sted på Internett. Roboten kom, så den og begynte å laste ned siden med store bokstaver. For dem er det bedre å bruke en 301-viderekobling for slike sider.

Nettkartet har flere sider – er dette normalt? Hvis vi snakker om et områdekart, så er det et spesielt områdekartformat der du kan spesifisere lenker til andre sidekartfiler, så er det selvfølgelig normalt.

Hvis du plasserer lenker til alle deler av katalogen nederst på nettstedet, som vises på alle sider, vil dette hjelpe med å indeksere eller skade det? Faktisk trenger du ikke å gjøre dette i det hele tatt, det vil si at hvis besøkende på nettstedet ditt ikke trenger det, trenger du ikke å legge det til spesifikt. Bare en sitemap-fil er nok. Roboten vil finne ut om tilstedeværelsen av alle disse sidene og legge dem til databasen.

Må jeg angi oppdateringsfrekvensen i nettstedskartet? Sitemap-filen kan brukes til å gi tilleggsinformasjon til indekseringsroboten. I tillegg til selve adressene forstår roboten vår også flere tagger. For det første er dette oppdateringsfrekvensen, det vil si frekvensen av oppdateringer. Dette er gjennomgangsprioritet og dato siste endring. Den tar all denne informasjonen fra sidekartfilen når den behandler filen og legger den til databasen og bruker den senere til å justere gjennomgangspolicyer.

Er det mulig å klare seg uten et områdekart? Ja, sørg for at nettstedet ditt har tydelig navigasjon, med tilgjengelige lenker som fører til en hvilken som helst intern side. Men husk at hvis dette er en ny ressurs (fra forfatteren: les om hvordan du starter et nytt nettsted) og for eksempel en side er plassert dypt på nettstedet ditt, for eksempel 5-10 klikk unna, så roboten vil trenge mye tid for å finne ut om tilgjengeligheten. Første nedlasting hjemmeside nettstedet, få lenker, og deretter laste ned sidene han lærte om, og så videre. Sitemap-filen lar deg overføre informasjon om alle sidene til roboten samtidig.

Roboten gjør 700 tusen forespørsler per dag på ikke-eksisterende sider. Først av alt må du forstå hvor slike ikke-eksisterende sider kom fra. Kanskje er relative lenker brukt feil på nettstedet ditt, eller en del har blitt fullstendig fjernet fra nettstedet og roboten fortsetter å sjekke slike sider uansett. I dette tilfellet bør du ganske enkelt deaktivere dem i robots.txt-filen. Innen 12 timer vil roboten slutte å få tilgang til slike sider.

Hvis tjenestesider er indeksert, hvordan kan du fjerne dem fra søk. For å fjerne sider fra søkeresultater, bruk også robots.txt. Det vil si at det ikke spiller noen rolle om du setter forbudet når du oppretter nettstedet ditt, eller når du lanserte ressursen. Siden forsvinner fra søkeresultatene innen en uke.

Er et automatisk generert områdekart bra eller ikke? I de fleste tilfeller genereres alle nettstedskart automatisk, så vi kan si at dette sannsynligvis er bra. Du trenger ikke gjøre noe med hendene og kan vie oppmerksomheten til noe annet.

Hvordan siden vil bli indeksert hvis den gjøres kanonisk for seg selv. Hvis det kanoniske attributtet fører til samme side? Betraktes denne siden som kanonisk? Det vil bli riktig indeksert og inkludert i søkeresultatene, det vil si at denne teknikken er ganske riktig.

Hva betyr "ikke-kanonisk" status? Z Det kanoniske attributtet settes på siden, som fører til en annen side på nettstedet ditt. Derfor denne siden vil ikke kunne komme inn i søket. Åpen kilde sider, gjør et søk, se hvor det kanoniske leder og sjekk den kanoniske siden i søket.

Hva er mer riktig for at en handlekurvside skal være utestengt i robots.txt eller noindex? Hvis en side er forbudt å bruke noindex-metoden, vil roboten med jevne mellomrom besøke den og se etter dette forbudet. For å forhindre at roboten gjør dette, er det bedre å bruke et forbud i robots.txt-filen.

Ser deg! Følg med på alt og alltid på sidene til bloggsiden

Hjelp prosjektet - abonner på vår Yandex.Zen-kanal!