Indexare rapidă a paginilor. O modalitate rapidă de a verifica indexarea paginilor în Yandex și Google. Scrierea corectă a scrisorii către Yandex

Din acest material veți învăța:

• Ce este indexarea
• Cum să adăugați un site la baza de date
• Cum să accelerezi indexarea

Ce este indexarea?

V-am povestit deja despre. Pe scurt, acestea sunt răspunsuri la întrebările utilizatorilor pe care le introduc într-un motor de căutare. Dacă faceți clic pe „cumpărați un elefant”, veți obține site-uri care oferă elefanți cu ridicata și cu amănuntul. Yandex sau Google nu vor arăta ferestre de plastic și nu vor suna fete pentru astfel de solicitări. Și acum atenție, întrebarea: fiecare site intră în rezultatele căutării? Nu, nu toată lumea. Motoarele de căutare trebuie să cunoască cel puțin existența acestui site și conținutul care este postat pe acesta. La urma urmei, cum poți arăta ceva despre care nimeni nu știe? Există baze de date de site-uri pentru asta. Pe scurt, adăugarea unui site cu conținutul său la această bază de date se numește indexare. Cum funcționează indexarea? Robotul Yandex sau Google funcționează conform propriilor algoritmi: caută informații despre site-ul dvs. (aceste informații includ articole cheie, texte, fotografii etc. - într-un cuvânt, tot conținutul). Este ca o radiografie, scanează fiecare pagină a site-ului, o analizează, o scanează și adaugă site-ul tău la baza de date. Acum va fi afișat în rezultatele căutării și afișat ca răspuns la interogările utilizatorilor. Și în ce posturi - lideri sau străini - depinde de conținutul cu care este umplut. Desigur, indexarea site-ului este pur și simplu necesară. Când site-ul tău începe să fie văzut de motoarele de căutare, vizitatorii vin la el și crește

Cum se adaugă un site la baza de date?

Să presupunem că ați creat site-ul Mostbestsite.rf. L-am umplut, desigur, cu cel mai bun conținut și așteptăm cu nerăbdare să ajungă în vârf. Pentru ca site-ul și conținutul să fie indexate și incluse în baza de date, puteți folosi două metode.

1. Așteptați auto-indexarea. Mai devreme sau mai târziu, roboții vă vor găsi site-ul - pentru a face acest lucru, trebuie doar să lăsați linkuri active către acesta din alte resurse. Se crede că, cu cât există mai multe legături, cu atât indexarea va fi mai rapidă.
2. Adăugați un site manual completând un formular special în motorul de căutare. Acolo trebuie să indicați un link către site și informatie scurta despre el. În Yandex, de exemplu, acest lucru se face în serviciuWebmaster Yandex Pe pagina Raportați un site nou .

Acolo, în Webmaster, puteți monitoriza apoi statisticile solicitărilor care aduc utilizatorii pe site-ul dvs. Totul este simplu și în Google - puteți înregistra un site folosind link-ulCentrul pentru webmasteri Google . Cât de rapid este indexarea? Este greu să spui numere exacte - depinde de norocul tău. Dar știm un lucru sigur: Yandex indexează mai lent decât Google. Au existat cazuri când indexarea a durat câteva săptămâni.

Cum să accelerezi indexarea?

Algoritmii motoarelor de căutare sunt un lucru imprevizibil și, așa cum am menționat deja, nu există o rețetă exactă. Vă putem recomanda metode dovedite (în esență aceleași care afectează promovarea site-ului web în rezultatele căutării)

1. Conținut unic pe care motoarele de căutare îl iubesc atât de mult. Un lucru: dacă ai postat un articol pe un site sau blog și acesta nu a fost încă indexat, teoretic oricine îl poate fura și îl poate posta singur. Dacă articolul este indexat mai devreme pe alt site, ai probleme. Articolul tău va fi considerat neunic, iar concurentul tău va rămâne în întuneric.
2. Structură clară a site-ului. Urmați regula celor trei clicuri: puteți ajunge la fiecare pagină din pagina principală în cel mult trei clicuri. Mai puțin este bine, mai mult este mai bine! Astfel vei face sarcina mai ușoară pentru motoarele de căutare, care vor indexa nu doar pagina principală, ci și alte pagini.
3. Conectarea cu paginile interne este utilă atât pentru vizitatori, cât și pentru robot.
4. Difuzarea postărilor în directoare RSS. Toate postările dvs. vor fi duplicate în directoare RSS la care sunt adăugate fluxuri RSS. Acestea sunt fluxuri pentru abonarea la actualizări de blog sau site-uri web, astfel încât să primiți cele mai recente în e-mail. Cu ajutorul lor, motorul de căutare vă va găsi rapid noile articole și le va indexa.

Iată un exemplu de indexare reușită:

Acum o săptămână, pe unul dintre site-uri a apărut un articol despre o armă VPO-213 . Practic nu existau informații despre această armă pe internet - nu apăruse încă la vânzare. A fost doar o scurtă prezentare într-un videoclip de pe YouTube. În consecință, textul a fost complet unic și aproape singurul de pe Internet pe această temă. Pe la miezul nopții, textul a fost publicat pe site (nici măcar pe pagina principală!) și a fost indexat în scurt timp. La nouă și jumătate dimineața a doua zi, articolul se afla pe locul trei în rezultatele căutării Yandex. La 9.50 a devenit prima și ocupă în continuare această funcție.

În general, dacă resursa dvs. este bună, bine făcută, atunci nu ar trebui să existe probleme cu indexarea acesteia. Dacă site-ul, deși nu 100%, îndeplinește cerințele motoarelor de căutare - „pentru oameni”, atunci aceștia vor fi bucuroși să vă privească și să indexeze tot ce va fi adăugat.

Dar oricum ar fi, primul pas în promovarea unui site este să îl adăugați la indexul PS. Până când resursa nu este indexată, în general, nu există nimic de promovat, deoarece motoarele de căutare nu vor ști deloc despre ea. Prin urmare, în acest articol voi analiza ce este indexarea site-ului în Yandex și cum să trimit o resursă pentru indexare. De asemenea, vă voi spune cum să verificați dacă un site sau o pagină separată este inclusă în indexul Yandex și ce să faceți pentru a accelera indexarea de către Yandex.

Indexarea unui site în Yandex este accesată cu crawlere de roboți motor de căutare yandex al site-ului dvs. și introducerea tuturor paginilor deschise în baza de date. Motorul de căutare rus adaugă date despre site în baza de date: paginile sale, imaginile, videoclipurile, documentele care pot fi căutate. De asemenea, botul de căutare este angajat în indexarea link-urilor și a altor elemente care nu sunt ascunse de etichete și fișiere speciale.

Principalele moduri de a indexa o resursă:

Forțat - trebuie să trimiteți site-ul pentru indexare la Yandex printr-un formular special.

Natural - păianjen de căutare reușește să găsească în mod independent site-ul dvs. prin deplasarea de la resurse externe care leagă site-ul.

Timpul necesar pentru indexarea unui site în Yandex este diferit pentru fiecare și poate varia de la câteva ore la câteva săptămâni.

Acest lucru depinde de mulți factori: ce valori sunt în Sitemap.xml, cât de des este completată resursa, cât de des apar mențiuni ale site-ului pe alte resurse. Procesul de indexare este ciclic, așa că robotul va veni la tine la intervale de timp (aproape) egale. Dar cu ce frecvență depinde de factorii menționați mai sus și de robotul specific.

Păianjenul poate indexa întregul site web (dacă este mic) sau o secțiune separată (aceasta se aplică magazinelor online sau media). Pe resursele actualizate frecvent, cum ar fi portalurile media și informaționale, există așa-numiții roboți rapizi pentru indexarea rapidă a site-urilor în Yandex.

Uneori pot apărea probleme tehnice (sau probleme cu serverul) pe proiect; în acest caz, indexarea Yandex a site-ului nu va avea loc, motiv pentru care motorul de căutare poate recurge la următorul scenariu:

• aruncați imediat paginile neindexate din baza de date;
• reindexează resursa după un anumit timp;
• setează paginile care nu au fost indexate să fie excluse din baza de date, iar dacă nu le găsește în timpul reindexării, va fi aruncată din index.

Cum să accelerați indexarea site-ului în Yandex

Cum să accelerezi indexarea în Yandex - intrebari frecvente pe diferite forumuri pentru webmasteri. De fapt, viața întregului site depinde de indexare: poziția resursei în PS, numărul de clienți de la aceștia, popularitatea proiectului, profitul, până la urmă.

Am pregătit 10 metode care sper să vă fie de folos. Primele cinci sunt standard pentru indexarea constantă a unei resurse, iar următoarele cinci vă vor ajuta să accelerați indexarea site-ului dvs. în Yandex:

Servicii de marcare;

Flux RSS – va asigura difuzarea de noi materiale din resursa dumneavoastră către e-mailurile și directoarele RSS ale abonaților;

schimburi de linkuri – va asigura o creștere stabilă a link-urilor dofollow de la donatori de calitate, dacă sunt selectați corect (cum se selectează corect);

– dacă încă nu v-ați înregistrat site-ul în directoare, atunci vă sfătuiesc să faceți acest lucru. Mulți oameni spun că directoarele au murit cu mult timp în urmă sau că înregistrarea în ele va ucide un site - acest lucru nu este adevărat. Mai precis, nu este adevărul complet, dacă vă înregistrați în toate directoarele la rând, atunci într-adevăr resursa dvs. va suferi doar de acest lucru. Dar cu selecția corectă de încredere și cataloage bune, efectul va fi, fără îndoială.

Verificarea indexării site-ului în Yandex

• Operatorii site-ului și adreselor URL. Dacă doriți să verificați indexarea unui site în Yandex, puteți utiliza operatorii standard de motoare de căutare ..biz. (Desigur, în loc de domeniul meu, al tău)

  

• Bara RDS. Consider că este cel mai bun și mai rapid mod de a verifica indexarea unei pagini în Yandex. Acest plugin poate fi instalat pe toate browserele populare și va furniza imediat informatii detaliate despre numărul de pagini ale site-ului din index și prezența materialului specific în acesta. Cu această extensie, nu veți pierde timpul introducând manual adrese URL în servicii sau căutări. În general, o recomand, bara RDS este extrem de convenabilă:
• Serviciu Serphant. O resursă multifuncțională cu care poți analiza un site: evaluarea eficienței și monitorizarea site-urilor, analiza paginilor concurenților, verificarea pozițiilor și indexarea site-urilor. Puteți verifica gratuit indexarea paginilor folosind acest link: https://serphunt.ru/indexing/. Datorită verificării loturilor (până la 50 de adrese) și a fiabilității ridicate a rezultatelor, acest serviciu este unul dintre cele mai bune trei, în opinia mea.

  

• Serviciu XSEO. Un set de instrumente pentru webmasteri, în XSEO.in, puteți consulta indexarea site-ului în Yandex. Obțineți, de asemenea, o mulțime de informații suplimentare utile despre resursa dvs.:

  

• Servicii PR-CY și CY-PR. Încă câteva servicii care vă vor oferi informații despre numărul total de pagini indexate:

  

• Serviciul Sitereport. Un serviciu excelent care vă va evidenția toate greșelile în lucrul pe site. Are și o secțiune „Indexare”, unde vor fi prezentate informații pentru fiecare pagină a site-ului, indicând dacă este indexată sau nu în motoarele de căutare Yandex și Google. Prin urmare, vă recomand să utilizați această resursă pentru a detecta problemele de pe site și pentru a verifica indexarea în masă Yandex:

  

Ați creat un site web, dar nu îl puteți găsi în motoarele de căutare? Nici o problemă! În acest material veți învăța cum să indexați un site web în Yandex și Google în cel mai scurt timp posibil. Probabil că este inutil să vorbim despre avantajele intrării rapide în indexul motorului de căutare. La urma urmei, oricine înțelege că, cu cât site-ul său este afișat mai repede în rezultatele căutării, cu atât mai repede vor apărea noi clienți. Și pentru ca acest lucru să funcționeze, trebuie să intri în baza de date a motorului de căutare.

Apropo, datorită abordării corecte, materialele noi de pe site-ul nostru sunt destul de bune și, cel mai important, întotdeauna indexate rapid de motoarele de căutare. Poate că ați ajuns la această pagină după ce ați făcut o solicitare corespunzătoare către bara de căutare. Să trecem de la versuri la practică.

Cum să afli dacă un site este indexat?

Primul lucru pe care trebuie să-l faceți este să aflați dacă site-ul este indexat de motoarele de căutare. Este posibil ca site-ul pur și simplu să nu fie pe prima pagină a căutării pentru interogarea pe care ați introdus-o. Acestea pot fi interogări cu volum mare la care trebuie să se lucreze pentru a apărea Promovarea SEO, și nu doar să creeze și să lanseze un site web.

Deci, pentru a verifica, mergem la toate motoarele de căutare care au sens să mergem la ( Yandex, Google, Mail, Rambler) și la linie interogare de căutare introduceți adresa site-ului.

Dacă resursa dvs. nu a fost încă indexată, nu va fi afișat nimic în rezultatele căutării sau vor apărea alte site-uri.

Cum se indexează un site în Yandex?

În primul rând, vă vom spune cum să indexați un site web în Yandex. Dar înainte de a adăuga resursa, verificați dacă funcționează corect, se deschide corect pe toate dispozitivele și conține numai conținut unic. De exemplu, dacă adăugați un site în stadiul de dezvoltare, puteți pur și simplu să vă încadrați sub filtru - acest lucru ni sa întâmplat o dată și a trebuit să așteptăm o lună întreagă pentru ca Yandex să înțeleagă că avem un site de înaltă calitate și să ridicăm sancțiunile. .

Pentru a informa Yandex despre un site nou, trebuie adăugați-l la Yandex WebmasterȘi instalați Yandex Metrica, primul instrument este responsabil de Informații suplimentare despre resursă ( regiune, structură, link-uri rapide) și cum arată site-ul în rezultatele organice, al doilea pentru colectarea datelor de pe site ( prezența, comportamentul etc.), care, conform experienței noastre, afectează și indexarea site-ului și poziția acestuia în căutare. De asemenea, asigurați-vă că faceți un sitemap și îl indicați în panoul pentru webmasteri.

Cum se indexează un site în Google?

Cel mai adesea, Google însuși găsește rapid site-uri noi și le pune în căutare, dar așteptarea ca Google să vină și să facă toată munca pentru noi este prea presumptuoasă, așa că hai să ne dăm seama cum să indexăm un site în Google.

După ce site-urile sunt adăugate, ar trebui să treacă de la 3 la 7 zile, înainte ca motoarele de căutare să actualizeze datele și să indexeze site-ul.

Întotdeauna vrei ca paginile noi de site să apară în rezultatele căutării cât mai repede posibil, iar pentru aceasta există câteva modalități secrete (și foarte simple) de a accelera indexarea paginilor de site în motoarele de căutare.

3. Să efectueze manipularea descrisă la paragraful 2, numai pentru motorul de căutare sistemele Google, accesați Search Console. Selectați „Scanare” și „Vedeți ca Googlebot”-adăugați adresa noii pagini și faceți clic pe „Crawn”, după care solicităm indexarea.

Analiza indexării site-ului

În concluzie, trebuie menționat că, chiar și după indexarea cu succes a site-ului în motoarele de căutare, munca nu se termină aici. Este necesar să se analizeze periodic indexarea site-ului, precum și să se elimine pozițiile pentru interogările populare. Acest lucru vă va permite să țineți degetul pe puls și să nu ajungeți într-o situație în care o parte semnificativă a traficului din rezultatele căutării organice a dispărut pur și simplu.

Acest lucru s-a întâmplat cu multe site-uri vechi care au folosit metode vechi de promovare după lansare Algoritmul Yandex Baden-Baden. În același timp, Yandex a anunțat în avans că lansează acest algoritm și paginile supraoptimizate vor fi excluse din căutare, în timp ce Google nu raportează niciodată lansarea de noi algoritmi. Prin urmare, doar monitorizarea neobosită vă va permite să rămâneți sau să deveniți un lider de subiect!

Cu Google totul este foarte simplu. Trebuie să adăugați site-ul dvs. la instrumentele pentru webmasteri la https://www.google.com/webmasters/tools/, apoi selectați site-ul adăugat, intrând astfel în Search Console a site-ului dvs. Apoi, în meniul din stânga, selectați secțiunea „Scanare”, iar în ea elementul „Vizualizare ca Googlebot”.

În pagina care se deschide, în câmpul gol, introduceți adresa noii pagini pe care dorim să o indexăm rapid (ținând cont de numele de domeniu deja introdus al site-ului) și faceți clic pe butonul „Crawlează” din dreapta. Așteptăm până când pagina este scanată și apare în partea de sus a tabelului de adrese scanate anterior într-un mod similar. Apoi, faceți clic pe butonul „Adăugați la index”.

Ura, noua ta pagină este indexată instantaneu de Google! În doar câteva minute îl vei putea găsi în rezultatele căutării Google.

Indexarea rapidă a paginilor în Yandex

ÎN versiune noua instrumentele pentru webmasteri au devenit disponibile instrument similar pentru a adăuga pagini noi la index. În consecință, site-ul dvs. trebuie adăugat mai întâi la Yandex Webmaster. De asemenea, puteți ajunge acolo selectând site-ul dorit în webmaster, apoi accesați secțiunea „Indexare”, selectați elementul „Re-crawling pagini”. În fereastra care se deschide, introduceți adresele paginilor noi pe care dorim să le indexăm rapid (prin intermediul unui link pe o singură linie).

Spre deosebire de Google, indexarea în Yandex nu are loc încă instantaneu, dar încearcă să se străduiască pentru aceasta. Folosind acțiunile de mai sus, veți informa robotul Yandex despre pagina noua. Și va fi indexat într-o jumătate de oră până la o oră - asta arată experiența mea personală. Poate că viteza de indexare a paginii în Yandex depinde de o serie de parametri (reputația domeniului, a contului și/sau a altora). În cele mai multe cazuri, vă puteți opri acolo.

Dacă vedeți că paginile site-ului dvs. sunt prost indexate de Yandex, adică există mai multe recomandări generale cu privire la modul de a face față acestui lucru:

• Cea mai bună, dar și dificilă, recomandare este să instalați Yandex quickbot pe site-ul dvs. web. Pentru a face acest lucru, este recomandabil să adăugați materiale proaspete pe site în fiecare zi. De preferință 2-3 sau mai multe materiale. Mai mult, adăugați-le nu pe toate deodată, ci după un timp, de exemplu, dimineața, după-amiaza și seara. Ar fi chiar mai bine să mențineți aproximativ același program de publicare (aproximativ să mențineți același timp pentru adăugarea de noi materiale). De asemenea, mulți recomandă crearea unui flux RSS pentru site-ul dvs roboți de căutare putea citi actualizări direct de pe acesta.
• Desigur, nu toată lumea va putea adăuga materiale noi pe site în astfel de volume - este bine dacă puteți adăuga 2-3 materiale pe săptămână. În acest caz, nu puteți visa cu adevărat la viteza Yandex, dar încercați să introduceți pagini noi în index în alte moduri. Cel mai eficient dintre care este considerat a fi postarea de link-uri către pagini noi către conturi Twitter actualizate. Prin utilizarea programe speciale la fel ca Twidium Accounter, puteți „mări” numărul de conturi Twitter de care aveți nevoie și, cu ajutorul lor, puteți introduce rapid pagini noi de site în indexul motorului de căutare. Dacă nu aveți posibilitatea de a posta link-uri către conturi Twitter actualizate, puteți cumpăra astfel de postări prin schimburi speciale. O postare cu linkul dvs. va costa în medie 3-4 ruble și mai mult (în funcție de puterea contului selectat). Dar această opțiune va fi destul de scumpă.
• A treia opțiune de indexare rapidă este să folosiți serviciul http://getbot.guru/, care pentru doar 3 ruble vă va ajuta să obțineți efectul dorit cu o garanție a rezultatelor. Potrivit pentru site-uri cu un program rar de adăugare de publicații noi. Există și tarife mai ieftine. Este mai bine să vă uitați la detaliile și diferențele lor pe site-ul serviciului în sine. Personal, sunt foarte mulțumit de serviciile acestui serviciu ca accelerator de indexare.

Desigur, puteți adăuga și noi postări la marcajele sociale, ceea ce, teoretic, ar trebui să ajute și site-ul să se indexeze rapid. Dar eficacitatea unei astfel de adăugări va depinde și de nivelul conturilor dumneavoastră. Dacă aveți puțină activitate asupra lor și folosiți conturi doar pentru astfel de spam, atunci practic nu va exista nicio ieșire utilă.

P.S. cu experiență vastă este întotdeauna relevantă - contactați-ne!

Bună ziua, dragi cititori ai site-ului. Astăzi vă voi spune cum să găsiți și să remediați posibile probleme cu indexarea site-ului dvs. Să ne uităm la trei puncte principale.

1. Robotul trebuie să indexeze paginile necesare ale site-ului din;
2. Aceste pagini trebuie indexate rapid;
3. Robotul nu trebuie să viziteze paginile inutile ale site-ului;

Totul pare destul de simplu. Dar, de fapt, majoritatea webmasterilor se confruntă cu aceleași probleme atunci când configurează indexarea. Să le privim cu atenție.

În prezent, în majoritatea cazurilor, dacă despre care vorbim despre o nouă pagină de site în rezultatele căutării, aceasta va apărea în câteva zeci de minute. Dacă vorbim de pagini deja indexate, atunci asta 3-5 zile.

Drept urmare, pentru ca site-ul dvs. să fie vizitat rapid, trebuie să vă amintiți trei reguli:

1. În primul rând, trebuie să aveți un fișier de hartă site corect și actualizat în mod regulat;
2. În al doilea rând, nu utilizați directiva Crawl-delay doar dacă aveți chef. În acest moment, asigurați-vă că accesați robots.txt și verificați dacă există o astfel de directivă. Dacă este instalat, gândiți-vă dacă aveți într-adevăr nevoie de el.
3. În al treilea rând, utilizați „crawlarea paginii” pentru ca robotul să viziteze cele mai importante pagini ale site-ului dvs. cu o nouă pagină importantă.

Eliberăm robotul de paginile site-ului web inutile

Când un robot începe să vă viziteze resursa, aceasta nu are întotdeauna un efect pozitiv asupra indexării pagini bune site-ul. Să ne imaginăm o situație, să presupunem că un robot face 5 solicitări pe secundă la resursa ta. Pare un rezultat excelent, dar care este rostul acestor cinci vizite pe secundă dacă toate se referă la paginile de serviciu ale site-ului dvs. sau duplicate și robotul nu acordă nicio atenție paginilor cu adevărat importante. Aceasta este următoarea noastră secțiune, cum să nu indexăm paginile inutile.

1. Folosim secțiunea Yandex webmaster și statisticile de accesare cu crawlere
2. Obținem adresele paginilor pe care robotul nu ar trebui să le indexeze
3. Compilarea fișierului robots.txt corect

Să aruncăm o privire la instrumentul Statistici cu crawlere, arată astfel. Există și grafice aici. Suntem interesați să derulăm puțin în jos, folosind butonul „toate paginile”. Veți vedea tot ce a vizitat robotul în ultimele zile.

Printre aceste pagini, dacă există pagini de serviciu, atunci acestea trebuie interzise în fișierul robots.txt. Să ne uităm la ce anume trebuie interzis punct cu punct.

1. În primul rând, după cum am spus mai devreme, filtrarea paginilor, selecția mărfurilor, sortarea ar trebui interzise în fișierul robots.txt.
2. În al doilea rând, interzicem cu siguranță diverse pagini de acțiune. De exemplu, adăugați pentru a compara, adăugați la favorite, adăugați în coș. De asemenea, interzicem pagina cu coșul în sine.
3. În al treilea rând, interzicem ocolirea toate secțiile de service cum ar fi căutarea pe site, panoul de administrare al resursei dvs., secțiuni cu datele utilizatorului. De exemplu, informațiile de livrare, numerele de telefon etc. sunt de asemenea interzise în fișierul robots.txt.
4. ȘI pagini de identificare, de exemplu, ar trebui interzisă accesarea cu crawlere a etichetelor utm în fișierul robots.txt folosind directiva Clean-param.

Dacă vă confruntați cu întrebarea dacă această pagină ar trebui să fie blocată sau dacă această pagină ar trebui deschisă pentru accesare cu crawlere, răspundeți la o întrebare simplă: utilizatorii au nevoie de această pagină? motor de căutare? Dacă această pagină nu trebuie căutată pentru interogări, atunci poate fi dezactivată.

Și un mic caz practic, sper să vă motiveze. Uite, pe una dintre resurse robotul efectuează aproape mii de apeluri pe zi către pagini cu redirecționare. De fapt, paginile de redirecționare au fost adăugate în paginile coșului.

Facem modificări fișierului robots.txt și puteți vedea din grafic că accesul la astfel de pagini practic a dispărut. În același timp, dinamica pozitivă imediată - ocolirea paginilor necesare pe această pagină de stepă cu codul 200 a crescut brusc.

- Duplicați pagini de pe site, cum să le găsiți și ce să faceți cu ele

Și aici te așteaptă un alt pericol - acesta pagini duplicate. Prin duplicate înțelegem mai multe pagini ale unui site web care sunt accesibile la adrese diferite, dar care conțin în același timp conținut absolut identic. Principalul pericol al duplicatelor este că, dacă sunt prezente, acestea se pot schimba în rezultatele căutării. O pagină poate ajunge la o adresă de care nu aveți nevoie și poate concura cu pagina principală pe care o promovați pentru unele solicitări. În plus, un număr mare de pagini duplicat face dificilă accesarea cu crawlere a site-ului unui robot de indexare. În general, aduc o mulțime de probleme.

Cred că aproape toți webmasterii sunt siguri că nu există pagini duplicat pe site-ul lor. Vreau să te supăr puțin. De fapt, există duplicate pe aproape toate site-urile din RuNet. ? Am un articol detaliat despre asta, după ce l-am citit pe care nu o să-ți mai rămână o singură întrebare.

- Verificarea codului de răspuns al serverului

Pe lângă fișierul robots.txt, aș dori să vă spun și despre codurile de răspuns corecte http. De asemenea, par lucruri care au fost spuse de multe ori deja. Codul de răspuns HTTP în sine este o anumită stare a paginii pentru robotul de indexare.

1. http-200 - pagina poate fi indexată și căutarea activată.
2. http-404 înseamnă că pagina a fost ștearsă.
3. http-301 - pagina redirecționată.
4. http-503 - temporar indisponibil.

Care este avantajul utilizării instrumentului pentru coduri http corecte:

1. În primul rând, nu veți avea niciodată diverse link-uri întrerupte către resursa dvs., adică acele link-uri care duc la pagini care nu răspund cu un cod de răspuns 200. Dacă pagina nu există, atunci codul de răspuns 404 înseamnă că robotul va înțelege acest lucru .
2. În al doilea rând, va ajuta robotul să planifice să acceseze cu crawlere paginile cu adevărat necesare care răspund cu un cod de răspuns de 200.
3. Și în al treilea rând, vă va permite să evitați ca diverse tipuri de gunoi să intre în rezultatele căutării.

Este exact despre ce este vorba în următoarea captură de ecran, tot din practică. Când o resursă nu este disponibilă și se efectuează lucrări tehnice, robotul primește un stub cu un cod de răspuns http de 200. Aceasta este exact descrierea acestui stub pe care o vedeți în rezultatele căutării.

Deoarece pagina răspunde cu un cod de răspuns de 200, acestea sunt returnate. Desigur, paginile cu astfel de conținut nu pot fi localizate și afișate pentru nicio solicitare. În acest caz setare corectă va exista un răspuns http 503. Dacă o pagină sau o resursă este temporar indisponibilă, acest cod de răspuns va evita excluderea paginilor din rezultatele căutării.

Acestea sunt situații în care paginile tale importante și necesare ale resursei tale devin inaccesibile robotului nostru, de exemplu, ele răspund cu codul 503 sau 404 sau, în schimb, sunt returnate la acest stub.

Astfel de situații pot fi urmărite folosind instrumentul "pagini importante". Adăugați la el acele pagini care aduc cel mai mult trafic resursei dvs. Configurați notificări prin e-mail sau serviciu și veți primi informații despre ce se întâmplă cu această pagină. Care este codul său de răspuns, care este titlul său, când a fost vizitat și care este starea sa în rezultatele căutării.

Puteți verifica corectitudinea returnării unui anumit cod de răspuns folosind instrumentul corespunzător din Yandex Webmaster (aici). În acest caz, verificăm codul de răspuns al paginilor inexistente. Am venit cu o pagină și am pus-o în instrument, am făcut clic pe butonul de verificare și am primit un răspuns 404.

Totul este în regulă aici, deoarece pagina nu era disponibilă; a răspuns corect cu un cod 404 și nu va mai fi inclusă în căutare. Drept urmare, pentru a limita roboții să viziteze paginile inutile ale site-ului, utilizați în mod activ instrumentul de statistică de accesare cu crawlere, faceți modificări fișierului robots.txt și asigurați-vă că paginile returnează codul de răspuns http corect.

- Să rezumam

I-am oferit robotului paginile corecte de site cu conținut. Ne-am asigurat că este indexat rapid. Am interzis robotului să indexeze pagini inutile. Toate aceste trei grupuri mari de sarcini sunt interconectate. Adică, dacă nu restricționați robotul de la indexarea paginilor de serviciu, atunci, cel mai probabil, va avea mai puțin timp să indexeze paginile necesare ale site-ului.

Dacă robotul nu primește în întregime conținutul paginilor solicitate, nu va include rapid aceste pagini în rezultatele căutării. Adică, trebuie să lucrați la indexarea resursei dvs. într-un mod complex, la toate aceste trei sarcini. Și în acest caz, veți obține un oarecare succes pentru ca paginile necesare să apară rapid în rezultatele căutării.

Răspunsuri oficiale Yandex

Indexul includea pagini cu majuscule, chiar dacă site-ul nu conține astfel de pagini. Dacă paginile sunt cu majuscule, robotul a găsit, cel mai probabil, link-uri către ele undeva pe Internet. Verificați-vă mai întâi site-ul, cel mai probabil există un link incorect undeva pe Internet. Robotul a venit, l-a văzut și a început să descarce pagina cu majuscule. Pentru ei, pentru astfel de pagini este mai bine să folosiți o redirecționare 301.

Sitemap-ul are mai multe pagini - este normal? Dacă vorbim despre un sitemap, atunci există un format special de sitemap în care puteți specifica link-uri către alte fișiere sitemap, atunci desigur că este normal.

Dacă plasați linkuri către toate secțiunile catalogului în partea de jos a site-ului, care este afișat pe toate paginile, va ajuta acest lucru la indexare sau dăunează? De fapt, nu trebuie să faceți acest lucru deloc, adică dacă vizitatorii site-ului dvs. nu au nevoie de el, atunci nu trebuie să îl adăugați în mod specific. Este suficient doar un fișier sitemap. Robotul va afla despre prezența tuturor acestor pagini și le va adăuga în baza sa de date.

Trebuie să indice frecvența de actualizare în harta site-ului? Fișierul sitemap poate fi utilizat pentru a furniza informații suplimentare robotului de indexare. Pe lângă adresele în sine, robotul nostru înțelege și mai multe etichete. În primul rând, aceasta este frecvența actualizărilor, adică frecvența actualizărilor. Aceasta este prioritatea de accesare cu crawlere și data ultima schimbare. Preia toate aceste informații din fișierul sitemap atunci când procesează fișierul și îl adaugă la baza sa de date și le folosește ulterior pentru a ajusta politicile de accesare cu crawlere.

Este posibil să faci fără un sitemap? Da, asigurați-vă că site-ul dvs. are o navigare clară, cu linkuri accesibile care duc la orice pagină internă. Dar rețineți că, dacă aceasta este o resursă nouă (de la autor: citiți despre cum să lansați un nou site) și, de exemplu, o anumită pagină este situată adânc pe site-ul dvs., de exemplu, la 5-10 clicuri distanță, atunci robotul va avea nevoie de mult timp pentru a afla disponibilitatea acestuia. Prima descărcare pagina principala site-ul, obțineți linkuri, apoi descărcați din nou acele pagini despre care a aflat și așa mai departe. Fișierul sitemap vă permite să transferați simultan informații despre toate paginile către robot.

Robotul face 700 de mii de cereri pe zi pe pagini inexistente.În primul rând, trebuie să înțelegeți de unde provin astfel de pagini inexistente. Poate că linkurile relative sunt utilizate incorect pe site-ul dvs. sau o anumită secțiune a fost complet eliminată de pe site și robotul continuă să verifice oricum astfel de pagini. În acest caz, ar trebui să le dezactivați pur și simplu în fișierul robots.txt. În termen de 12 ore, robotul nu va mai accesa astfel de pagini.

Dacă paginile de servicii sunt indexate, cum le puteți elimina din căutare. Pentru a elimina pagini din rezultatele căutării, utilizați și robots.txt. Adică, nu contează dacă ai setat interdicția atunci când îți creezi site-ul sau când ai lansat resursa. Pagina va dispărea din rezultatele căutării în decurs de o săptămână.

Este bun sau nu un sitemap generat automat?În cele mai multe cazuri, toate sitemapurile sunt generate automat, așa că putem spune că acest lucru este probabil bun. Nu trebuie să faci nimic cu mâinile tale și îți poți dedica atenția la altceva.

Cum va fi indexată pagina dacă este făcută canonică pentru sine. Dacă atributul canonic duce la aceeași pagină? Această pagină este considerată canonică? Va fi indexat corespunzător și inclus în rezultatele căutării, adică utilizarea acestei tehnici este destul de corectă.

Ce înseamnă statutul „non-canonic”? Z Atributul canonic este setat pe pagină, ceea ce duce la o altă pagină de pe site-ul dvs. De aceea această pagină nu va putea intra în căutare. Deschis sursă pagini, faceți o căutare, uitați-vă unde duce canonicul și verificați pagina canonică în căutare.

Ce este mai corect ca o pagină de coș să fie interzisă în robots.txt sau noindex? Dacă o pagină este interzisă folosind metoda noindex, robotul o va vizita periodic și o va verifica această interdicție. Pentru a împiedica robotul să facă acest lucru, este mai bine să utilizați un ban în fișierul robots.txt.

Te văd! Fii la curent cu tot și mereu pe paginile site-ului blogului

Ajută proiectul - abonează-te la canalul nostru Yandex.Zen!