Ātra lapu indeksēšana. Ātrs veids, kā pārbaudīt lapu indeksāciju pakalpojumā Yandex un Google. Mēs rakstām pareizo vēstuli Yandex

No šī materiāla jūs uzzināsit:

• Kas ir indeksēšana
• Kā datubāzei pievienot vietni
• Kā paātrināt indeksēšanu

Kas ir indeksēšana?

Mēs jums jau esam stāstījuši par. Īsāk sakot, šīs ir atbildes uz lietotāju pieprasījumiem, ko viņi ieraksta meklētājprogrammā. Jūs saņemat punktu “Pērciet ziloni” — iegūstiet vietnes, kas piedāvā ziloņu vairumtirdzniecību un mazumtirdzniecību. Plastmasas logi vai zvanu meitenes šādiem pieprasījumiem Yandex vai Google nerādīs. Un tagad uzmanība, jautājums ir: vai katra vietne nokļūst meklēšanas rezultātos? Nē, ne visi. Vismaz meklētājprogrammām ir jāzina par šīs vietnes esamību un tajā ievietoto saturu. Galu galā, kā var parādīt kaut ko tādu, par ko neviens nezina? Tam ir paredzētas datu bāzes. Īsāk sakot, vietnes pievienošanu ar tās saturu šai datubāzei sauc par indeksēšanu. Kā tiek veikta indeksēšana? Yandex vai Google robots darbojas saskaņā ar saviem algoritmiem: tas meklē informāciju par jūsu vietni (šī informācija ietver galvenos rakstus, tekstus, fotoattēlus utt. - vārdu sakot, viss saturs). Tas ir kā rentgens, tas izgaismo katru vietnes lapu, analizē to, skenē un pievieno jūsu vietni datu bāzei. Tagad tas tiks parādīts meklēšanas rezultātos un tiks rādīts, reaģējot uz lietotāju pieprasījumiem. Un kādos amatos - līderos vai nepiederošos - ir atkarīgs no satura, ar kuru tas ir piepildīts. Protams, vietņu indeksēšana ir vienkārši nepieciešama. Kad meklētājprogrammas sāk redzēt jūsu vietni, apmeklētāji to ierodas un tā aug.

Kā datubāzei pievienot vietni?

Pieņemsim, ka esat izveidojis vietni Bestbestsite.rf. Aizpildīja to, protams, ar labāko saturu un ar nepacietību gaida, kad tas nonāks topā. Lai vietne un saturs tiktu indeksēts un ievadīts datu bāzē, var izmantot divas metodes.

1. Pagaidiet pašindeksāciju. Agrāk vai vēlāk roboti atradīs jūsu vietni - šim nolūkam jums vienkārši jāatstāj aktīvas saites uz to no citiem resursiem. Tiek uzskatīts, ka jo vairāk saišu, jo ātrāka būs indeksēšana.
2. Pievienojiet vietni manuāli, meklētājprogrammā aizpildot īpašu veidlapu. Tur jums jānorāda saite uz vietni un īsa informācija par viņu. Piemēram, Yandex tas tiek darīts pakalpojumāYandex tīmekļa pārzinis Lapā Ziņot par jaunu vietni .

Tajā pašā tīmekļa pārziņa vietā varat pārraudzīt to pieprasījumu statistiku, kas novirza lietotājus uz jūsu vietni. Arī Google sistēmā viss ir vienkārši – varat reģistrēt vietni, izmantojot saitiGoogle tīmekļa pārziņa centrs . Cik ātri notiek indeksēšana? Grūti pateikt precīzus skaitļus – tas ir tikpat laimīgs. Bet vienu mēs zinām droši: Yandex indeksē lēnāk nekā Google. Bija gadījumi, kad indeksāciju tajā gaidīja vairākas nedēļas.

Kā paātrināt indeksēšanu?

Meklētājprogrammu algoritmi ir neparedzama lieta, un, kā jau minēts, precīzas receptes nav. Mēs varam ieteikt pārbaudītas metodes (būtībā tās pašas, kas ietekmē vietnes reklamēšanu meklēšanas rezultātos)

1. Unikāls saturs, kas meklētājprogrammām tik ļoti patīk. Viens punkts: ja jūs ievietojāt rakstu vietnē vai emuārā un tas vēl nav indeksēts, teorētiski ikviens var to nozagt un mitināt. Ja citā vietnē raksts ir indeksēts agrāk, jūs atrodaties šajā diapazonā. Jūsu raksts tiks uzskatīts par neunikālu, un konkurents paliks šokolādē.
2. Skaidra vietnes struktūra. Ievērojiet trīs klikšķu likumu: jūs varat nokļūt katrā lapā no galvenās ne vairāk kā ar trim klikšķiem. Mazāk ir labi, vairāk ir labāk nē! Tādējādi meklētājprogrammām būs vieglāk indeksēt ne tikai galveno lapu, bet arī citas lapas.
3. Saites ar iekšējām lapām ir noderīgas gan apmeklētājiem, gan robotam.
4. Pārraidiet ziņas RSS katalogos. Visas jūsu ziņas tiks dublētas RSS katalogos, kur tiek pievienotas RSS plūsmas. Šīs ir plūsmas, kas paredzētas emuāra vai vietņu atjauninājumu abonēšanai, lai jūs saņemtu jaunāko informāciju savā e-pastā. Ar viņu palīdzību meklētājprogramma ātri atradīs jūsu jaunos rakstus un indeksēs tos.

Šeit ir veiksmīgas indeksēšanas piemērs

Pirms nedēļas vienā no vietnēm parādījās raksts par ieroci. VPO-213 . Tīmeklī par šo ieroci praktiski nebija informācijas - tas vēl nav parādījies pārdošanā. Bija tikai īsa prezentācija YouTube videoklipā. Attiecīgi teksts bija pilnīgi unikāls un gandrīz vienīgais internetā par šo tēmu. Ap pusnakti teksts tika publicēts vietnē (pat ne galvenajā lapā!) un īsā laikā indeksēts. Nākamajā rītā pusvienpadsmitos raksts bija trešajā vietā Yandex meklēšanas rezultātos. 9.50 viņa kļuva par pirmo un šīs pozīcijas ieņem līdz šim.

Kopumā, ja jūsu resurss ir labs, labi izveidots, tad nevajadzētu būt problēmām ar tā indeksēšanu. Ja vietne, lai arī ne 100%, bet atbilst meklētājprogrammu prasībām - “cilvēkiem”, viņi ar prieku skatīsies uz jums gaismā un indeksēs visu jauno, kas tiks pievienots.

Taču, lai kā arī būtu, pirmais solis vietnes reklamēšanā ir tās pievienošana PS indeksam. Kamēr resurss nav indeksēts, pa lielam nav ko reklamēt, jo meklētāji par to nemaz nezinās. Tāpēc šajā rakstā es apsvēršu, kas ir vietņu indeksēšana pakalpojumā Yandex un kā iesniegt resursu indeksēšanai. Es arī pastāstīšu, kā pārbaudīt, vai vietne vai atsevišķa lapa ir iekļauta Yandex indeksā, un ko darīt, lai Yandex paātrinātu indeksēšanu.

Vietnes indeksēšana pakalpojumā Yandex ir robotu apiešana meklētājs jūsu vietnes yandex un pievienojot datubāzei visas atvērtās lapas. Krievu meklētājprogrammas zirneklis pievieno datubāzei datus par vietni: tās lapas, attēlus, video, dokumentus, kas ir pieejami meklēšanai. Arī meklēšanas robots nodarbojas ar saišu un citu elementu indeksēšanu, kas nav slēgti ar īpašiem tagiem un failiem.

Galvenie veidi, kā indeksēt resursu:

Piespiedu - jums jānosūta vietne indeksēšanai Yandex, izmantojot īpašu veidlapu.

Dabiski - meklēt zirnekli izdodas patstāvīgi atrast jūsu vietni, izmantojot ārējos resursus, kas ir saistīti ar vietni.

Vietnes indeksēšanas laiks Yandex ir atšķirīgs un var būt no pāris stundām līdz vairākām nedēļām.

Tas ir atkarīgs no daudziem faktoriem: kādas vērtības ir Sitemap.xml, cik bieži resurss tiek aizpildīts, cik bieži vietnes pieminēšana parādās citos resursos. Indeksēšanas process ir ciklisks, tāpēc robots pie jums ieradīsies (praktiski) vienādos laika intervālos. Bet ar kādu biežumu – atkarīgs no iepriekš minētajiem faktoriem un konkrētā robota.

Zirneklis var indeksēt visu vietni (ja tā ir maza) vai atsevišķu sadaļu (tas attiecas uz tiešsaistes veikaliem vai medijiem). Bieži atjauninātajos resursos, piemēram, plašsaziņas līdzekļos un informācijas portālos, ir tā sauktie ātrie roboti vietnes ātrai indeksēšanai Yandex.

Dažreiz projektā var rasties tehniskas problēmas (vai problēmas ar serveri), tādā gadījumā vietnes Yandex indeksēšana nenotiks, kā rezultātā meklētājprogramma var izmantot šādu scenāriju:

• nekavējoties izmest no datu bāzes neindeksētās lapas;
• pēc noteikta laika atkārtoti indeksējiet resursu;
• lapas, kas nav indeksētas, izslēdz no datu bāzes, un, ja tās netiks atrastas atkārtotas indeksācijas laikā, tās tiks izmestas no indeksa.

Kā paātrināt vietņu indeksēšanu pakalpojumā Yandex

Kā paātrināt indeksēšanu pakalpojumā Yandex - bieži uzdotais jautājums dažādos tīmekļa pārziņu forumos. Faktiski visas vietnes mūžs ir atkarīgs no indeksēšanas: resursa pozīcija PS, klientu skaits no tiem, projekta popularitāte, peļņa, galu galā.

Esmu sagatavojis 10 veidus, kas, cerams, jums noderēs. Pirmie pieci ir standarta pastāvīgai resursa indeksācijai, un šie pieci palīdzēs paātrināt vietnes indeksēšanu pakalpojumā Yandex:

Grāmatzīmju veidošanas pakalpojumi;

RSS plūsma - nodrošinās jaunu materiālu pārraidi no jūsu resursa uz abonentu pastu un RSS katalogiem;

saišu apmaiņa - nodrošinās stabilu dofollow saišu pieaugumu no kvalitatīviem ziedotājiem, pareizi izvēloties tos (kā pareizi atlasīt);

- ja jūs vēl neesat reģistrējis vietni katalogos, iesaku to izdarīt. Daudzi cilvēki saka, ka katalogi jau sen ir miruši vai reģistrēšanās tajos nogalinās vietni - tā nav taisnība. Precīzāk, ne pilnīga patiesība, ja reģistrējaties visos direktorijos pēc kārtas, tad jūsu resurss no tā tikai cietīs. Bet ar pareizu uzticības izvēli un labiem katalogiem efekts būs nenoliedzams.

Vietņu indeksācijas pārbaude pakalpojumā Yandex

• vietņu un URL operatori. Ja vēlaties pārbaudīt vietnes indeksāciju Yandex, varat izmantot meklētājprogrammas standarta operatorus..biz. (Protams, mana domēna vietā jūsu)

  

• RDS josla. Es domāju, ka labākais un ātrākais veids, kā pārbaudīt lapu indeksēšanu pakalpojumā Yandex. Šo spraudni var instalēt visās populārajās pārlūkprogrammās, nekavējoties nodrošināt Detalizēta informācija par vietnes lapu skaitu rādītājā un konkrēta materiāla klātbūtni tajā. Izmantojot šo paplašinājumu, jūs netērēsit laiku, manuāli ievadot vietrāžus URL pakalpojumos vai meklējumos. Kopumā es iesaku, ka RDS josla ir ļoti ērta:
• Serfants. Daudzfunkcionāls resurss, ar kuru varat analizēt vietni: novērtēt vietņu efektivitāti un uzraudzīt, analizēt konkurentu lapas, pārbaudīt pozīcijas un indeksēt vietni. Varat bez maksas pārbaudīt lapas indeksēšanu, izmantojot šo saiti: https://serphunt.ru/indexing/. Pakešu pārbaudes (līdz 50 adresēm) un rezultātu augstās ticamības dēļ šis pakalpojums, manuprāt, ir pirmajā trijniekā.

  

• XSEO pakalpojums. Rīku komplekts tīmekļa pārziņiem, vietnē XSEO.in varat redzēt vietņu indeksēšanu pakalpojumā Yandex. Iegūstiet arī daudz noderīgas papildu informācijas par savu resursu:

  

• Pakalpojumi PR-CY un CY-PR. Vēl daži pakalpojumi, kas sniegs informāciju par kopējo indeksēto lapu skaitu:

  

• vietņu atskaites pakalpojums. Lielisks pakalpojums, kas norādīs uz visām jūsu kļūdām, strādājot vietnē. Tajā ir arī sadaļa "Indeksācija", kurā par katru vietnes lapu tiks sniegta informācija, norādot, vai tā ir indeksēta Yandex un Google meklētājprogrammās. Tāpēc es iesaku izmantot šo resursu, lai atklātu problēmas vietnē un pārbaudītu Yandex masu indeksāciju:

  

Izveidojāt vietni, bet nevarat to atrast meklētājprogrammās? Nekādu problēmu! Šajā rakstā jūs uzzināsit, kā pēc iespējas īsākā laikā indeksēt vietni pakalpojumā Yandex un Google. Iespējams, lieki runāt par priekšrocībām, ko sniedz ātra iekļūšana meklētājprogrammu rādītājā. Galu galā ikviens saprot, ka jo ātrāk viņa vietne tiks parādīta meklēšanas rezultātos, jo ātrāk parādīsies jauni klienti. Un, lai tas darbotos, jums jāiekļūst meklētājprogrammu datu bāzē.

Starp citu, pateicoties pareizajai pieejai, mūsu vietnes jaunie materiāli ir diezgan labi, un, pats galvenais, meklētājprogrammas tos vienmēr ātri indeksē. Iespējams, arī jūs nokļuvāt šajā lapā pēc tam, kad sazinājāties ar attiecīgo pieprasījumu meklēšanas līnija. No dziesmu tekstiem pāriesim pie prakses.

Kā uzzināt, vai vietne ir indeksēta?

Pirmā lieta, kas jādara, ir noskaidrot, vai vietne ir indeksēta meklētājprogrammās. Iespējams, vietne vienkārši neatrodas jūsu ievadītā vaicājuma meklēšanas pirmajā lapā. Tie var būt augstas frekvences vaicājumi, ar kuriem ir jāstrādā, lai tie tiktu parādīti. SEO veicināšana un ne tikai izveidot un vadīt vietni.

Tāpēc, lai pārbaudītu, mēs ejam uz visām meklētājprogrammām, kuras ir lietderīgi apmeklēt ( Yandex, Google, Mail, Rambler) un virknē meklēšanas vaicājums ievadiet vietnes adresi.

Ja jūsu resurss vēl nav indeksēts, meklēšanas rezultātos nekas netiks rādīts vai tiks parādītas citas vietnes.

Kā indeksēt vietni pakalpojumā Yandex?

Sākumā mēs jums pateiksim, kā indeksēt vietni pakalpojumā Yandex. Taču pirms resursa pievienošanas pārbaudiet, vai tas darbojas pareizi, tiek pareizi atvērts visās ierīcēs un satur tikai unikālu saturu. Piemēram, ja pievienojat vietni izstrādes stadijā, jūs varat vienkārši nonākt zem filtra - tas notika ar mums vienu reizi, un mums bija jāgaida vesels mēnesis, līdz Yandex sapratīs, ka mums ir kvalitatīva vietne, un atcels sankcijas.

Lai informētu Yandex par jaunu vietni, jums ir nepieciešams pievienojiet to Yandex Webmaster un instalēt Yandex Metrica, pirmais rīks ir atbildīgs par Papildus informācija par resursu ( reģions, struktūra, ātrās saites) un veids, kā vietne izskatās dabiskās emisijas rezultātos, otrs — datu apkopošanai par vietni ( apmeklējums, uzvedība utt.), kas, pēc mūsu pieredzes, ietekmē arī vietnes indeksāciju un tās pozīciju meklēšanā. Un noteikti izveidojiet vietnes karti un norādiet to tīmekļa pārziņu panelī.

Kā indeksēt vietni Google tīklā?

Visbiežāk Google pati ātri atrod jaunas vietnes un iedzen tās meklēšanā, taču gaidīt, kad Google atnāks un visu darbu paveiks mūsu vietā, ir pārāk augstprātīgi, tāpēc izdomāsim, kā indeksēt vietni Google.

Pēc vietņu pievienošanas tam vajadzētu izturēt 3 līdz 7 dienas pirms meklētājprogrammas atjaunina datus un indeksē vietni.

Jūs vienmēr vēlaties, lai jaunas vietnes lapas tiktu parādītas meklēšanas rezultātos pēc iespējas ātrāk, un šim nolūkam ir vairāki slepeni (un ļoti vienkārši) veidi, kā paātrināt vietņu lapu indeksēšanu meklētājprogrammās.

3. Lai veiktu 2. punktā aprakstītās manipulācijas tikai Google meklētājprogrammai, dodieties uz Search Console. Izvēlieties "Skenēt" un “Skatīt, kā Googlebot”-pievienojiet jaunas lapas adresi un noklikšķiniet uz "Skenēt", pēc tam mēs pieprasām indeksēšanu.

Vietņu indeksēšanas analīze

Noslēgumā jāatzīmē, ka pat pēc veiksmīgas vietnes indeksēšanas meklētājprogrammās darbs ar to nebeidzas. Ir periodiski jāanalizē vietnes indeksācija, kā arī jānoņem pozīcijas populāriem vaicājumiem. Tas ļaus jums turēt pirkstu uz pulsa un nenokļūt situācijā, kad ievērojama daļa trafika no bioloģiskās emisijas vienkārši pazuda.

Tas notika ar daudzām vecām vietnēm, kurās pēc to darbības pārtraukšanas tika izmantotas vecās veicināšanas metodes. Yandex Bādenbādenes algoritms. Tajā pašā laikā Yandex jau iepriekš paziņoja, ka palaiž šo algoritmu un atkārtoti optimizētās lapas tiks izslēgtas no meklēšanas, savukārt Google nekad nepaziņoja par jaunu algoritmu izlaišanu. Tāpēc tikai nerimstoša kontrole ļaus palikt tēmas vadītājam vai par tādu kļūt!

Ar Google viss ir ļoti vienkārši. Vietne ir jāpievieno tīmekļa pārziņa rīkiem vietnē https://www.google.com/webmasters/tools/, pēc tam atlasiet pievienoto vietni, tādējādi nokļūstot savas vietnes Search Console. Pēc tam kreisajā izvēlnē atlasiet sadaļu “Skenēšana” un tajā vienumu “Skatīt kā Googlebot”.

Atvērtajā lapā tukšajā laukā ievadiet jaunās lapas adresi, kuru vēlamies ātri indeksēt (ņemot vērā jau ievadīto vietnes domēna nosaukumu) un noklikšķiniet uz pogas "Skenēt" labajā pusē. Mēs gaidām, kad lapa tiks skenēta un parādīsies iepriekš šādā veidā skenēto adrešu tabulas augšdaļā. Pēc tam noklikšķiniet uz pogas "Pievienot indeksam".

Urrā, jūsu jauno lapu uzreiz indeksē Google! Pēc pāris minūtēm jūs to varēsiet atrast Google meklēšanas rezultātos.

Ātra lapu indeksēšana pakalpojumā Yandex

AT jauna versija kļuva pieejami tīmekļa pārziņa rīki līdzīgs rīks lai rādītājam pievienotu jaunas lapas. Attiecīgi jūsu vietne ir arī iepriekš jāpievieno Yandex Webmaster. Varat arī tur nokļūt, tīmekļa pārzinī atlasot vajadzīgo vietni, pēc tam dodieties uz sadaļu "Indeksēšana", atlasiet vienumu "Lapas atkārtota pārmeklēšana". Atvērtajā logā ievadiet to jauno lapu adreses, kuras vēlamies ātri indeksēt (izmantojot saiti vienā rindā).

Atšķirībā no Google, Yandex indeksēšana vēl nenotiek uzreiz, taču tā cenšas uz to censties. Veicot iepriekš minētās darbības, jūs informēsit Yandex robotu par jauna lapa. Un tas tiks indeksēts pusstundas vai stundas laikā - tā rāda mana prakse personīgi. Iespējams, lapas indeksēšanas ātrums pakalpojumā Yandex ir atkarīgs no vairākiem parametriem (no jūsu domēna, konta un/vai citu reputācijas). Vairumā gadījumu to var apturēt.

Ja redzat, ka Yandex jūsu vietnes lapas ir slikti indeksējis, tas ir, daži vispārīgi ieteikumi, kā ar to rīkoties:

• Labākais, bet arī vissarežģītākais ieteikums ir instalēt Yandex ātruma robotu savā vietnē. Lai to izdarītu, katru dienu ir vēlams vietnei pievienot svaigus materiālus. Vēlams 2-3 vai vairāk materiālu. Un pievienojiet tos nevis visus uzreiz, bet pēc kāda laika, piemēram, no rīta, pēcpusdienā un vakarā. Vēl labāk būtu ievērot aptuveni vienādu publicēšanas grafiku (jaunu materiālu pievienošanai saglabāt aptuveni vienādu laiku). Turklāt daudzi cilvēki iesaka izveidot vietnes RSS plūsmu meklēšanas roboti var lasīt atjauninājumus tieši no tā.
• Protams, ne visi varēs vietnei pievienot jaunus materiālus šādos apjomos - ir labi, ja varat pievienot 2-3 materiālus nedēļā. Šajā gadījumā jūs nevarat īpaši sapņot par Yandex ātrumu, bet mēģināt ievietot jaunas lapas rādītājā citos veidos. Par visefektīvāko tiek uzskatīta saišu ievietošana uz jaunām lapām jauninātajos Twitter kontos. Izmantojot īpašas programmas tāpat kā Twidium Accounter, jūs varat “iesūknēt” vajadzīgo Twitter kontu skaitu un izmantot tos, lai ātri ievadītu jaunas vietnes lapas meklētājprogrammas rādītājā. Ja jums nav iespējas patstāvīgi ievietot saites uz jauninātajiem Twitter kontiem, varat iegādāties šādas ziņas, izmantojot īpašus apmaiņus. Viena ziņa ar jūsu saiti vidēji maksās no 3-4 rubļiem un vairāk (atkarībā no izvēlētā konta vēsuma). Bet šī iespēja būs diezgan dārga.
• Trešā ātras indeksēšanas iespēja ir izmantot pakalpojumu http://getbot.guru/, kas tikai par 3 rubļiem palīdzēs sasniegt vēlamo efektu ar garantētu rezultātu. Labi piemērots vietnēm ar retu grafiku jaunu publikāciju pievienošanai. Ir arī lētākas cenas. Sīkāku informāciju un atšķirības starp tiem vislabāk var apskatīt paša pakalpojuma vietnē. Personīgi esmu ļoti apmierināts ar šī pakalpojuma kā indeksēšanas paātrinātāja pakalpojumiem.

Protams, sociālajām grāmatzīmēm var pievienot arī jaunas publikācijas, kurām teorētiski arī vajadzētu veicināt vietnes ātru indeksāciju. Taču šāda papildinājuma efektivitāte būs atkarīga arī no jūsu kontu līmeņa. Ja jums ir maz darbības ar tiem un jūs izmantojat savus kontus tikai šādam surogātpastam, tad praktiski nebūs nekādas noderīgas produkcijas.

P.S. ar lielu pieredzi vienmēr ir aktuāls - sazinieties ar mums!

Sveiki, dārgie vietnes lasītāji. Šodien es jums pastāstīšu, kā atrast un salabot iespējamās problēmas ar vietnes indeksēšanu. Apskatīsim trīs galvenos punktus.

1. Robotam ir jāindeksē nepieciešamās vietnes lapas ar ;
2. Šīs lapas ātri jāindeksē;
3. Robots nedrīkst apmeklēt nevajadzīgas vietnes lapas;

Šķiet, ka viss ir pavisam vienkārši. Taču patiesībā lielākā daļa tīmekļa pārziņu saskaras ar tām pašām problēmām, iestatot indeksēšanu. Apskatīsim tos uzmanīgi.

Šobrīd vairumā gadījumu, ja mēs runājam par jauno vietnes lapu meklēšanas rezultātos, tā parādīsies dažu desmitu minūšu laikā. Ja mēs runājam par jau indeksētām lapām, tad šis 3-5 dienas.

Tā rezultātā, lai jūsu vietne tiktu ātri apmeklēta, jums ir jāatceras trīs noteikumi:

1. Pirmkārt, jums ir jābūt derīgam un regulāri atjauninātam vietnes kartes failam;
2. Otrkārt, neizmantojiet rāpuļprogrammas aizkaves direktīvu tikai tad, ja vēlaties. Šobrīd noteikti atveriet savu robots.txt un pārbaudiet, vai ir šāda direktīva. Ja tas ir instalēts, padomājiet, vai jums tas tiešām ir nepieciešams.
3. Treškārt, izmantojiet "lapas rāpuļprogrammu", lai apmeklētu svarīgākās vietnes lapas, izmantojot jaunu svarīgu lapu.

Mēs pasargājam robotu no nevajadzīgām vietnes lapām

Kad robots sāk apmeklēt jūsu resursu, tas ne vienmēr pozitīvi ietekmē indeksēšanu labas lapas vietne. Iedomājieties situāciju, pieņemsim, ka robots jūsu resursam veic 5 pieprasījumus sekundē. Šķiet, ka rezultāts ir lielisks, bet kāda jēga no šiem pieciem apmeklējumiem sekundē, ja tie visi ir saistīti ar jūsu vietnes servisa lapām vai dublē un robots nemaz nepievērš uzmanību patiešām svarīgajām lapām. Šī ir mūsu nākamā sadaļa par to, kā neindeksēt nevajadzīgās lapas.

1. Mēs izmantojam Yandex Webmaster sadaļu un apejam statistiku
2. Mēs iegūstam to lapu adreses, kuras robotam nevajadzētu indeksēt
3. Mēs izveidojam pareizo robots.txt failu

Apskatīsim rīku "Rāpuļprogrammas statistika", tas izskatās šādi. Šeit ir arī diagrammas. Mēs esam ieinteresēti nedaudz ritināt lapu uz leju, izmantojot pogu "visas lapas". Jūs redzēsiet visu, ko robots ir apmeklējis pēdējo dienu laikā.

Ja starp šīm lapām ir kādas pakalpojumu lapas, tad failā robots.txt tās ir jāaizliedz. Kas tieši ir jāaizliedz, liksim pa punktam.

1. Pirmkārt, kā jau teicu iepriekš, filtrēt lapas, preču atlase, šķirošana ir jāaizliedz robots.txt failā.
2. Otrkārt, mums ir jāaizliedz dažādas darbības lapas. Piemēram, pievienot, lai salīdzinātu, pievienotu izlasei, pievienotu grozam. Arī pati iepirkumu groza lapa ir aizliegta.
3. Treškārt, mēs aizliedzam apiet visas servisa sadaļas piemēram, vietnes meklēšana, jūsu resursa administrēšanas panelis, sadaļas ar lietotāja datiem. Piemēram, failā robots.txt ir aizliegta arī piegādes informācija, tālruņu numuri utt.
4. Un lapas ar ID, piemēram, ar utm tagiem ir vērts arī aizliegt pārmeklēšanu failā robots.txt, izmantojot Clean-param direktīvu.

Ja jūs saskaraties ar jautājumu, vai ir nepieciešams aizliegt, vai šī lapa ir jāatver, lai apietu, atbildiet sev uz vienkāršu jautājumu: vai lietotājiem šī lapa ir vajadzīga meklētājs? Ja šai lapai nevajadzētu atrasties vaicājumu meklēšanā, tad to var aizliegt.

Un neliels praktisks gadījums, ceru, ka tas jūs motivēs. Paskatieties, vienā no resursiem robots katru dienu veic gandrīz tūkstošiem trāpījumu lapās ar novirzīšanu. Faktiski novirzīšanas lapas bija pievienošanas grozam lapas.

Veicam izmaiņas robots.txt failā un grafikā redzams, ka pieeja šādām lapām praktiski ir pazudusi. Tajā pašā laikā nekavējoties pozitīva dinamika - nepieciešamo lapu apiešana šajā stepes lapā ar kodu 200 ir dramatiski palielinājusies.

- Vietnes lapu dublikāti, kā tās atrast un ko ar tām darīt

Un šeit jūs sagaida vēl vienas briesmas - tas ir lapu dublikāti. Ar dublikātiem mēs saprotam vairākas vienas vietnes lapas, kas ir pieejamas dažādās adresēs, bet tajā pašā laikā satur absolūti identisku saturu. Galvenais dublikātu drauds ir tāds, ka, ja tie pastāv, tie var mainīties meklēšanas rezultātos. Lapa var nokļūt uz adresi, kas jums nav nepieciešama, un konkurēt ar galveno lapu, kuru reklamējat par jebkuriem vaicājumiem. Turklāt liels skaits dublētu lapu apgrūtina indeksēšanas robotu apiet vietni. Kopumā tie rada daudz problēmu.

Es domāju, ka gandrīz visi tīmekļa pārziņi ir pārliecināti, ka viņu resursā nav lapu dublikātu. Es gribu tevi nedaudz apbēdināt. Faktiski gandrīz visās RuNet vietnēs ir dublikāti. ? Man par to ir detalizēts raksts, pēc kura izlasīšanas jums vairs nebūs neviena jautājuma.

- Servera atbildes koda pārbaude

Papildus failam robots.txt es vēlos jums pastāstīt par pareizajiem http atbildes kodiem. Šķiet, ka tās ir arī lietas, par kurām jau ir runāts ne reizi vien. Pats http atbildes kods ir noteikts indeksēšanas robota lapas statuss.

1. http-200 - lapu var indeksēt un iespējot meklēšanu.
2. http-404 nozīmē, ka lapa ir izdzēsta.
3. http-301 — lapa ir novirzīta.
4. http-503 — īslaicīgi nav pieejams.

Kādas ir pareizā http kodu rīka izmantošanas priekšrocības:

1. Pirmkārt, jums nekad nebūs dažādas bojātas saites uz jūsu resursu, tas ir, tās saites, kas ved uz lapām, kuras neatbild ar atbildes kodu 200. Ja lapa neeksistē, tad robots sapratīs atbildes kodu 404.
2. Otrkārt, tas palīdzēs robotam ar plānošanu apiet patiešām nepieciešamās lapas, kas atbild ar 200 atbildes kodu.
3. Un, treškārt, tas ļaus izvairīties no dažādu atkritumu nonākšanas meklēšanas rezultātos.

Par to tikai nākamais ekrāns ir arī no prakses. Resursa un tehniskā darba nepieejamības laikā robots saņem stub ar http atbildes kodu 200. Tieši šādu aprakstu par šo stub redzat meklēšanas rezultātos.

Tā kā lapa atbild ar atbildes kodu 200, tie tiek atgriezti. Protams, lapas ar šādu saturu nevar atrast un parādīt nevienam pieprasījumam. Šajā gadījumā pareizais iestatījums būtu http atbilde 503. Ja lapa vai resurss īslaicīgi nav pieejams, šis atbildes kods neļaus lapas izslēgt no meklēšanas rezultātiem.

Šeit ir situācijas, kad jūsu svarīgās un nepieciešamās jūsu resursa lapas mūsu robotam kļūst nepieejamas, piemēram, viņi atbild ar kodu 503 vai 404 vai tā vietā atgriežas uz šo stublu.

Šādas situācijas var izsekot, izmantojot rīku "svarīgas lapas". Pievienojiet tai lapas, kas jūsu resursam nodrošina vislielāko trafiku. Iestatījumi paziņojumiem uz pastu un vai nu uz pakalpojumu, un jūs saņemsiet informāciju par to, kas notiek ar šo lapu. Kāds ir viņas atbildes kods, kāds ir viņas tituls, kad viņa tika apmeklēta un kāds ir viņas statuss meklēšanas rezultātos.

Varat pārbaudīt viena vai cita atbildes koda atgriešanas pareizību, izmantojot atbilstošo rīku Yandex Webmaster (šeit). Šajā gadījumā mēs pārbaudām neesošu lapu atbildes kodu. Es izdomāju lapu un iebraucu to rīkā, nospiedu pārbaudes pogu un saņēmu 404 atbildi.

Šeit viss ir kārtībā, jo lapa nebija pieejama, tā pareizi atbildēja ar 404 kodu un vairs netiks iekļauta meklēšanā. Rezultātā, lai ierobežotu robotu iespēju apmeklēt nevajadzīgas vietnes lapas, aktīvi izmantojiet apiešanas statistikas rīku, veiciet izmaiņas failā robots.txt un pārliecinieties, ka lapas atgriež pareizo http atbildes kodu.

- Summējot

Mēs iedevām robotam pareizo vietnes lapu ar saturu. Esam panākuši, ka tas tiek ātri indeksēts. Mēs aizliedzām robotam indeksēt nevajadzīgas lapas. Visas trīs no šīm lielajām uzdevumu grupām ir savstarpēji saistītas.. Tas ir, ja robots neaprobežojas tikai ar pakalpojumu lapu indeksēšanu, tad, visticamāk, tam būs mazāk laika indeksēt nepieciešamās vietnes lapas.

Ja robots nesaņem nepieciešamo lapu saturu pilnā apjomā, tas ātri neiekļaus šīs lapas meklēšanas rezultātos. Tas ir, jums ir jāstrādā pie sava resursa indeksēšanas kompleksā, veicot visus šos trīs uzdevumus. Un šajā gadījumā jūs gūsit zināmus panākumus, lai vēlamās lapas ātri nokļūtu meklēšanas rezultātos.

Yandex oficiālās atbildes

Lapas ar lielajiem burtiem tika iekļautas rādītājā, neskatoties uz to, ka vietnē šādas lapas nav. Ja lapas ir ar lielajiem burtiem, visticamāk, robots kaut kur internetā atrada saites uz tām. Vispirms pārbaudiet savu vietni, visticamāk, kaut kur internetā ir instalēta nepareiza saite. Atnāca robots, ieraudzīja to un sāka lejupielādēt lapu ar lielajiem burtiem. Viņiem šādām lapām labāk izmantot 301 novirzīšanu.

Vietnes kartei ir vairākas lapas — vai tas ir normāli? Ja mēs runājam par vietnes karti, tas ir, īpašu vietnes kartes formātu, kurā varat norādīt saites uz citiem vietnes kartes failiem, tas, protams, ir normāli.

Ja vietnes apakšā ievietosit saites uz visām kataloga sadaļām, kas tiek rādītas visās lapās, vai tas palīdzēs indeksēšanai vai kaitēs? Patiesībā jums tas nemaz nav jādara, tas ir, ja jūsu vietnes apmeklētājiem tas nav vajadzīgs, jums tas nav īpaši jāizveido. Pietiek ar vienkāršu vietnes kartes failu. Robots uzzinās par visu šo lapu klātbūtni, pievienos tās savai datubāzei.

Vai vietnes kartē ir jānorāda atjaunināšanas biežums? Vietnes kartes failu var izmantot, lai indeksēšanas robotam nodotu papildu informāciju. Papildus pašām adresēm mūsu robots saprot arī vēl dažus tagus. Pirmkārt, tas ir atjaunināšanas biežums, tas ir, atjaunināšanas biežums. Šī ir apiešanas prioritāte un datums pēdējās izmaiņas. Apstrādājot failu, tā ņem visu šo informāciju no vietnes kartes faila un pievieno to savai datubāzei un vēlāk izmanto, lai pielāgotu apiešanas politikas.

Vai ir iespējams iztikt bez vietnes kartes? Jā, pārliecinieties, vai jūsu vietnē ir caurspīdīga navigācija, lai jebkurā iekšējā lapā būtu pieejamas saites. Bet paturiet prātā, ka, ja šis ir jauns resurss (no autora: lasiet par jaunas vietnes palaišanu) un, piemēram, kāda lapa jūsu vietnē atrodas dziļi, piemēram, pēc 5-10 klikšķiem, tad robots prasīs daudz laika, lai uzzinātu par tā pieejamību. Vispirms lejupielādējiet mājas lapa vietni, iegūstiet saites, pēc tam atkal lejupielādējiet tās lapas, par kurām viņš uzzināja, un tā tālāk. Vietnes kartes fails ļauj vienlaikus pārsūtīt robotam informāciju par visām lapām.

Robots dienā veic 700 tūkstošus pieprasījumu pēc neesošām lapām. Vispirms jāsaprot, no kurienes tādas neesošas lapas radušās. Iespējams, relatīvās saites jūsu vietnē tiek izmantotas nepareizi vai kāda sadaļa tika neatgriezeniski noņemta no vietnes, un robots turpina pārbaudīt šādas lapas. Šādā gadījumā jums tie vienkārši jāatspējo failā robots.txt. 12 stundu laikā robots pārtrauks piekļuvi šādām lapām.

Ja pakalpojuma lapas ir indeksētas, kā es varu tās noņemt no meklēšanas. Izmantojiet arī failu robots.txt, lai noņemtu lapas no meklēšanas rezultātiem. Tas ir, nav svarīgi, vai aizliegumu iestatījāt vietnes izveides laikā vai resursa palaišanas laikā. Lapa nedēļas laikā pazudīs no meklēšanas rezultātiem.

Vai automātiski ģenerēta vietnes karte ir laba vai nē? Vairumā gadījumu visas vietņu kartes tiek ģenerētas automātiski, tāpēc varam teikt, ka tas, iespējams, ir labi. Jums nav jādara kaut kas ar savām rokām, un jūs varat pievērst uzmanību kaut kam citam.

Kā lapa tiks indeksēta, ja tā ir iestatīta kā kanoniska. Ja kanoniskais atribūts ved uz pašu lapu? Vai šī lapa tiek uzskatīta par kanonisku? Tas parasti tiks indeksēts un iekļauts meklēšanas rezultātos, tas ir, ir diezgan pareizi izmantot šo paņēmienu.

Ko nozīmē statuss “nekanonisks”? Z Lapa sākas ar kanonisko atribūtu kopu, kas novirza uz citu jūsu vietnes lapu. Tāpēc šo lapu meklēšanā nevar atrast. Atvērt avots lapās, veiciet meklēšanu, skatiet, kur ved kanoniskā lapa, un meklēšanā pārbaudiet kanonisko lapu.

Kas ir pareizāk, ja iepirkumu groza lapa tiek aizliegta failā robots.txt vai noindex? Ja lapa ir atspējota, izmantojot noindex metodi, robots to periodiski apmeklēs un pārbaudīs pieejamību šis aizliegums. Lai robots to nedarītu, labāk ir izmantot aizliegumu failā robots.txt.

Uz redzēšanos! Dariet visu un vienmēr emuāra vietnes lapās

Palīdziet projektam - abonējiet mūsu Yandex.Zen kanālu!