Gyors oldalindexelés. Gyors módja annak, hogy ellenőrizze az oldalak indexelését a Yandexben és a Google-ban. A helyes levél írása a Yandexnek

Ebből az anyagból megtudhatja:

• Mi az indexelés
• Webhely hozzáadása az adatbázishoz
• Hogyan lehet felgyorsítani az indexelést

Mi az indexelés?

Már meséltünk róla. Röviden, ezek a válaszok a felhasználói lekérdezésekre, amelyeket beírnak a keresőbe. Ha rákattint az „elefánt vásárlás” lehetőségre, olyan webhelyeket kap, amelyek nagy- és kiskereskedelmet kínálnak elefántokkal. A Yandex vagy a Google nem mutat műanyag ablakokat, és nem hív fel lányokat ilyen kérésekre. És most figyelem, a kérdés: minden webhely bekerül a keresési eredmények közé? Nem, nem mindenki. A keresőmotoroknak legalább tudniuk kell ennek az oldalnak a létezéséről és a rajta közzétett tartalomról. Hiszen hogyan lehet olyat mutatni, amiről senki sem tud? Ehhez weboldalak adatbázisai vannak. Röviden, egy webhely tartalommal való hozzáadása ehhez az adatbázishoz indexelésnek nevezzük. Hogyan működik az indexelés? A Yandex vagy a Google robot a saját algoritmusai szerint működik: információkat keres az Ön webhelyéről (ez az információ tartalmazza a legfontosabb cikkeket, szövegeket, fényképeket stb. - egyszóval az összes tartalom). Olyan, mint egy röntgen, végigpásztázza az oldal minden oldalát, elemzi, beszkenneli és hozzáadja a webhelyet az adatbázishoz. Mostantól megjelenik a keresési eredmények között, és válaszul a felhasználói lekérdezésekre. És hogy milyen pozíciókban - vezetőkben vagy kívülállókban - az attól függ, milyen tartalommal van betöltve. Természetesen a webhely indexelése egyszerűen szükséges. Amikor webhelyét kezdik látni a keresőmotorok, a látogatók felkeresik, és az oldal növekszik

Hogyan lehet webhelyet hozzáadni az adatbázishoz?

Tegyük fel, hogy Ön hozta létre a Mostbestsite.rf webhelyet. Természetesen a legjobb tartalommal töltöttük meg, és nagyon várjuk, hogy a csúcsra kerüljön. A webhely és a tartalom indexeléséhez és az adatbázisba való felvételéhez két módszert használhat.

1. Várja meg az önindexelést. Előbb-utóbb a robotok megtalálják webhelyét – ehhez csak aktív hivatkozásokat kell hagynia más forrásokból. Úgy gondolják, hogy minél több link van, annál gyorsabb lesz az indexelés.
2. Adjon hozzá egy webhelyet manuálisan egy speciális űrlap kitöltésével a keresőmotorban. Ott meg kell jeleznie egy linket az oldalra és rövid tájékoztatás róla. A Yandexben például ez a szolgáltatásban történikYandex webmester Az oldalon Új webhely bejelentése .

Ott, a Webmesterben, nyomon követheti azon kérések statisztikáit, amelyek a felhasználókat a webhelyére juttatják. A Google-ban is minden egyszerű – a link segítségével regisztrálhat egy webhelyetGoogle Webmesterközpont . Milyen gyors az indexelés? Nehéz pontos számokat mondani - ez a szerencsén múlik. De egy dolgot biztosan tudunk: a Yandex lassabban indexel, mint a Google. Voltak esetek, amikor az indexálás több hetet vett igénybe.

Hogyan lehet felgyorsítani az indexelést?

A keresőalgoritmusok kiszámíthatatlan dolgok, és mint már említettük, nincs pontos recept. Bevált módszereket tudunk ajánlani (lényegében ugyanazokat, amelyek befolyásolják a webhely promócióját a keresési eredmények között)

1. Egyedi tartalom, amelyet a keresőmotorok annyira szeretnek. Egy dolog: ha közzétett egy cikket egy webhelyen vagy blogon, és még nincs indexelve, akkor elméletileg bárki ellophatja és felteheti saját maga. Ha a cikket korábban indexelték egy másik webhelyen, akkor bajban van. Az Ön cikkét nem egyedinek tekintjük, versenytársa pedig nem marad el.
2. Világos webhelystruktúra. Kövesse a három kattintás szabályát: a főoldalról legfeljebb három kattintással juthat el minden oldalra. A kevesebb jó, a több jobb! Így megkönnyíti a keresőmotorok dolgát, amelyek nem csak a főoldalt, hanem más oldalakat is indexelnek.
3. A belső oldalakra való hivatkozás hasznos a látogatók és a robot számára egyaránt.
4. Bejegyzések sugárzása RSS-könyvtárakba. Minden bejegyzése RSS-könyvtárakba kerül, amelyekhez RSS-hírcsatornákat adunk. Ezek a hírcsatornák a blog- vagy webhelyfrissítésekre való feliratkozáshoz, hogy megkapja a legfrissebb e-maileket. Segítségükkel a kereső gyorsan megtalálja új cikkeit, és indexeli azokat.

Íme egy példa a sikeres indexelésre:

Egy héttel ezelőtt egy cikk jelent meg az egyik oldalon egy fegyverről VPO-213 . Erről a fegyverről gyakorlatilag nem volt információ az interneten - még nem jelent meg az értékesítésben. Csak egy rövid bemutató volt egy videóban a YouTube-on. Ennek megfelelően a szöveg teljesen egyedi volt, és szinte az egyetlen az interneten ebben a témában. Éjfél körül a szöveg megjelent az oldalon (nem is a főoldalon!), és rövid időn belül indexelésre került. Másnap reggel fél tízkor a cikk a harmadik helyen állt a Yandex keresési eredményei között. 9.50-kor ő lett az első, és továbbra is tartja ezt a pozíciót.

Általánosságban elmondható, hogy ha az erőforrásod jó, jól elkészített, akkor nem lehet probléma az indexelésével. Ha a webhely, bár nem 100%, megfelel a keresőmotorok követelményeinek - „az emberek számára”, akkor szívesen megnézik Önt, és indexel minden újat, ami hozzáadásra kerül.

De akárhogy is legyen, a webhely népszerűsítésének első lépése az, hogy hozzáadja a PS-indexhez. Amíg az erőforrás nincs indexelve, nagyjából nincs mit reklámozni, mert a keresőmotorok egyáltalán nem fognak tudni róla. Ezért ebben a cikkben megvizsgálom, hogy mi a webhelyindexelés a Yandexben, és hogyan kell elküldeni egy erőforrást az indexeléshez. Azt is elmondom, hogyan ellenőrizheti, hogy egy webhely vagy egy külön oldal szerepel-e a Yandex indexében, és mit kell tenni a Yandex indexelésének felgyorsítása érdekében.

Egy webhely indexelése a Yandexben robotok által feltérképezett keresőmotor webhelyének yandex-jét, és beírja az összes nyitott oldalt az adatbázisba. Az orosz keresőpók adatokat ad az adatbázishoz az oldalról: oldalait, képeit, videóit, kereshető dokumentumait. Ezenkívül a keresőbot olyan linkek és egyéb elemek indexelésével foglalkozik, amelyeket nem rejtenek el speciális címkék és fájlok.

Az erőforrások indexelésének fő módjai:

Kénytelen - egy speciális űrlapon keresztül be kell küldenie a webhelyet indexeléshez a Yandexnek.

Természetes - kereső pók képes önállóan megtalálni az Ön webhelyét azáltal, hogy a webhelyre mutató külső forrásokból elköltözik.

A webhely Yandexben való indexeléséhez szükséges idő mindenkinél eltérő, és néhány órától több hétig terjedhet.

Ez sok tényezőtől függ: milyen értékek vannak a Sitemap.xml fájlban, milyen gyakran töltődik ki az erőforrás, milyen gyakran jelennek meg a webhely említései más erőforrásokon. Az indexelési folyamat ciklikus, így a robot (majdnem) egyenlő időközönként érkezik hozzád. De hogy milyen gyakorisággal, az a fent említett tényezőktől és az adott robottól függ.

A pók indexelheti a teljes webhelyet (ha kicsi) vagy egy külön szakaszt (ez az online áruházakra vagy a médiára vonatkozik). A gyakran frissített forrásokon, például a média- és információs portálokon úgynevezett gyors robotok élnek a webhelyek gyors indexeléséhez a Yandexben.

Néha technikai problémák (vagy problémák a szerverrel) merülhetnek fel a projektben; ebben az esetben a webhely Yandex indexelése nem történik meg, ezért a keresőmotor a következő forgatókönyvet alkalmazhatja:

• azonnal dobja ki az indexeletlen oldalakat az adatbázisból;
• egy bizonyos idő elteltével újraindexelje az erőforrást;
• beállítja, hogy a nem indexelt oldalakat kizárja az adatbázisból, és ha nem találja meg az újraindexelés során, akkor kidobja az indexből.

Hogyan lehet felgyorsítani a webhelyindexelést a Yandexben

Hogyan lehet felgyorsítani az indexelést a Yandexben - gyakran Ismételt kérdés különböző webmesteri fórumokon. Valójában az egész webhely élettartama az indexeléstől függ: az erőforrás pozíciója a PS-ben, a tőlük érkező ügyfelek száma, a projekt népszerűsége, a nyereség végül.

Összeállítottam 10 módszert, amelyek remélem hasznosak lesznek az Ön számára. Az első öt szabvány az erőforrások állandó indexeléséhez, a következő öt pedig segít felgyorsítani webhelye indexelését a Yandexben:

Könyvjelző szolgáltatások;

RSS feed – biztosítja az új anyagok sugárzását az Ön erőforrásából az előfizetők e-mailjeibe és RSS-könyvtáraiba;

linkcsere - biztosítja a minőségi adományozóktól származó dofollow linkek számának stabil növekedését, ha megfelelően vannak kiválasztva (hogyan kell helyesen kiválasztani);

– ha még nem regisztrálta webhelyét a címtárakba, akkor azt tanácsolom, hogy tegye meg. Sokan azt mondják, hogy a könyvtárak már régen kihaltak, vagy a rajtuk való regisztráció megöli az oldalt – ez nem igaz. Pontosabban, nem a teljes igazság, ha az összes könyvtárban regisztrálsz egymás után, akkor az erőforrásod ezt csak szenvedni fogja. De a bizalom megfelelő kiválasztásával és a jó katalógusokkal kétségtelenül meglesz a hatás.

Webhelyindexelés ellenőrzése a Yandexben

• A webhely és az url operátorok. Ha ellenőrizni szeretné egy webhely indexelését a Yandexben, használhatja a szokásos keresőmotor-operátorokat ..biz. (Természetesen az én domainem helyett a tiéd)

  

• RDS sáv. Szerintem ez a legjobb és leggyorsabb módja annak, hogy ellenőrizze egy oldal indexelését a Yandexben. Ez a bővítmény minden népszerű böngészőre telepíthető, és azonnal elérhető lesz részletes információk a webhely oldalainak számáról az indexben és az abban található konkrét anyagokról. Ezzel a bővítménnyel nem vesztegeti az időt azzal, hogy manuálisan adja meg az URL-eket a szolgáltatásokban vagy a keresésekben. Általában ajánlom, az RDS sáv rendkívül kényelmes:
• Service Serphant. Egy többfunkciós erőforrás, amellyel elemezhet egy webhelyet: a webhelyek hatékonyságának felmérése és megfigyelése, a versenytársak oldalainak elemzése, a pozíciók ellenőrzése és a webhely indexelése. Az oldalindexelést ingyenesen ellenőrizheti a következő linken: https://serphunt.ru/indexing/. Köszönhetően a kötegelt ellenőrzésnek (akár 50 cím) és az eredmények nagy megbízhatóságának, véleményem szerint ez a szolgáltatás a legjobb három közé tartozik.

  

• XSEO szolgáltatás. Eszközkészlet webmesterek számára, az XSEO.in webhelyen megtekintheti a webhelyindexelést a Yandexben. Ezenkívül sok további hasznos információt kaphat az erőforrásáról:

  

• PR-CY és CY-PR szolgáltatások. Néhány további szolgáltatás, amely tájékoztatást nyújt az indexelt oldalak teljes számáról:

  

• Sitereport szolgáltatás. Kiváló szolgáltatás, amely rámutat az oldalon végzett munka minden hibájára. Ezen kívül van egy „Indexálás” szakasza is, ahol a webhely minden oldalára vonatkozó információk jelennek meg, jelezve, hogy indexelve van-e a Yandex és a Google keresőmotorjaiban. Ezért azt javaslom, hogy használja ezt az erőforrást a webhely problémáinak észlelésére és a Yandex tömeges indexelésének ellenőrzésére:

  

Létrehozott egy weboldalt, de nem találja a keresőkben? Nincs mit! Ebből az anyagból megtudhatja, hogyan lehet a lehető legrövidebb időn belül indexelni egy webhelyet a Yandexben és a Google-ban. Valószínűleg felesleges beszélni a keresőmotor indexébe való gyors bejutás előnyeiről. Hiszen bárki megérti, hogy minél hamarabb megjelenik a webhelye a keresési eredmények között, annál gyorsabban jelennek meg az új ügyfelek. És ahhoz, hogy ez működjön, be kell jutnia a kereső adatbázisába.

Mellesleg, a helyes megközelítésnek köszönhetően az oldalunkon található új anyagok meglehetősen jók, és ami a legfontosabb, mindig gyorsan indexelik a keresőmotorok. Lehetséges, hogy azután került erre az oldalra, hogy megfelelő kérést intézett hozzá kereső sáv. Térjünk át a szövegről a gyakorlatra.

Hogyan lehet megtudni, hogy egy webhely indexelt-e?

Az első dolog, amit meg kell tennie, hogy megtudja, hogy a webhelyet indexelték-e a keresőmotorok. Előfordulhat, hogy a webhely egyszerűen nincs a beírt lekérdezés keresésének első oldalán. Ezek nagy mennyiségű lekérdezések lehetnek, amelyeken dolgozni kell, hogy megjelenjenek SEO promóció, és nem csak egy webhely létrehozása és elindítása.

Tehát az ellenőrzéshez felkeressük az összes olyan keresőmotort, amelyhez van értelme ( Yandex, Google, Mail, Rambler) és a vonalhoz keresési lekérdezésírja be a webhely címét.

Ha az erőforrás még nincs indexelve, semmi nem jelenik meg a keresési eredmények között, vagy más webhelyek jelennek meg.

Hogyan lehet indexelni egy webhelyet a Yandexben?

Először is elmondjuk, hogyan kell indexelni egy webhelyet a Yandexben. Mielőtt azonban hozzáadná az erőforrást, ellenőrizze, hogy megfelelően működik-e, megfelelően nyílik-e meg minden eszközön, és csak azt tartalmazza-e egyedi tartalom. Például, ha a fejlesztési szakaszban ad hozzá egy webhelyet, egyszerűen a szűrő alá kerülhet - ez egyszer megtörtént velünk, és egy teljes hónapot kellett várnunk, hogy a Yandex megértse, hogy jó minőségű webhelyünk van, és feloldja a szankciókat. .

Ahhoz, hogy a Yandexet értesítse egy új webhelyről, meg kell adnia add hozzá a Yandex WebmasterhezÉs telepítse a Yandex Metricát, az első eszköz felelős További információ az erőforrásról ( régió, szerkezet, gyorshivatkozások) és hogyan néz ki a webhely az organikus eredmények között, a második a webhelyen történő adatgyűjtésre ( jelenlét, viselkedés stb.), ami tapasztalataink szerint az oldal indexelését és a keresésben elfoglalt pozícióját is befolyásolja. Ezenkívül mindenképpen készítsen webhelytérképet, és jelezze azt a webmesterek panelen.

Hogyan lehet indexelni egy webhelyet a Google-ban?

Leggyakrabban a Google maga gyorsan talál új webhelyeket, és behelyezi őket a keresésbe, de túlságosan elbizakodottság arra várni, hogy a Google eljöjjön, és elvégezze helyettünk az összes munkát, ezért nézzük meg, hogyan indexeljünk egy webhelyet a Google-ban.

A webhelyek hozzáadása után át kell mennie 3-tól 7 napig, mielőtt a keresőmotorok frissítik az adatokat és indexelnék a webhelyet.

Mindig azt szeretné, ha az új weboldalak a lehető leggyorsabban megjelennének a keresési eredmények között, és ehhez több titkos (és nagyon egyszerű) módszer is létezik a weboldalak indexelésének felgyorsítására a keresőkben.

3. A 2. bekezdésben leírt manipuláció végrehajtásához, csak a Google keresőmotor számára, lépjen a Search Console oldalra. Válassza a "Szkennelés" lehetőséget és „Láss úgy, mint a Googlebot”-adja hozzá az új oldal címét, majd kattintson a „Crawn” gombra, ezután kérünk indexelést.

Webhelyindexelési elemzés

Összefoglalva, meg kell jegyezni, hogy még a webhely keresőmotorokban való sikeres indexelése után sem ér véget a munka. Rendszeresen elemezni kell a webhely indexelését, valamint el kell távolítani a pozíciókat a népszerű lekérdezésekhez. Ez lehetővé teszi, hogy a pulzuson tartsa az ujját, és ne kerüljön olyan helyzetbe, amikor az organikus keresési eredményekből származó forgalom jelentős része egyszerűen eltűnt.

Ez sok régi webhelyen történt, amelyek a megjelenés után régi promóciós módszereket használtak Yandex algoritmus Baden-Baden. A Yandex ugyanakkor előre bejelentette, hogy elindítja ezt az algoritmust, és a túloptimalizált oldalakat kizárják a keresésből, miközben a Google soha nem számol be új algoritmusok megjelenéséről. Ezért csak a fáradhatatlan megfigyelés teszi lehetővé, hogy témavezető maradj vagy válj belőle!

A Google segítségével minden nagyon egyszerű. Hozzá kell adnia webhelyét a Webmestereszközökhöz a címen https://www.google.com/webmasters/tools/, majd válassza ki a hozzáadott webhelyet, így bejutva webhelye Search Console-jába. Ezután a bal oldali menüben válassza ki a „Szkennelés” részt, és abban a „Megtekintés Googlebotként” elemet.

A megnyíló oldalon az üres mezőbe írja be a gyorsan indexelni kívánt új oldal címét (figyelembe véve az oldal már megadott domain nevét), majd kattintson a jobb oldalon található „Feltérképezés” gombra. Megvárjuk, amíg az oldal beolvasásra kerül, és megjelenik a korábban hasonló módon szkennelt címek táblázatának tetején. Ezután kattintson a „Hozzáadás az indexhez” gombra.

Hurrá, új oldalát azonnal indexeli a Google! Néhány percen belül megtalálhatja a Google keresési eredményei között.

Az oldalak gyors indexelése a Yandexben

BAN BEN új verzió elérhetővé váltak a webmestereszközök hasonló eszközúj oldalak hozzáadásához az indexhez. Ennek megfelelően webhelyét először hozzá kell adni a Yandex Webmasterhez. Úgy is eljuthat oda, hogy kiválasztja a kívánt webhelyet a webmesterben, majd lépjen az „Indexelés” részre, és válassza az „Oldal újrafeltérképezése” elemet. A megnyíló ablakban adja meg azoknak az új oldalaknak a címét, amelyeket gyorsan indexelni akarunk (egy sorban található hivatkozáson keresztül).

A Google-lal ellentétben a Yandex indexelése még nem történik meg azonnal, de igyekszik törekedni rá. A fenti műveletek segítségével tájékoztatja a Yandex robotot arról új oldal. És fél-egy órán belül indexelve lesz – ezt mutatják személyes tapasztalataim. Talán az oldalindexelés sebessége a Yandexben számos paramétertől függ (a domain, a fiók és/vagy mások hírnevétől). A legtöbb esetben itt meg lehet állni.

Ha azt látja, hogy webhelyének oldalait rosszul indexeli a Yandex, azaz számos általános ajánlás létezik ennek kezelésére:

• A legjobb, de egyben nehéz javaslat az, hogy telepítse a Yandex Quickbotot webhelyére. Ehhez célszerű minden nap friss anyagokat felvinni az oldalra. Lehetőleg 2-3 vagy több anyag. Sőt, ne egyszerre, hanem egy idő után adja hozzá őket, például reggel, délután és este. Még jobb lenne, ha megközelítőleg ugyanazt a közzétételi ütemtervet tartaná fenn (az új anyagok hozzáadásához körülbelül ugyanannyi időt). Ezenkívül sokan azt javasolják, hogy hozzon létre RSS-hírcsatornát a webhelyéhez keresőrobotok közvetlenül olvashatja a frissítéseket.
• Természetesen nem mindenki tud új anyagokat hozzáadni az oldalhoz ilyen mennyiségben - jó, ha hetente 2-3 anyagot tud hozzáadni. Ebben az esetben nem igazán álmodhat a Yandex sebességéről, de próbáljon meg más módon új oldalakat bevinni az indexbe. A leghatékonyabbnak az új oldalakra mutató linkek közzététele tekinthető frissített Twitter-fiókokhoz. Használva speciális programok a Twidium Accounterhez hasonlóan „felpumpálhatja” a szükséges Twitter fiókokat, és segítségükkel gyorsan beillesztheti az új oldalakat a keresőmotor indexébe. Ha nincs lehetősége saját maga közzétenni frissített Twitter-fiókjaira mutató linkeket, speciális csereprogramokon keresztül vásárolhat ilyen bejegyzéseket. Egy bejegyzés a linkkel átlagosan 3-4 rubelbe és többe kerül (a kiválasztott fiók erősségétől függően). De ez a lehetőség meglehetősen drága lesz.
• A harmadik lehetőség a gyors indexelésre a http://getbot.guru/ szolgáltatás használata, amely mindössze 3 rubelért segít elérni a kívánt hatást az eredmény garantálásával. Kiválóan alkalmas olyan webhelyekhez, ahol ritka az új kiadványok hozzáadása. Vannak olcsóbb árak is. Részleteiket és különbségeiket érdemesebb megnézni magának a szolgáltatásnak a honlapján. Személy szerint nagyon elégedett vagyok ennek a szolgáltatásnak, mint indexelési gyorsítónak.

Természetesen új bejegyzéseket is felvehet a közösségi könyvjelzők közé, ami elméletileg szintén segíti az oldal gyors indexelését. De egy ilyen kiegészítés hatékonysága a fiókok szintjétől is függ. Ha kevés tevékenységed van velük, és csak ilyen spamre használod a fiókokat, akkor gyakorlatilag nem lesz hasznos kimenet.

P.S. nagy tapasztalattal mindig fontos - keressen minket!

Sziasztok, a webhely kedves olvasói. Ma elmondom, hogyan lehet megtalálni és megjavítani lehetséges problémákat a webhely indexelésével. Nézzünk három fő pontot.

1. A robotnak indexelnie kell a webhely szükséges oldalait;
2. Ezeket az oldalakat gyorsan indexelni kell;
3. A robot ne keresse fel a webhely felesleges oldalait;

Az egész nagyon egyszerűnek tűnik. Valójában azonban a legtöbb webmester ugyanezekkel a problémákkal szembesül az indexelés beállításakor. Nézzük meg őket alaposan.

Jelenleg a legtöbb esetben, ha arról beszélünk egy új webhelyoldalról a keresési eredmények között, néhány tíz percen belül megjelenik. Ha már indexelt oldalakról beszélünk, akkor ez 3-5 nap.

Ennek eredményeként annak érdekében, hogy webhelyét gyorsan meglátogassa, emlékeznie kell három szabályra:

1. Először is rendelkeznie kell egy megfelelő és rendszeresen frissített webhelytérkép-fájllal;
2. Másodszor, ne használja a Crawl-delay utasítást csak akkor, ha úgy érzi. Most mindenképpen nyissa meg a robots.txt fájlt, és ellenőrizze, hogy létezik-e ilyen utasítás. Ha telepítve van, gondolja át, hogy valóban szüksége van-e rá.
3. Harmadszor, használja az "oldal feltérképezését" annak érdekében, hogy a robot egy új fontos oldallal felkeresse webhelye legfontosabb oldalait.

Megszabadítjuk a robotot a felesleges weboldalaktól

Amikor egy robot elkezdi felkeresni az erőforrást, ez gyakran nem mindig van pozitív hatással az indexelésre jó oldalak webhely. Képzeljünk el egy helyzetet, mondjuk egy robot másodpercenként 5 kérést küld az erőforrásodnak. Kitűnő eredménynek tűnik, de mi értelme van ennek a másodpercenkénti öt látogatásnak, ha mindegyik az Ön webhelyének szolgáltatási oldalaira vonatkozik, vagy ismétlődik, és a robot nem figyel az igazán fontos oldalakra. Ez a következő szakaszunk arról szól, hogyan ne indexeljük a felesleges oldalakat.

1. A Yandex webmesteri szakaszát és a feltérképezési statisztikákat használjuk
2. Megkapjuk azon oldalak címét, amelyeket a robotnak nem szabad indexelnie
3. A megfelelő robots.txt fájl fordítása

Vessünk egy pillantást a Feltérképezési statisztika eszközre, így néz ki. Itt vannak grafikonok is. Szeretnénk kicsit lefelé görgetni az oldalt az „összes oldal” gomb segítségével. Mindent látni fog, amit a robot az elmúlt napokban meglátogatott.

Ezen oldalak között, ha vannak szolgáltatási oldalak, akkor azokat le kell tiltani a robots.txt fájlban. Nézzük pontról pontra, hogy pontosan mit kell tiltani.

1. Először is, ahogy korábban mondtam, oldalak szűrése, az áruk kiválasztását, a válogatást meg kell tiltani a robots.txt fájlban.
2. Másodszor, határozottan tiltjuk különféle akcióoldalak. Például hozzáadni az összehasonlításhoz, hozzáadni a kedvencekhez, kosárba tenni. Tiltjuk a kosárral ellátott oldalt is.
3. Harmadszor, megtiltjuk a megkerülést minden szervizszakasz például a webhelyen történő keresés, az erőforrás felügyeleti panelje, a felhasználói adatokat tartalmazó szakaszok. Például a kézbesítési információk, telefonszámok stb. szintén tilosak a robots.txt fájlban.
4. ÉS azonosító oldalak, például az utm címkék feltérképezését is meg kell tiltani a robots.txt fájlban a Clean-param direktíva használatával.

Ha azzal a kérdéssel szembesül, hogy le kell-e zárni ezt az oldalt, vagy meg kell-e nyitni az oldalt feltérképezésre, válaszoljon magának egy egyszerű kérdésre: kell a felhasználóknak ez az oldal? keresőmotor? Ha ezen az oldalon nem kell lekérdezéseket keresni, akkor letiltható.

És egy kis gyakorlati eset, remélem motiválni fog. Nézze, az egyik erőforráson a robot napi több ezer hívást indít átirányítással rendelkező oldalakra. Valójában az átirányítási oldalakat a kosár oldalakhoz adták.

Módosítjuk a robots.txt fájlt, és a grafikonon látható, hogy gyakorlatilag megszűnt a hozzáférés az ilyen oldalakhoz. Ugyanakkor az azonnali pozitív dinamika - a szükséges oldalak megkerülése ezen a sztyeppei oldalon a 200-as kóddal meredeken nőtt.

- Ismétlődő oldalak a webhelyen, hogyan lehet megtalálni őket, és mit kell tenni velük

És itt egy másik veszély vár rád - ez duplikált oldalak. Másolatok alatt egy weboldal több olyan oldalát értjük, amelyek különböző címeken érhetők el, ugyanakkor teljesen azonos tartalmat tartalmaznak. Az ismétlődések fő veszélye, hogy ha jelen vannak, megváltozhatnak a keresési eredmények között. Előfordulhat, hogy egy oldal olyan címre kerül, amelyre nincs szüksége, és versenyezhet az Ön által hirdetett főoldallal bizonyos kérésekért. Ráadásul az ismétlődő oldalak nagy száma megnehezíti az indexelő robot számára a webhely feltérképezését. Általában sok problémát okoznak.

Úgy gondolom, hogy szinte minden webmester biztos abban, hogy a webhelyén nincsenek ismétlődő oldalak. Szeretnélek egy kicsit felzaklatni. Valójában a RuNet szinte minden webhelyén vannak ismétlődések. ? Erről van egy részletes cikkem, melynek elolvasása után egyetlen kérdésed sem marad.

- A szerver válaszkódjának ellenőrzése

A robots.txt fájlon kívül a helyes http válaszkódokról is szeretnék tájékoztatást adni. Olyan dolgoknak is tűnik, amelyeket már sokszor elhangzottak. Maga a HTTP-válaszkód az oldal bizonyos állapota az indexelő robot számára.

1. http-200 - az oldal indexelhető és a keresés engedélyezhető.
2. A http-404 azt jelenti, hogy az oldalt törölték.
3. http-301 – az oldal átirányítva.
4. http-503 – átmenetileg nem elérhető.

Mi az előnye az eszköz használatának a helyes http kódokhoz:

1. Először is, soha nem lesznek különféle hibás hivatkozások az erőforrására, vagyis azok a linkek, amelyek olyan oldalakra vezetnek, amelyek nem válaszolnak 200-as válaszkóddal. Ha az oldal nem létezik, akkor a 404-es válaszkód azt jelenti, hogy a robot megérti ezt .
2. Másodszor, segít a robotnak megtervezni a valóban szükséges oldalak feltérképezését, amelyek 200-as válaszkóddal válaszolnak.
3. Harmadszor pedig lehetővé teszi, hogy elkerülje, hogy különféle típusú szemét kerüljön a keresési eredmények közé.

A következő screenshot pontosan erről szól, szintén gyakorlatból. Ha egy erőforrás nem elérhető, és műszaki munka folyik, a robot egy 200-as http válaszkóddal rendelkező csonkot kap. Pontosan ez a csonk leírása látható a keresési eredmények között.

Mivel az oldal 200-as válaszkóddal válaszol, visszaküldik őket. Természetesen az ilyen tartalmú oldalak nem találhatók meg és nem jeleníthetők meg kérésre. Ebben az esetben a helyes beállítás egy 503-as HTTP-válasz lenne. Ha egy oldal vagy erőforrás átmenetileg nem érhető el, ez a válaszkód elkerüli az oldalak keresési eredményekből való kizárását.

Ezek olyan helyzetek, amikor az Ön erőforrásának fontos és szükséges oldalai elérhetetlenné válnak robotunk számára, például 503-as vagy 404-es kóddal válaszolnak, vagy ehelyett visszakerülnek ehhez a csonkhoz.

Az ilyen helyzetek nyomon követhetők az eszköz segítségével "fontos oldalak". Adja hozzá azokat az oldalakat, amelyek a legnagyobb forgalmat hozzák az erőforráshoz. Állítson be értesítéseket e-mailben vagy a szolgáltatásban, és tájékoztatást kap arról, hogy mi történik ezzel az oldallal. Mi a válaszkódja, mi a címe, mikor látogatták meg és mi a státusza a keresési eredmények között.

Egy adott válaszkód visszaküldésének helyességét a Yandex Webmaster megfelelő eszközével ellenőrizheti (itt). Ebben az esetben ellenőrizzük a nem létező oldalak válaszkódját. Előállítottam egy oldalt és betettem az eszközbe, rákattintottam az ellenőrzés gombra, és 404-es választ kaptam.

Itt minden rendben van, mivel az oldal nem volt elérhető, helyesen válaszolt a 404-es kóddal, és a továbbiakban nem kerül be a keresésbe. Ennek eredményeként annak érdekében, hogy a robotok ne látogassák meg a webhely szükségtelen oldalait, aktívan használja a feltérképezési statisztikai eszközt, módosítsa a robots.txt fájlt, és győződjön meg arról, hogy az oldalak a helyes http válaszkódot adják vissza.

- Foglaljuk össze

Megadtuk a robotnak a megfelelő oldalakat tartalommal. Biztosítottuk, hogy gyorsan indexeljük. Megtiltottuk a robotnak a felesleges oldalak indexelését. Mindhárom nagy feladatcsoport összefügg egymással. Vagyis ha nem korlátozza a robotot a szolgáltatási oldalak indexelésében, akkor valószínűleg kevesebb ideje lesz a webhely szükséges oldalainak indexelésére.

Ha a robot nem kapja meg maradéktalanul a kívánt oldalak tartalmát, akkor ezeket az oldalakat nem fogja gyorsan bekerülni a keresési eredmények közé. Ez azt jelenti, hogy az erőforrások komplex indexelésével kell foglalkoznia, mind a három feladaton. És ebben az esetben bizonyos sikereket fog elérni annak érdekében, hogy a szükséges oldalak gyorsan megjelenjenek a keresési eredmények között.

Hivatalos Yandex válaszok

Az indexben az oldalak nagybetűvel szerepeltek, bár az oldal nem tartalmaz ilyen oldalakat. Ha az oldalak nagybetűsek, a robot valószínűleg talált rájuk mutató hivatkozásokat valahol az interneten. Először ellenőrizze a webhelyét, valószínűleg helytelen hivatkozás található valahol az interneten. Jött a robot, meglátta és elkezdte letölteni az oldalt nagybetűvel. Számukra az ilyen oldalakhoz jobb a 301-es átirányítás használata.

A webhelytérkép több oldalt tartalmaz – ez normális? Ha oldaltérképről beszélünk, akkor van egy speciális oldaltérkép formátum, amelyben megadhat hivatkozásokat más oldaltérkép fájlokhoz, akkor ez természetesen normális.

Ha a katalógus összes szakaszára mutató hivatkozásokat helyez el a webhely alján, amely minden oldalon megjelenik, ez segít az indexelésben, vagy árt neki? Valójában ezt egyáltalán nem kell megtenned, vagyis ha a weboldalad látogatóidnak nincs rá szükségük, akkor nem kell konkrétan hozzáadnod. Elég egy oldaltérkép fájl. A robot megtudja ezen oldalak jelenlétét, és hozzáadja őket az adatbázisához.

Fel kell tüntetnem a frissítés gyakoriságát az oldaltérképen? Az oldaltérkép-fájl segítségével további információkkal szolgálhat az indexelő robot számára. Robotunk a címeken kívül még több címkét is megért. Először is ez a frissítés gyakorisága, vagyis a frissítések gyakorisága. Ez a feltérképezési prioritás és dátum utolsó változtatás. Mindezeket az információkat a webhelytérkép fájlból veszi a fájl feldolgozása során, hozzáadja az adatbázisához, majd később felhasználja a feltérképezési szabályzatok módosítására.

Lehetséges oldaltérkép nélkül? Igen, győződjön meg róla, hogy webhelye egyértelmű navigációval rendelkezik, és elérhető linkekkel bármely belső oldalra vezet. De ne feledje, hogy ha ez egy új forrás (a szerzőtől: olvassa el, hogyan lehet új webhelyet indítani), és például egy oldal a webhely mélyén található, például 5-10 kattintásnyira, akkor a A robotnak sok időre lesz szüksége, hogy megtudja a rendelkezésre állását. Első letöltés kezdőlap webhelyet, szerezzen hivatkozásokat, majd töltse le újra azokat az oldalakat, amelyekről megismert, és így tovább. Az oldaltérképfájl lehetővé teszi, hogy az összes oldalról egyszerre információt vigyen át a robotnak.

A robot naponta 700 ezer kérést intéz nem létező oldalakra. Először is meg kell értened, honnan jöttek az ilyen nem létező oldalak. Lehetséges, hogy a relatív hivatkozásokat helytelenül használják az Ön webhelyén, vagy bizonyos szakaszokat teljesen eltávolítottak az oldalról, és a robot továbbra is ellenőrzi az ilyen oldalakat. Ebben az esetben egyszerűen le kell tiltania őket a robots.txt fájlban. 12 órán belül a robot leállítja az ilyen oldalak elérését.

Ha a szolgáltatási oldalak indexelve vannak, hogyan távolíthatja el őket a keresésből. Ha oldalakat szeretne eltávolítani a keresési eredmények közül, használja a robots.txt fájlt is. Vagyis nem mindegy, hogy a tiltást a webhely létrehozásakor vagy az erőforrás elindításakor állította be. Az oldal egy héten belül eltűnik a keresési eredmények közül.

Egy automatikusan generált oldaltérkép jó vagy sem? A legtöbb esetben az összes oldaltérkép automatikusan generálódik, így azt mondhatjuk, hogy ez valószínűleg jó. Nem kell semmit tennie a kezével, és másra is fordíthatja a figyelmét.

Hogyan lesz indexelve az oldal, ha saját magának kanonikussá teszi. Ha a kanonikus attribútum ugyanarra az oldalra vezet? Ez az oldal kanonikusnak minősül? Megfelelően indexelve lesz, és szerepel a keresési eredményekben, vagyis ennek a technikának a használata meglehetősen helyes.

Mit jelent a „nem kanonikus” állapot? Z A gyűjtőattribútum azon az oldalon van beállítva, amely egy másik oldalra vezet a webhelyen. Ezért ez az oldal nem fog tudni beszállni a keresésbe. Nyisd ki forrás oldalakat, végezzen keresést, nézze meg, hová vezet a kanonikus oldal, és ellenőrizze a kanonikus oldalt a keresésben.

Mi a helyesebb, ha egy kosároldalt kitiltunk a robots.txt vagy a noindex fájlban? Ha egy oldal le van tiltva a noindex módszerrel, a robot rendszeresen felkeresi, és ellenőrzi ezt a tiltást. Annak megakadályozására, hogy a robot ezt tegye, jobb, ha tiltást használ a robots.txt fájlban.

Találkozunk! Kövess mindenről és mindig a blog oldalain

Segíts a projektben - iratkozz fel Yandex.Zen csatornánkra!