Hızlı sayfa indeksleme. Yandex ve Google'daki sayfaların indekslenmesini kontrol etmenin hızlı bir yolu. Yandex'e doğru mektubu yazmak

Bu materyalden şunları öğreneceksiniz:

• İndeksleme nedir
• Veritabanına site nasıl eklenir
• İndeksleme nasıl hızlandırılır

İndeksleme nedir?

Size daha önce bahsetmiştik. Kısacası bunlar, kullanıcıların bir arama motoruna yazdıkları sorgulara verilen yanıtlardır. “Fil satın al” seçeneğine tıklarsanız, toptan ve perakende fil sunan sitelere ulaşırsınız. Yandex veya Google bu tür istekler için plastik pencereler göstermeyecek veya kızları aramayacak. Şimdi şu soruya dikkat edin: Her site arama sonuçlarına giriyor mu? Hayır, herkes değil. Arama motorlarının en azından bu sitenin varlığından ve burada yayınlanan içerikten haberdar olması gerekir. Sonuçta kimsenin bilmediği bir şeyi nasıl gösterebilirsin? Bunun için web sitesi veritabanları var. Kısaca bir sitenin içeriğinin bu veritabanına eklenmesine indeksleme denir. İndeksleme nasıl çalışır? Yandex veya Google robotu kendi algoritmalarına göre çalışır: siteniz hakkında bilgi arar (bu bilgiler arasında önemli makaleler, metinler, fotoğraflar vb. - tek kelimeyle tüm içerik bulunur). Röntgen gibidir, sitenin her sayfasını tarar, analiz eder, tarar ve sitenizi veritabanına ekler. Artık arama sonuçlarında görüntülenecek ve kullanıcı sorgularına yanıt olarak gösterilecek. Ve hangi pozisyonlarda - liderler veya yabancılar - doldurulduğu içeriğe bağlıdır. Tabii ki, sitenin indekslenmesi basitçe gereklidir. Siteniz arama motorları tarafından görülmeye başladığında ziyaretçi gelir ve siteniz büyür

Veritabanına site nasıl eklenir?

Diyelim ki Mostbestsite.rf web sitesini oluşturdunuz. Elbette onu en iyi içerikle doldurduk ve zirveye ulaşmasını sabırsızlıkla bekliyoruz. Sitenin ve içeriğinin indekslenmesi ve veritabanına dahil edilmesi için iki yöntem kullanabilirsiniz.

1. Kendi kendine indekslemeyi bekleyin. Er ya da geç robotlar sitenizi bulacaktır - bunu yapmak için diğer kaynaklardan sitenize aktif bağlantılar bırakmanız yeterlidir. Ne kadar çok bağlantı varsa indekslemenin o kadar hızlı olacağına inanılıyor.
2. Arama motorunda özel bir form doldurarak siteyi manuel olarak ekleyin. Orada siteye bir bağlantı belirtmeniz gerekiyor ve kısa bilgi onun hakkında. Örneğin Yandex'de bu hizmette yapılırYandex Web Yöneticisi Sayfada Yeni bir siteyi bildirme .

Orada, Web Yöneticisi'nde, kullanıcıları sitenize getiren isteklerin istatistiklerini izleyebilirsiniz. Google'da da her şey basit - bağlantıyı kullanarak bir siteye kaydolabilirsinizGoogle Web Yöneticisi Merkezi . İndeksleme ne kadar hızlı? Kesin rakamları söylemek zor; bu şansınıza bağlı. Ancak bir şeyi kesin olarak biliyoruz: Yandex, Google'dan daha yavaş indeksliyor. Endekslemenin birkaç hafta sürdüğü durumlar vardı.

İndeksleme nasıl hızlandırılır?

Arama motoru algoritmaları tahmin edilemez bir şeydir ve daha önce de belirtildiği gibi kesin bir tarif yoktur. Kanıtlanmış yöntemler önerebiliriz (temel olarak arama sonuçlarında web sitesinin tanıtımını etkileyen yöntemlerin aynıları)

1. Arama motorlarının çok sevdiği benzersiz içerikler. Bir şey var: Bir web sitesinde veya blogda bir makale yayınladıysanız ve henüz dizine eklenmemişse, teorik olarak herkes onu çalıp kendi başına yayınlayabilir. Makale daha önce başka bir sitede indekslenmişse başınız dertte demektir. Makaleniz benzersiz sayılmayacak ve rakibiniz karanlıkta kalacaktır.
2. Site yapısını temizleyin. Üç tıklama kuralını izleyin: Ana sayfadaki her sayfaya en fazla üç tıklamayla ulaşabilirsiniz. Daha azı iyidir, daha fazlası daha iyidir! Bu şekilde, yalnızca ana sayfayı değil diğer sayfaları da dizine ekleyen arama motorlarının işini kolaylaştıracaksınız.
3. Dahili sayfalara bağlantı vermek hem ziyaretçiler hem de robot için faydalıdır.
4. Gönderileri RSS dizinlerine yayınlama. Tüm gönderileriniz, RSS beslemelerinin eklendiği RSS dizinlerinde kopyalanacaktır. Bunlar, e-postanızda en son haberleri alabilmeniz için blog veya web sitesi güncellemelerine abone olmanıza yönelik yayınlardır. Onların yardımıyla arama motoru yeni makalelerinizi hızla bulacak ve dizine ekleyecektir.

İşte başarılı indekslemeye bir örnek:

Bir hafta önce sitelerden birinde silahla ilgili bir makale çıktı VPO-213 . İnternette bu silah hakkında neredeyse hiçbir bilgi yoktu - henüz satışa çıkmamıştı. YouTube'daki bir videoda sadece kısa bir sunum vardı. Buna göre metin tamamen benzersizdi ve internette bu konuyla ilgili neredeyse tek metindi. Gece yarısına doğru metin sitede yayınlandı (ana sayfada bile değil!) ve kısa sürede indekslendi. Ertesi gün sabah saat dokuz buçukta makale Yandex arama sonuçlarında üçüncü sırada yer aldı. Saat 9.50'de birinci oldu ve halen bu görevini sürdürüyor.

Genel olarak, kaynağınız iyiyse, iyi hazırlanmışsa, indekslenmesinde herhangi bir sorun yaşanmayacaktır. Site,% 100 olmasa da, arama motorlarının "insanlar için" gereksinimlerini karşılıyorsa, o zaman size bakmaktan ve eklenecek yeni her şeyi dizine eklemekten mutluluk duyacaklardır.

Ancak öyle de olsa, bir siteyi tanıtmanın ilk adımı onu PS dizinine eklemektir. Kaynak dizine eklenene kadar genel olarak tanıtılacak hiçbir şey yoktur çünkü arama motorları bunu hiçbir şekilde bilmeyecektir. Bu nedenle bu yazıda Yandex'de site indekslemenin ne olduğuna ve indeksleme için bir kaynağın nasıl gönderileceğine bakacağım. Ayrıca bir sitenin veya ayrı bir sayfanın Yandex dizinine dahil olup olmadığını nasıl kontrol edeceğinizi ve Yandex tarafından indekslemeyi hızlandırmak için ne yapmanız gerektiğini de anlatacağım.

Yandex'de bir sitenin indekslenmesi robotlar tarafından taranıyor arama motoru web sitenizin yandex'i ve tüm açık sayfaların veritabanına girilmesi. Rus arama motoru örümceği, site hakkındaki verileri veritabanına ekler: aranabilir sayfaları, resimleri, videoları, belgeleri. Ayrıca, arama botu, özel etiketler ve dosyalar tarafından gizlenmeyen bağlantıları ve diğer öğeleri indekslemekle meşgul.

Bir kaynağı indekslemenin ana yolları:

Zorunlu - siteyi indekslenmesi için özel bir form aracılığıyla Yandex'e göndermelisiniz.

Doğal - arama örümceği web sitesine bağlantı veren dış kaynaklardan hareket ederek web sitenizi bağımsız olarak bulmayı başarır.

Bir sitenin Yandex'de indekslenmesi için gereken süre herkes için farklıdır ve birkaç saatten birkaç haftaya kadar değişebilir.

Bu, birçok faktöre bağlıdır: Sitemap.xml'de hangi değerler bulunur, kaynağın ne sıklıkta doldurulduğu, siteden söz edilenlerin diğer kaynaklarda ne sıklıkta göründüğü. İndeksleme süreci döngüsel olduğundan robot (neredeyse) eşit zaman aralıklarında yanınıza gelecektir. Ancak hangi sıklıkta yukarıda belirtilen faktörlere ve belirli robota bağlıdır.

Örümcek, web sitesinin tamamını (küçükse) veya ayrı bir bölümü (bu, çevrimiçi mağazalar veya medya için geçerlidir) dizine ekleyebilir. Medya ve bilgi portalları gibi sık güncellenen kaynaklarda, Yandex'de hızlı site indeksleme için hızlı robotlar olarak adlandırılan canlı robotlar bulunmaktadır.

Bazen projede teknik sorunlar (veya sunucuyla ilgili sorunlar) ortaya çıkabilir; bu durumda sitenin Yandex indekslenmesi gerçekleşmez, bu nedenle arama motoru aşağıdaki senaryoya başvurabilir:

• indekslenmemiş sayfaları derhal veritabanından atın;
• belirli bir süre sonra kaynağı yeniden indeksleyin;
• indekslenmemiş sayfaları veritabanından çıkarılacak şekilde ayarlar ve yeniden indeksleme sırasında bunları bulamazsa indeksin dışına atılır.

Yandex'de site indeksleme nasıl hızlandırılır

Yandex'de indeksleme nasıl hızlandırılır - Sıkça sorulan soruçeşitli web yöneticisi forumlarında. Aslında, tüm sitenin ömrü indekslemeye bağlıdır: kaynağın PS'deki konumu, onlardan gelen müşteri sayısı, projenin popülaritesi, sonuçta kâr.

Sizlere faydalı olacağını umduğum 10 yöntem hazırladım. İlk beşi bir kaynağın sürekli indekslenmesi için standarttır ve sonraki beşi sitenizin Yandex'de indekslenmesini hızlandırmanıza yardımcı olacaktır:

yer imi hizmetleri;

RSS beslemesi – kaynağınızdaki yeni materyallerin abonelerin e-postalarına ve RSS dizinlerine yayınlanmasını sağlayacaktır;

bağlantı değişimleri - eğer doğru seçilirlerse (doğru şekilde nasıl seçilir); kaliteli bağışçılardan gelen dofollow bağlantılarında istikrarlı bir artış sağlayacaktır;

– Sitenizi henüz dizinlere kaydetmediyseniz bunu yapmanızı tavsiye ederim. Birçok kişi, dizinlerin uzun zaman önce öldüğünü veya bunlara kaydolmanın bir siteyi yok edeceğini söylüyor - bu doğru değil. Daha doğrusu, bu tam bir gerçek değil, tüm dizinlere arka arkaya kaydolursanız, o zaman aslında kaynağınız yalnızca bundan zarar görecektir. Ancak doğru güven seçimi ve iyi kataloglarla etki şüphesiz olacaktır.

Yandex'de site indekslemeyi kontrol etme

• Site ve url operatörleri. Yandex'de bir sitenin indekslenmesini kontrol etmek istiyorsanız standart arama motoru operatörlerini ..biz kullanabilirsiniz. (Doğal olarak benim alanım yerine sizinki)

  

• RDS çubuğu. Bunun Yandex'de bir sayfanın indekslenmesini kontrol etmenin en iyi ve en hızlı yolu olduğunu düşünüyorum. Bu eklenti tüm popüler tarayıcılara kurulabilir ve hemen sağlar detaylı bilgi Dizindeki site sayfalarının sayısı ve içindeki belirli materyallerin varlığı hakkında. Bu uzantıyla, hizmetlere veya aramalara URL'leri manuel olarak girerek zaman kaybetmezsiniz. Genel olarak tavsiye ederim, RDS çubuğu son derece kullanışlıdır:
• Hizmet Serphant. Bir siteyi analiz edebileceğiniz çok işlevli bir kaynak: sitelerin etkinliğini değerlendirme ve izleme, rakiplerin sayfalarını analiz etme, konumları kontrol etme ve site dizine ekleme. Bu bağlantıyı kullanarak sayfa indekslemeyi ücretsiz olarak kontrol edebilirsiniz: https://serphunt.ru/indexing/. Toplu kontrol (50 adrese kadar) ve sonuçların yüksek güvenilirliği sayesinde bu hizmet bence en iyi üç hizmetten biridir.

  

• XSEO hizmeti. Web yöneticileri için bir dizi araç, XSEO.in'de Yandex'deki site indekslemesine bakabilirsiniz. Ayrıca kaynağınız hakkında birçok ek yararlı bilgi edinin:

  

• PR-CY ve CY-PR hizmetleri. Dizine eklenen sayfaların toplam sayısı hakkında size bilgi sağlayacak birkaç hizmet daha:

  

• Site raporu hizmeti. Sitede çalışırken yaptığınız tüm hataları gösterecek mükemmel bir hizmet. Ayrıca sitenin her sayfası için bilgilerin Yandex ve Google arama motorlarında indekslenip indekslenmediğini gösteren bilgilerin sunulacağı bir “Dizinleme” bölümü de vardır. Bu nedenle sitedeki sorunları tespit etmek ve Yandex toplu indekslemesini kontrol etmek için bu kaynağı kullanmanızı öneririm:

  

Bir web sitesi oluşturdunuz ancak arama motorlarında bulamıyor musunuz? Sorun değil! Bu materyalde bir web sitesini Yandex ve Google'da mümkün olan en kısa sürede nasıl dizine ekleyeceğinizi öğreneceksiniz. Arama motoru indeksine hızlı girmenin avantajlarından bahsetmeye muhtemelen gerek yok. Sonuçta herkes, web sitesinin arama sonuçlarında ne kadar erken gösterilirse, yeni müşterilerin de o kadar hızlı görüneceğini bilir. Bunun işe yaraması için arama motoru veritabanına girmeniz gerekir.

Bu arada, doğru yaklaşım sayesinde sitemizdeki yeni materyaller oldukça iyi ve en önemlisi arama motorları tarafından her zaman hızlı bir şekilde indeksleniyor. Belki de bu sayfaya ilgili bir talepte bulunduktan sonra geldiniz. arama çubuğu. Şarkı sözlerinden uygulamaya geçelim.

Bir sitenin indekslenip indekslenmediğini nasıl öğrenebilirim?

Yapmanız gereken ilk şey sitenin arama motorları tarafından indekslenip indekslenmediğini öğrenmektir. Site, girdiğiniz sorgu için aramanın ilk sayfasında olmayabilir. Bunlar, ortaya çıkması için üzerinde çalışılması gereken yüksek hacimli sorgular olabilir. SEO tanıtımı ve sadece bir web sitesi oluşturup başlatmak değil.

Bu nedenle, kontrol etmek için, ziyaret edilmesi mantıklı olan tüm arama motorlarına gidiyoruz ( Yandex, Google, Mail, Rambler) ve çizgiye arama sorgusu site adresini girin.

Kaynağınız henüz dizine eklenmemişse, arama sonuçlarında hiçbir şey gösterilmez veya başka siteler görünür.

Yandex'de bir site nasıl indekslenir?

Öncelikle Yandex'de bir web sitesini nasıl indeksleyeceğinizi anlatacağız. Ancak kaynağınızı eklemeden önce, kaynağın doğru şekilde çalışıp çalışmadığını, tüm cihazlarda doğru şekilde açılıp açılmadığını ve yalnızca içeriği içerdiğini kontrol edin. benzersiz içerik. Örneğin, geliştirme aşamasında bir site eklerseniz, filtrenin kapsamına girebilirsiniz - bu bizim başımıza bir kez geldi ve Yandex'in yüksek kaliteli bir siteye sahip olduğumuzu anlaması ve yaptırımları kaldırması için bir ay beklemek zorunda kaldık. .

Yandex'i yeni bir site hakkında bilgilendirmek için şunları yapmalısınız: onu Yandex Web Yöneticisine ekle Ve Yandex Metrica'yı yükle, ilk araç sorumludur Ek Bilgiler kaynak hakkında ( bölge, yapı, hızlı bağlantılar) ve sitenin organik sonuçlarda nasıl göründüğü, ikincisi ise sitede veri toplamak için ( katılım, davranış vb.), deneyimlerimize göre sitenin indekslenmesini ve aramadaki konumunu da etkiler. Ayrıca bir site haritası oluşturduğunuzdan ve bunu web yöneticileri panelinde belirttiğinizden emin olun.

Google'da bir site nasıl indekslenir?

Çoğu zaman, Google'ın kendisi hızlı bir şekilde yeni siteler bulur ve onları aramaya koyar, ancak Google'ın gelip tüm işi bizim için yapmasını beklemek çok küstahlıktır, bu yüzden bir siteyi Google'da nasıl dizine ekleyeceğimizi bulalım.

Siteler eklendikten sonra geçmesi gerekir 3 ila 7 gün arası, arama motorları verileri güncellemeden ve siteyi dizine eklemeden önce.

Her zaman yeni web sitesi sayfalarının arama sonuçlarında olabildiğince hızlı görünmesini istersiniz ve bunun için web sitesi sayfalarının arama motorlarında indekslenmesini hızlandırmanın birkaç gizli (ve çok basit) yolu vardır.

3. Paragraf 2'de açıklanan manipülasyonu yalnızca arama motoru için gerçekleştirmek Google sistemleri, Search Console'a gidin. "Tara"yı seçin ve "Googlebot gibi görün"-yeni sayfanın adresini ekleyin ve “Taran”a tıklayın, ardından indeksleme talebinde bulunuyoruz.

Site indeksleme analizi

Sonuç olarak, sitenin arama motorlarında başarılı bir şekilde indekslenmesinden sonra bile işin burada bitmediğine dikkat edilmelidir. Sitenin indekslenmesini periyodik olarak analiz etmek ve popüler sorgular için konumları kaldırmak gerekir. Bu, parmağınızı nabzını tutmanıza ve organik arama sonuçlarından gelen trafiğin önemli bir kısmının kaybolduğu bir durumla karşılaşmamanıza olanak tanır.

Bu, yayınlandıktan sonra eski tanıtım yöntemlerini kullanan birçok eski sitenin başına geldi. Yandex algoritması Baden-Baden. Aynı zamanda Yandex, bu algoritmayı başlattığını ve aşırı optimize edilmiş sayfaların aramanın dışında tutulacağını önceden duyurdu, Google ise yeni algoritmaların yayınlandığını hiçbir zaman bildirmiyor. Bu nedenle, yalnızca yorulmak bilmeyen izleme, kalmanıza veya konunun lideri olmanıza izin verecektir!

Google ile her şey çok basit. Sitenizi şu adresteki web yöneticisi araçlarına eklemeniz gerekir: https://www.google.com/webmasters/tools/, ardından eklenen siteyi seçin, böylece sitenizin Search Console'una girin. Ardından, soldaki menüde "Tarama" bölümünü ve içinde "Googlebot Olarak Görüntüle" öğesini seçin.

Açılan sayfada boş alana hızlı bir şekilde indekslemek istediğimiz yeni sayfanın adresini (sitenin önceden girilmiş alan adını dikkate alarak) girin ve sağdaki “Tara” butonuna tıklayın. Sayfanın taranmasını ve daha önce benzer şekilde taranan adresler tablosunun en üstünde görünmesini bekliyoruz. Daha sonra “Dizine Ekle” butonuna tıklayın.

Yaşasın, yeni sayfanız anında Google tarafından dizine eklendi! Birkaç dakika içinde onu Google arama sonuçlarında bulabileceksiniz.

Yandex'deki sayfaların hızlı indekslenmesi

İÇİNDE Yeni sürüm web yöneticisi araçları kullanıma sunuldu benzer araç Dizine yeni sayfalar eklemek için. Buna göre sitenizin de öncelikle Yandex Webmaster'a eklenmesi gerekmektedir. Ayrıca web yöneticisinde istediğiniz siteyi seçip ardından "Dizine Ekleme" bölümüne giderek "Sayfayı Yeniden Tarama" öğesini seçerek de oraya ulaşabilirsiniz. Açılan pencerede hızlı bir şekilde indekslemek istediğimiz yeni sayfaların adreslerini girin (tek satırdaki bağlantı aracılığıyla).

Google'ın aksine, Yandex'de indeksleme henüz anında gerçekleşmiyor, ancak bunun için çabalıyor. Yukarıdaki eylemleri kullanarak Yandex robotunu aşağıdakiler hakkında bilgilendireceksiniz: yeni sayfa. Ve yarım saatten bir saate kadar bir sürede indekslenecek - kişisel deneyimim bunu gösteriyor. Belki de Yandex'de sayfa indeksleme hızı bir dizi parametreye (alan adınızın, hesabınızın ve/veya diğerlerinin itibarı) bağlıdır. Çoğu durumda orada durabilirsiniz.

Sitenizdeki sayfaların Yandex tarafından kötü şekilde dizine eklendiğini görürseniz yani bununla nasıl başa çıkılacağına dair birkaç genel öneri var:

• En iyi ama aynı zamanda zor öneri, Yandex hızlı botunu web sitenize yüklemenizdir. Bunu yapmak için siteye her gün taze materyaller eklenmesi tavsiye edilir. Tercihen 2-3 veya daha fazla malzeme. Üstelik hepsini birden değil, bir süre sonra örneğin sabah, öğleden sonra ve akşam ekleyin. Yaklaşık olarak aynı yayın programını sürdürmek (yeni materyallerin eklenmesi için yaklaşık olarak aynı süreyi korumak) daha da iyi olacaktır. Ayrıca birçok kişi siteniz için bir RSS beslemesi oluşturmanızı önerir. arama robotları güncellemeleri doğrudan ondan okuyabilir.
• Doğal olarak herkes siteye bu kadar hacimli yeni materyaller ekleyemeyecektir - haftada 2-3 materyal ekleyebilmeniz iyi olur. Bu durumda, Yandex'in hızını gerçekten hayal edemezsiniz, ancak dizine yeni sayfalar eklemeyi başka yollarla deneyin. Bunlardan en etkilisinin, yeni sayfalara ve yükseltilmiş Twitter hesaplarına bağlantılar yayınlamak olduğu düşünülmektedir. Kullanarak özel programlar Twidium Accounter gibi, ihtiyacınız olan Twitter hesaplarının sayısını "artırabilir" ve onların yardımıyla yeni site sayfalarını hızlı bir şekilde arama motoru dizinine ekleyebilirsiniz. Yükseltilmiş Twitter hesaplarına kendiniz bağlantı gönderme fırsatınız yoksa, bu tür gönderileri özel alışverişler yoluyla satın alabilirsiniz. Bağlantınızı içeren bir gönderinin maliyeti ortalama 3-4 ruble ve daha fazladır (seçilen hesabın gücüne bağlı olarak). Ancak bu seçenek oldukça pahalı olacaktır.
• Hızlı indeksleme için üçüncü seçenek, yalnızca 3 ruble karşılığında sonuç garantisiyle istediğiniz etkiyi elde etmenize yardımcı olacak http://getbot.guru/ hizmetini kullanmaktır. Nadiren yeni yayın ekleme programı olan siteler için çok uygundur. Daha ucuz fiyatlar da var. Ayrıntılarına ve farklılıklarına hizmetin web sitesinde bakmak daha iyidir. Şahsen ben indeksleme hızlandırıcı olarak bu hizmetin hizmetlerinden çok memnunum.

Elbette sosyal yer imlerine yeni gönderiler de ekleyebilirsiniz; bu da teoride sitenin hızlı bir şekilde indekslenmesine yardımcı olacaktır. Ancak böyle bir eklemenin etkinliği aynı zamanda hesaplarınızın düzeyine de bağlı olacaktır. Bunlar üzerinde çok az etkinliğiniz varsa ve hesapları yalnızca bu tür spam için kullanıyorsanız, o zaman pratikte hiçbir yararlı çıktı olmayacaktır.

Not: Kapsamlı deneyime sahip olmak her zaman önemlidir - bizimle iletişime geçin!

Merhaba, site sitesinin sevgili okuyucuları. Bugün size nasıl bulacağınızı ve düzelteceğinizi anlatacağım. olası sorunlar sitenizi indeksleyerek. Üç ana noktaya bakalım.

1. Robot sitenin gerekli sayfalarını;
2. Bu sayfaların hızlı bir şekilde indekslenmesi gerekir;
3. Robot sitenin gereksiz sayfalarını ziyaret etmemelidir;

Her şey oldukça basit görünüyor. Ancak aslında çoğu web yöneticisi indekslemeyi ayarlarken aynı sorunlarla karşı karşıyadır. Onlara dikkatlice bakalım.

Şu anda, çoğu durumda, eğer Hakkında konuşuyoruz Arama sonuçlarında yeni bir site sayfası birkaç on dakika içinde görünecektir. Zaten dizine eklenmiş sayfalardan bahsediyorsak, o zaman bu 3-5 gün.

Sonuç olarak sitenizin hızlı bir şekilde ziyaret edilebilmesi için üç kuralı hatırlamanız gerekir:

1. Öncelikle doğru ve düzenli olarak güncellenen bir site haritası dosyanızın olması gerekir;
2. İkinci olarak, canınız istediğinde Tarama gecikmesi yönergesini kullanmayın. Şu anda robots.txt dosyanıza gidip böyle bir yönergenin olup olmadığını kontrol etmeyi unutmayın. Yüklüyse, gerçekten ihtiyacınız olup olmadığını düşünün.
3. Üçüncüsü, robotun sitenizin en önemli sayfalarını yeni bir önemli sayfayla ziyaret etmesini sağlamak için "sayfa taramayı" kullanın.

Robotu gereksiz web sitesi sayfalarından kurtarıyoruz

Bir robot kaynağınızı ziyaret etmeye başladığında bu genellikle indeksleme üzerinde her zaman olumlu bir etki yaratmaz. iyi sayfalar alan. Bir durum hayal edelim, diyelim ki bir robot kaynağınıza saniyede 5 istekte bulunuyor. Mükemmel bir sonuç gibi görünüyor, ancak hepsi sitenizin hizmet sayfalarıyla veya kopyalarıyla ilgiliyse ve robot gerçekten önemli sayfalara hiç dikkat etmiyorsa, saniyede bu beş ziyaretin ne anlamı var? Bu, gereksiz sayfaları nasıl dizine eklemeyeceğimizle ilgili bir sonraki bölümümüzdür.

1. Yandex web yöneticisi bölümünü ve tarama istatistiklerini kullanıyoruz
2. Robotun indekslememesi gereken sayfaların adreslerini alıyoruz
3. Doğru robots.txt dosyasını derlemek

Tarama İstatistikleri aracına bir göz atalım, şöyle görünüyor. Burada grafikler de var. “Tüm sayfalar” düğmesini kullanarak sayfayı biraz aşağı kaydırmakla ilgileniyoruz. Robotun son günlerde ziyaret ettiği her şeyi göreceksiniz.

Bu sayfalar arasında hizmet sayfaları varsa robots.txt dosyasında bunların yasaklanması gerekir. Tam olarak neyin yasaklanması gerektiğine nokta nokta bakalım.

1. Öncelikle daha önce de söylediğim gibi, sayfaları filtreleme robots.txt dosyasında mal seçimi, sıralama yasaklanmalıdır.
2. İkincisi kesinlikle yasaklıyoruz çeşitli eylem sayfaları. Örneğin karşılaştırmaya ekle, favorilere ekle, sepete ekle. Ayrıca sepetin bulunduğu sayfayı da yasaklıyoruz.
3. Üçüncüsü, bypass yapmayı yasaklıyoruz tüm servis bölümleri site araması, kaynağınızın yönetici paneli, kullanıcı verilerinin bulunduğu bölümler gibi. Örneğin robots.txt dosyasında teslimat bilgileri, telefon numaraları vb. de yasaktır.
4. VE Kimlik sayfalarıÖrneğin, utm etiketlerinin robots.txt dosyasında Clean-param yönergesi kullanılarak taranması da yasaklanmalıdır.

Bu sayfanın engellenmesi mi yoksa bu sayfanın taramaya açılması mı gerektiği sorusuyla karşı karşıya kalırsanız kendinize basit bir soruyu yanıtlayın: kullanıcıların bu sayfaya ihtiyacı var mı? arama motoru? Bu sayfanın sorgular için aranmaması gerekiyorsa devre dışı bırakılabilir.

Ve küçük bir pratik örnek, umarım sizi motive eder. Bakın, kaynaklardan birinde robot, yönlendirmeli sayfalara günde neredeyse binlerce çağrı yapıyor. Aslında yönlendirme sayfaları sepet sayfalarına eklendi.

Robots.txt dosyasında değişiklik yapıyoruz ve bu tür sayfalara erişimin neredeyse ortadan kalktığını grafikten görebilirsiniz. Aynı zamanda, acil olumlu dinamikler - bu bozkır sayfasında gerekli sayfaların 200 koduyla atlanması keskin bir şekilde arttı.

- Sitedeki yinelenen sayfalar, bunların nasıl bulunacağı ve onlarla ne yapılacağı

Ve burada sizi başka bir tehlike bekliyor - bu yinelenen sayfalar. Kopyalar derken, bir web sitesinin farklı adreslerden erişilebilen ancak aynı zamanda tamamen aynı içeriğe sahip birden fazla sayfasını kastediyoruz. Kopyaların ana tehlikesi, mevcut olmaları durumunda arama sonuçlarında değişebilmeleridir. Bir sayfa ihtiyacınız olmayan bir adrese gidebilir ve tanıtımını yaptığınız ana sayfayla bazı istekler için rekabet edebilir. Ayrıca, çok sayıda yinelenen sayfa, dizine ekleme robotunun siteyi taramasını zorlaştırır. Genel olarak pek çok sorunu beraberinde getirirler.

Neredeyse tüm web yöneticilerinin web sitelerinde kopya sayfa olmadığından emin olduklarını düşünüyorum. Seni biraz üzmek istiyorum. Aslında RuNet'teki hemen hemen tüm sitelerde kopyalar var. ? Bununla ilgili detaylı bir yazım var, okuduktan sonra tek bir sorunuz kalmayacak.

- Sunucu yanıt kodunun kontrol edilmesi

Robots.txt dosyasının yanı sıra doğru http yanıt kodlarından da bahsetmek isterim. Ayrıca zaten birçok kez söylenmiş gibi görünüyor. HTTP yanıt kodunun kendisi, indeksleme robotu için sayfanın belirli bir durumudur.

1. http-200 - sayfa dizine eklenebilir ve arama etkinleştirilebilir.
2. http-404 sayfanın silindiği anlamına gelir.
3. http-301 - sayfa yönlendirildi.
4. http-503 - geçici olarak kullanılamıyor.

Aracı doğru http kodları için kullanmanın avantajı nedir:

1. Öncelikle, kaynağınıza, yani 200 yanıt koduyla yanıt vermeyen sayfalara yönlendiren bağlantılara asla çeşitli bozuk bağlantılarınız olmayacak.Eğer sayfa yoksa, 404 yanıt kodu, robotun bunu anlayacağı anlamına gelir. .
2. İkinci olarak, robotun 200 yanıt koduyla yanıt veren gerçekten gerekli sayfaları taramasını planlamasına yardımcı olacaktır.
3. Üçüncüsü, çeşitli çöp türlerinin arama sonuçlarına girmesini önlemenize olanak tanır.

Bir sonraki ekran görüntüsünün konusu da tam olarak bununla ilgili, yine pratikten. Bir kaynak mevcut olmadığında ve teknik çalışma yürütüldüğünde robot, http yanıt kodu 200 olan bir saplama alır. Bu, arama sonuçlarında gördüğünüz bu saplamanın tam olarak açıklamasıdır.

Sayfa 200 yanıt koduyla yanıt verdiği için geri dönüş alıyorlar. Doğal olarak bu tür içeriğe sahip sayfalar herhangi bir talepte bulunamamakta ve görüntülenememektedir. Bu durumda doğru ayar bir http yanıtı 503 olacaktır. Bir sayfa veya kaynak geçici olarak kullanılamıyorsa, bu yanıt kodu sayfaların arama sonuçlarından hariç tutulmasını önleyecektir.

Bunlar, kaynağınızın önemli ve gerekli sayfalarının robotumuz tarafından erişilemez hale geldiği, örneğin 503 veya 404 koduyla yanıt verdikleri veya bunun yerine bu saplamaya geri döndükleri durumlardır.

Bu tür durumlar araç kullanılarak takip edilebilir "önemli sayfalar". Kaynağınıza en fazla trafiği getiren sayfaları ekleyin. E-posta veya hizmet yoluyla bildirimleri ayarlayın; bu sayfada olup bitenler hakkında bilgi alacaksınız. Yanıt kodu nedir, başlığı nedir, ne zaman ziyaret edilmiştir ve arama sonuçlarındaki durumu nedir?

Belirli bir yanıt kodunun döndürülmesinin doğruluğunu, Yandex Web Yöneticisi'ndeki (burada) uygun aracı kullanarak kontrol edebilirsiniz. Bu durumda var olmayan sayfaların yanıt kodunu kontrol ederiz. Bir sayfa buldum ve onu araca yerleştirdim, onay düğmesine tıkladım ve 404 yanıtı aldım.

Sayfa kullanılamadığından burada her şey yolunda; 404 koduyla doğru yanıt verdi ve artık aramaya dahil edilmeyecek. Sonuç olarak robotların sitenin gereksiz sayfalarını ziyaret etmesini sınırlamak için tarama istatistik aracını aktif olarak kullanın, robots.txt dosyasında değişiklik yapın ve sayfaların doğru http yanıt kodunu döndürdüğünden emin olun.

- Hadi özetleyelim

Robota içerikli doğru web sitesi sayfalarını verdik. Hızlı bir şekilde indekslenmesini sağladık. Robotun gereksiz sayfaları indekslemesini yasakladık. Bu üç büyük görev grubunun tümü birbiriyle bağlantılıdır. Yani, robotun hizmet sayfalarını dizine eklemesini kısıtlamazsanız, büyük olasılıkla sitenin gerekli sayfalarını dizine eklemek için daha az zamanı olacaktır.

Robot gerekli sayfaların içeriğini tam olarak alamazsa bu sayfaları hızlı bir şekilde arama sonuçlarına dahil etmeyecektir. Yani, bu üç görevin tamamında kaynağınızı karmaşık bir şekilde indekslemeye çalışmanız gerekiyor. Ve bu durumda, gerekli sayfaların arama sonuçlarında hızlı bir şekilde görünmesi için bir miktar başarı elde edeceksiniz.

Resmi Yandex yanıtları

Sitede bu tür sayfalar bulunmamasına rağmen indeks sayfaları büyük harfle içeriyordu. Sayfalar büyük harfle yazılmışsa, robot büyük ihtimalle internette bir yerde bu sayfalara giden bağlantılar bulmuştur. Önce sitenizi kontrol edin, büyük olasılıkla internette bir yerde yanlış bir bağlantı vardır. Robot geldi, gördü ve sayfayı büyük harfle indirmeye başladı. Onlar için bu tür sayfalar için 301 yönlendirmesi kullanmak daha iyidir.

Site Haritasında birden fazla sayfa var; bu normal mi? Bir site haritasından bahsediyorsak, diğer site haritası dosyalarına bağlantılar belirtebileceğiniz özel bir site haritası formatı vardır, o zaman bu elbette normaldir.

Tüm sayfalarda görüntülenen sitenin alt kısmına kataloğun tüm bölümlerine bağlantılar yerleştirirseniz, bu indekslenmeye yardımcı olur mu yoksa siteye zarar verir mi? Aslında bunu hiç yapmanıza gerek yok yani eğer web sitenizin ziyaretçileri buna ihtiyaç duymuyorsa o zaman özel olarak eklemenize de gerek yok. Sadece bir site haritası dosyası yeterlidir. Robot tüm bu sayfaların varlığını öğrenecek ve bunları veritabanına ekleyecektir.

Site haritasında güncelleme sıklığını belirtmem gerekiyor mu? Site haritası dosyası indeksleme robotuna ek bilgi sağlamak için kullanılabilir. Adreslerin yanı sıra robotumuz birkaç etiketi daha anlıyor. Öncelikle bu güncelleme sıklığı yani güncellemelerin sıklığıdır. Bu tarama önceliği ve tarihidir son değişiklik. Dosyayı işlerken tüm bu bilgileri site haritası dosyasından alır ve veritabanına ekler ve daha sonra tarama politikalarını ayarlamak için kullanır.

Site haritası olmadan yapmak mümkün mü? Evet, sitenizde herhangi bir dahili sayfaya yönlendiren erişilebilir bağlantılarla birlikte net bir gezinme olduğundan emin olun. Ancak, eğer bu yeni bir kaynaksa (yazardan: yeni bir sitenin nasıl başlatılacağını okuyun) ve örneğin, bazı sayfalar sitenizin derinliklerinde, örneğin 5-10 tıklama uzakta bulunuyorsa, o zaman Robotun kullanılabilirliğini öğrenmesi için çok zamana ihtiyacı olacak. İlk indirme ana sayfa siteye bağlanıyor, bağlantıları alıyor, ardından öğrendiği sayfaları tekrar indiriyor vb. Site haritası dosyası, tüm sayfalara ilişkin bilgileri tek seferde robota aktarmanıza olanak tanır.

Robot, var olmayan sayfalardan günde 700 bin istekte bulunuyor.Öncelikle bu tür var olmayan sayfaların nereden geldiğini anlamalısınız. Belki sitenizde göreceli linkler yanlış kullanılıyor ya da bir bölüm siteden tamamen kaldırılmış ve robot yine de bu sayfaları kontrol etmeye devam ediyor. Bu durumda bunları robots.txt dosyasında devre dışı bırakmanız yeterlidir. 12 saat içinde robot bu tür sayfalara erişimi durduracaktır.

Hizmet sayfaları dizine eklenmişse bunları aramadan nasıl kaldırabilirsiniz? Sayfaları arama sonuçlarından kaldırmak için robots.txt dosyasını da kullanın. Yani yasağı sitenizi oluştururken mi yoksa kaynağı ne zaman başlattığınızda mı belirlediğiniz önemli değildir. Sayfa bir hafta içinde arama sonuçlarından kaybolacaktır.

Otomatik olarak oluşturulan bir site haritası iyi midir, değil midir?Çoğu durumda tüm site haritaları otomatik olarak oluşturulur, dolayısıyla bunun muhtemelen iyi olduğunu söyleyebiliriz. Ellerinizle hiçbir şey yapmanıza gerek yoktur ve dikkatinizi başka bir şeye adayabilirsiniz.

Sayfanın kendisine standart hale getirilmesi durumunda nasıl indeksleneceği. Kanonik özellik aynı sayfaya yönlendiriyorsa? Bu sayfa standart olarak kabul ediliyor mu? Düzgün bir şekilde indekslenecek ve arama sonuçlarına dahil edilecektir, yani bu tekniğin kullanılması oldukça doğrudur.

"Kanonik olmayan" durum ne anlama geliyor? Z Kanonik özellik, sitenizdeki başka bir sayfaya yönlendiren sayfada ayarlanır. Bu yüzden bu sayfa aramaya giremeyecek. Açık kaynak sayfalar, bir arama yapın, kanonik sayfaların nereye gittiğine bakın ve aramada kanonik sayfayı kontrol edin.

Robots.txt dosyasında veya noindex dosyasında bir sepet sayfasının yasaklanması için hangisi daha doğrudur? Bir sayfa noindex yöntemi kullanılarak yasaklanmışsa, robot periyodik olarak sayfayı ziyaret edecek ve kontrol edecektir. bu yasak. Robotun bunu yapmasını önlemek için robots.txt dosyasında bir yasak kullanmak daha iyidir.

Görüşürüz! Her şeyi takip edin ve her zaman blog sitesinin sayfalarında

Projeye yardımcı olun - Yandex.Zen kanalımıza abone olun!