ما نوع العمل الذي تقوم به الروبوتات العنكبوتية؟ محركات البحث هي الروبوتات والعناكب الخاصة بهم. من هم روبوتات البحث

روبوت البحث (بوت، عنكبوت، عنكبوت، زاحف)- هذا برنامج خاصمحرك بحث مصمم لفحص المواقع على شبكة الإنترنت.

لا يعرف الكثير من الأشخاص أن برامج المسح الضوئي تقوم ببساطة بجمع المعلومات وتخزينها. لا يقومون بمعالجتها. برامج أخرى تفعل هذا.

إذا كنت تريد أن تنظر إلى الموقع من خلال عيون روبوت البحث، فيمكنك القيام بذلك من خلال لوحة مشرفي الموقع.

يمكنك معرفة كيفية عمل Google من خلال لوحة مشرفي المواقع. هناك تحتاج إلى إضافة موقعك ومن ثم يمكنك إلقاء نظرة على الصفحة:

https://www.google.com/webmasters/tools/googlebot-fetch?hl=ru

يمكنك عرض Yandex من خلال نسخة محفوظة من الصفحة. للقيام بذلك، ابحث عن الصفحة المطلوبة في بحث Yandex، وانقر فوق "نسخة محفوظة" ثم "عرض النسخة النصية".

فيما يلي قائمة بروبوتات البحث التي تزور مواقعنا. بعضهم يفهرس المواقع والبعض الآخر يراقبها الإعلانات السياقية. هناك روبوتات متخصصة تؤدي مهامًا ضيقة معينة. على سبيل المثال، يقومون بفهرسة الصور أو الأخبار.

من خلال معرفة الروبوت عن طريق البصر، يمكنك منعه أو السماح له بالزحف حول الموقع، وبالتالي تقليل الحمل على الخادم. حسنًا، أو قم بحماية معلوماتك من الدخول إلى الشبكة.

روبوتات البحث ياندكس

يحتوي محرك بحث Yandex على عشرات ونصف من روبوتات البحث المعروفة لنا. قائمة الروبوتات التي تمكنت من البحث عنها، بما في ذلك المساعدة الرسمية، موجودة أدناه.

YandexBot هو روبوت الفهرسة الرئيسي؛
YandexMedia هو روبوت يقوم بفهرسة بيانات الوسائط المتعددة؛
YandexImages - مفهرس Yandex.Images؛
YandexCatalog - أداة "النقر" لـ Yandex.Catalog، تُستخدم لإزالة المواقع غير المتوفرة مؤقتًا من النشر في الكتالوج؛
YaDirectFetcher - روبوت Yandex.Direct؛
YandexBlogs هو روبوت للبحث في المدونات يقوم بفهرسة المشاركات والتعليقات؛
YandexNews - روبوت Yandex.News؛
YandexWebmaster – يأتي عند إضافة موقع من خلال منتدى AddURL؛
YandexPagechecker - مدقق العلامات الدقيقة؛
YandexFavicons - مفهرس الأيقونة المفضلة
YandexMetrika - روبوت Yandex.Metrica؛
YandexMarket - روبوت Yandex.Market؛
YandexCalendar هو روبوت Yandex.Calendar.

روبوتات بحث جوجل (الروبوتات)

Googlebot هو روبوت الفهرسة الرئيسي؛
Googlebot Nes - مفهرس الأخبار؛
صور Googlebot - مفهرس الصور؛
Googlebot Video - روبوت لبيانات الفيديو؛
Google Mobile - فهرس محتوى الجوال؛
Google Mobile AdSense - روبوت AdSense للجوال
جوجل ادسنس- روبوت أدسنس
Google AdsBot – روبوت فحص جودة الصفحة المقصودة
Mediapartners-Google - روبوت AdSense

روبوتات محركات البحث الأخرى

أيضًا، في سجلات موقعك، قد تتعثر على بعض الروبوتات الخاصة بمحركات البحث الأخرى.

متسكع - ستاك رامبلر
Mail.ru - Mail.Ru
ياهو! — سلرب (أو ياهو! سلرب)
AOL - شربة
ام اس ان - ام اس ان بوت
مباشر - MSNBot
اسأل - تيوما
اليكسا - ia_archiver
ليكوس - ليكوس
أبورت - أبورت
ويبالتا - WebAlta (WebAlta Crawler/2.0)

بالإضافة إلى روبوتات محركات البحث، هناك جيش ضخم من جميع أنواع العناكب اليسارية التي تدور حول المواقع. هؤلاء هم المحللون المختلفون الذين يجمعون المعلومات من المواقع، عادةً لأغراض أنانية لمنشئيهم.

يسرق البعض المحتوى، والبعض الآخر يسرق الصور، والبعض الآخر يخترق مواقع الويب ويضع الروابط سرًا. إذا لاحظت أن هذا المحلل قد ربط نفسه بموقعك، فامنع وصول الجميع إليه الطرق الممكنة، بما في ذلك من خلال ملف robots.txt.

مرحبا اصدقاء! ستتعرف اليوم على كيفية عمل روبوتات بحث Yandex وGoogle والوظيفة التي تؤديها في الترويج لموقع الويب. إذا هيا بنا!

تقوم محركات البحث بهذا الإجراء من أجل العثور على عشرة مشاريع ويب من بين مليون موقع تحتوي على إجابة عالية الجودة وذات صلة بطلب المستخدم. لماذا عشرة فقط؟ لأنه يتكون من عشرة مواضع فقط.

تعتبر روبوتات البحث صديقة لكل من مشرفي المواقع والمستخدمين

لقد أصبح من الواضح بالفعل سبب أهمية زيارة روبوتات البحث لموقع ما، ولكن لماذا يحتاج المستخدم إلى ذلك؟ هذا صحيح، لكي يرى المستخدم فقط تلك المواقع التي ستستجيب لطلبه بالكامل.

روبوت البحث- أداة مرنة للغاية، فهي قادرة على العثور على موقع، حتى لو كان قد تم إنشاؤه للتو، ولم يعمل عليه مالك هذا الموقع بعد. ولهذا السبب سمي هذا الروبوت بالعنكبوت، فهو يستطيع مد ساقيه والوصول إلى أي مكان على شبكة الإنترنت الافتراضية.

هل من الممكن التحكم في روبوت البحث لصالحك؟

هناك حالات لا يتم فيها تضمين بعض الصفحات في البحث. ويرجع ذلك أساسًا إلى حقيقة أن هذه الصفحة لم تتم فهرستها بعد بواسطة روبوت البحث. وبطبيعة الحال، عاجلاً أم آجلاً سوف يلاحظ روبوت البحث هذه الصفحة. لكن الأمر يستغرق وقتا، وأحيانا الكثير من الوقت. ولكن هنا يمكنك مساعدة روبوت البحث على زيارة هذه الصفحة بشكل أسرع.

للقيام بذلك، يمكنك وضع موقع الويب الخاص بك في أدلة أو قوائم خاصة بالشبكات الاجتماعية. بشكل عام، على جميع المواقع التي يعيش فيها روبوت البحث ببساطة. على سبيل المثال، يتم تحديث الشبكات الاجتماعية كل ثانية. حاول الإعلان عن موقعك، وسيصل روبوت البحث إلى موقعك بشكل أسرع بكثير.

قاعدة رئيسية واحدة تتبع هذا. إذا كنت تريد أن تقوم روبوتات محرك البحث بزيارة موقعك، فأنت بحاجة إلى تزويدهم بمحتوى جديد بشكل منتظم. إذا لاحظوا أن المحتوى يتم تحديثه وأن الموقع قيد التطوير، فسيبدأون في زيارة مشروع الإنترنت الخاص بك كثيرًا.

يمكن لكل روبوت بحث أن يتذكر عدد المرات التي يتغير فيها المحتوى الخاص بك. فهو لا يقيم الجودة فحسب، بل الفواصل الزمنية. وإذا تم تحديث المواد الموجودة على الموقع مرة واحدة في الشهر، فسوف يأتي إلى الموقع مرة واحدة في الشهر.

وبالتالي، إذا تم تحديث الموقع مرة واحدة في الأسبوع، فسيأتي روبوت البحث مرة واحدة في الأسبوع. إذا قمت بتحديث الموقع كل يوم، فسيقوم روبوت البحث بزيارة الموقع كل يوم أو كل يومين. هناك مواقع تتم فهرستها في غضون دقائق قليلة بعد التحديث. هذا وسائل التواصل الاجتماعيومجمعات الأخبار والمواقع التي تنشر عدة مقالات يوميًا.

كيف نعطي مهمة للروبوت ونمنعه من فعل أي شيء؟

في وقت مبكر، علمنا أن محركات البحث لديها روبوتات متعددة تؤدي مهام مختلفة. البعض يبحث عن الصور، والبعض الآخر عن الروابط، وهكذا.

يمكنك التحكم في أي روبوت باستخدام ملف خاص ملف robots.txt . من هذا الملف يبدأ الروبوت في التعرف على الموقع. في هذا الملف يمكنك تحديد ما إذا كان الروبوت يمكنه فهرسة الموقع، وإذا كان الأمر كذلك، فما هي الأقسام. يمكن إنشاء كل هذه التعليمات لروبوت واحد أو لجميع الروبوتات.

التدريب على الترويج لموقع الويب

مزيد من التفاصيل حول الحكمة تعزيز كبار المسئولين الاقتصاديينالمواقع في محركات البحث أنظمة جوجلوياندكس، أتحدث بمفردي على سكايب. لقد جلبت جميع مشاريع الويب الخاصة بي إلى عدد أكبر من الزيارات وحصلت على نتائج ممتازة من هذا. يمكنني أن أعلمك هذا أيضًا، إذا كنت مهتمًا!

روبوت البحث هو برنامج خاص بمحرك بحث مصمم للدخول إلى قاعدة بيانات (فهرسة) المواقع وصفحاتها الموجودة على شبكة الإنترنت. الأسماء المستخدمة أيضًا: الزاحف، العنكبوت، الروبوت، الفهرس التلقائي، النمل، webcrawler، bot، webscutter، webbots، webspider.

مبدأ التشغيل

روبوت البحث هو برنامج من نوع المتصفح. يقوم بمسح الشبكة باستمرار: يزور المواقع المفهرسة (المعروفة بالفعل)، ويتبع الروابط منها ويبحث عن موارد جديدة. عندما يتم اكتشاف مورد جديد، يقوم روبوت الإجراء بإضافته إلى فهرس محرك البحث. يقوم روبوت البحث أيضًا بفهرسة التحديثات على المواقع، والتي يتم تحديد تكرارها. على سبيل المثال، الموقع الذي يتم تحديثه مرة واحدة في الأسبوع سيزوره العنكبوت بهذا التردد، ويمكن فهرسة المحتوى الموجود على المواقع الإخبارية خلال دقائق من النشر. إذا لم تكن هناك روابط من موارد أخرى تؤدي إلى الموقع، فمن أجل جذب روبوتات البحث، يجب إضافة المورد من خلال نموذج خاص (مركز مشرفي المواقع من Google، لوحة مشرفي المواقع ياندكس، وما إلى ذلك).

أنواع روبوتات البحث

العناكب ياندكس:

• Yandex/1.01.001 I - الروبوت الرئيسي المشارك في الفهرسة،
• Yandex/1.01.001 (P) - فهرسة الصور،
• Yandex/1.01.001 (H) - يجد مواقع المرآة،
• Yandex/1.03.003 (D) - يحدد ما إذا كانت الصفحة المضافة من لوحة مشرفي المواقع تتوافق مع معلمات الفهرسة،
• YaDirectBot/1.0 (I) - يقوم بفهرسة الموارد من شبكة اعلانيةياندكس،
• Yandex/1.02.000 (F) - يقوم بفهرسة أيقونات الموقع المفضلة.

العناكب جوجل:

• Googlebot هو الروبوت الرئيسي
• أخبار Googlebot - أخبار المسح والفهرسة،
• Google Mobile - فهرسة المواقع للأجهزة المحمولة،
• صور Googlebot - يبحث في الصور ويفهرسها،
• فيديو Googlebot - فهرسة مقاطع الفيديو،
• Google AdsBot - يتحقق من جودة الصفحة المقصودة،
• Google Mobile AdSense وGoogle AdSense - يقومان بفهرسة مواقع شبكة إعلانات Google.

تستخدم محركات البحث الأخرى أيضًا عدة أنواع من الروبوتات التي تشبه وظيفيًا تلك المدرجة.

روبوت البحث هو برنامج خاص بمحرك بحث مصمم للدخول إلى قاعدة بيانات (فهرسة) المواقع وصفحاتها الموجودة على شبكة الإنترنت. الأسماء المستخدمة أيضًا: الزاحف، العنكبوت، الروبوت، الفهرس التلقائي، النمل، webcrawler، bot، webscutter، webbots، webspider.

مبدأ التشغيل

روبوت البحث هو برنامج من نوع المتصفح. يقوم بمسح الشبكة باستمرار: يزور المواقع المفهرسة (المعروفة بالفعل)، ويتبع الروابط منها ويبحث عن موارد جديدة. عندما يتم اكتشاف مورد جديد، يقوم روبوت الإجراء بإضافته إلى فهرس محرك البحث. يقوم روبوت البحث أيضًا بفهرسة التحديثات على المواقع، والتي يتم تحديد تكرارها. على سبيل المثال، الموقع الذي يتم تحديثه مرة واحدة في الأسبوع سيزوره العنكبوت بهذا التردد، ويمكن فهرسة المحتوى الموجود على المواقع الإخبارية خلال دقائق من النشر. إذا لم تكن هناك روابط من موارد أخرى تؤدي إلى الموقع، فمن أجل جذب روبوتات البحث، يجب إضافة المورد من خلال نموذج خاص (مركز مشرفي المواقع من Google، لوحة مشرفي المواقع ياندكس، وما إلى ذلك).

أنواع روبوتات البحث

العناكب ياندكس:

• Yandex/1.01.001 I - الروبوت الرئيسي المشارك في الفهرسة،
• Yandex/1.01.001 (P) - فهرسة الصور،
• Yandex/1.01.001 (H) - يجد مواقع المرآة،
• Yandex/1.03.003 (D) - يحدد ما إذا كانت الصفحة المضافة من لوحة مشرفي المواقع تتوافق مع معلمات الفهرسة،
• YaDirectBot/1.0 (I) - يقوم بفهرسة الموارد من شبكة إعلانات Yandex،
• Yandex/1.02.000 (F) - يقوم بفهرسة أيقونات الموقع المفضلة.

العناكب جوجل:

• Googlebot هو الروبوت الرئيسي
• أخبار Googlebot - أخبار المسح والفهرسة،
• Google Mobile - فهرسة المواقع للأجهزة المحمولة،
• صور Googlebot - يبحث في الصور ويفهرسها،
• فيديو Googlebot - فهرسة مقاطع الفيديو،
• Google AdsBot - يتحقق من جودة الصفحة المقصودة،
• Google Mobile AdSense وGoogle AdSense - يقومان بفهرسة مواقع شبكة إعلانات Google.

تستخدم محركات البحث الأخرى أيضًا عدة أنواع من الروبوتات التي تشبه وظيفيًا تلك المدرجة.

وخلافًا للاعتقاد الشائع، لا يشارك الروبوت بشكل مباشر في أي معالجة للمستندات الممسوحة ضوئيًا. فهو يقرأها ويحفظها فقط، ثم تتم معالجتها بواسطة برامج أخرى. يمكن الحصول على تأكيد مرئي من خلال تحليل سجلات الموقع الذي تتم فهرسته لأول مرة. في الزيارة الأولى، يطلب الروبوت أولاً ملف robots.txt، ثم الصفحة الرئيسية للموقع. أي أنه يتبع الرابط الوحيد المعروف له. هذا هو المكان الذي تنتهي فيه الزيارة الأولى للروبوت دائمًا. بعد مرور بعض الوقت (عادةً في اليوم التالي)، يطلب الروبوت الصفحات التالية - باستخدام الروابط الموجودة في الصفحة التي تمت قراءتها بالفعل. ثم تستمر العملية بنفس الترتيب: طلب الصفحات التي تم العثور على روابط لها بالفعل - توقف مؤقت لمعالجة مستندات القراءة - الجلسة التالية مع طلب الروابط التي تم العثور عليها.

إن تحليل الصفحات بسرعة يعني أكثر من ذلك بكثير يازيادة استهلاك الموارد للروبوت وضياع الوقت. يقوم كل خادم فحص بتشغيل عمليات روبوت متعددة بالتوازي. يجب عليهم التصرف في أسرع وقت ممكن حتى يتوفر لديهم الوقت لقراءة الصفحات الجديدة وإعادة قراءة الصفحات الموجودة. لذلك، تقوم الروبوتات بقراءة المستندات وحفظها فقط. كل ما يقومون بحفظه يتم وضعه في قائمة الانتظار للمعالجة (تحليل التعليمات البرمجية). يتم وضع الروابط التي تم العثور عليها أثناء معالجة الصفحة في قائمة انتظار المهام للروبوتات. هذه هي الطريقة التي يتم بها فحص الشبكة بالكامل بشكل مستمر. الشيء الوحيد الذي يمكن للروبوت ويجب عليه تحليله بسرعة هو ملف robots.txt، حتى لا يطلب العناوين المحظورة فيه. أثناء كل جلسة زحف للموقع، يطلب الروبوت هذا الملف أولاً، وبعد ذلك، يتم وضع كافة الصفحات في قائمة الانتظار للزحف.

أنواع روبوتات البحث

يحتوي كل محرك بحث على مجموعته الخاصة من الروبوتات لأغراض مختلفة.
في الأساس، تختلف في الغرض الوظيفي، على الرغم من أن الحدود تعسفية للغاية، وكل محرك بحث يفهمها بطريقته الخاصة. بالنسبة لأنظمة البحث عن النص الكامل فقط، يكفي روبوت واحد لجميع المناسبات. بالنسبة لمحركات البحث التي لا تتعامل مع النص فقط، يتم تقسيم الروبوتات إلى فئتين على الأقل: للنصوص والرسومات. هناك أيضًا روبوتات منفصلة مخصصة لأنواع معينة من المحتوى - الهاتف المحمول، والمدونة، والأخبار، والفيديو، وما إلى ذلك.

روبوتات جوجل

يُطلق على جميع روبوتات Google مجتمعة اسم Googlebot. يقدم مفهرس الروبوت الرئيسي نفسه على النحو التالي:

Mozilla/5.0 (متوافق؛ Googlebot/2.1؛ +http://www.google.com/bot.html)

هذا الروبوت مشغول بمسح صفحات HTML والمستندات الأخرى للبحث الرئيسي بحث جوجل. كما أنه يقرأ أحيانًا ملفات CSS وJS - ويمكن ملاحظة ذلك بشكل رئيسي في المرحلة المبكرة من فهرسة الموقع، بينما يقوم الروبوت بالزحف إلى الموقع لأول مرة. أنواع المحتوى المقبولة كلها (قبول: */*).

الروبوت الثاني الرئيسي مشغول بمسح الصور من الموقع. إنها "تقدم نفسها" ببساطة:

Googlebot-Image/1.0

وشوهدت أيضًا ثلاثة روبوتات على الأقل في السجلات، مشغولة بجمع المحتوى لها اصدار المحموليبحث. ينتهي حقل وكيل المستخدم لجميع الثلاثة بالسطر:

(متوافق؛ Googlebot-Mobile/2.1؛ +http://www.google.com/bot.html)

قبل هذا الخط هو النموذج تليفون محمول، والذي يتوافق معه هذا الروبوت. الروبوتات المرقطة لديها نماذج هواتف نوكياوسامسونج وآيفون. أنواع المحتوى المقبولة كلها، ولكن مع تحديد الأولويات:

قبول: application/vnd.wap.xhtml+xml,application/xhtml+xml;q=0.9,text/vnd.wap.wml;q=0.8,text/html;q=0.7,*/*;q=0.6

روبوتات ياندكس

من بين محركات البحث النشطة على RuNet، تمتلك Yandex أكبر مجموعة من الروبوتات. في قسم مساعدة مشرفي الموقع، يمكنك العثور على قائمة رسمية بجميع موظفي العنكبوت. ليس من المنطقي تقديمه هنا بالكامل، حيث تحدث التغييرات بشكل دوري في هذه القائمة.
ومع ذلك، يجب ذكر أهم روبوتات Yandex بشكل منفصل.
روبوت الفهرسة الأساسييسمى حاليا

Mozilla/5.0 (متوافق؛ YandexBot/3.0؛ +http://yandex.com/bots)

تم تمثيلها سابقًا كـ

Yandex/1.01.001 (متوافق؛ Win16؛ I)

يقرأ صفحات HTMLالموقع والوثائق الأخرى للفهرسة. كانت قائمة أنواع الوسائط المقبولة محدودة سابقًا:

قبول: text/html، application/pdf؛q=0.1، application/rtf؛q=0.1، text/rtf؛q=0.1، application/msword؛q=0.1، application/x-shockwave-flash؛q=0.1، application/vnd.ms-excel;q=0.1, application/vnd.ms-powerpoint;q=0.1

منذ 31 يوليو 2009، لوحظ توسع كبير في هذه القائمة (تضاعف عدد الأنواع تقريبًا)، ومنذ 10 نوفمبر 2009، تم اختصار القائمة إلى */* (جميع الأنواع).
يهتم هذا الروبوت بشدة بمجموعة محددة جدًا من اللغات: الروسية، والقليل من الأوكرانية والبيلاروسية، والقليل من الإنجليزية، والقليل جدًا من اللغات الأخرى.

لغة القبول: ru, uk;q=0.8, be;q=0.8, en;q=0.7, *;q=0.01

روبوت ماسح الصوريحمل السطر التالي في حقل وكيل المستخدم:

Mozilla/5.0 (متوافق؛ YandexImages/3.0؛ +http://yandex.com/bots)

يشارك في مسح الرسومات بتنسيقات مختلفة للبحث في الصور.

على عكس جوجل، لدى ياندكس روبوتات منفصلة لخدمة البعض وظائف خاصةبحث عام.
روبوت "مرآة"

Mozilla/5.0 (متوافق؛ YandexBot/3.0؛ MirrorDetector؛ +http://yandex.com/bots)

لا يفعل أي شيء معقد بشكل خاص - فهو يظهر بشكل دوري ويتحقق مما إذا كانت الصفحة الرئيسية للموقع متطابقة عند الوصول إلى المجال باستخدام www. ودون. يتحقق أيضًا من النطاقات "المرآة" المتوازية بحثًا عن التطابقات. على ما يبدو، يتم التعامل مع المرايا والشكل المتعارف عليه للنطاقات في ياندكس بشكل منفصل حزمة البرامج، لا تتعلق مباشرة بالفهرسة. بخلاف ذلك، لا يوجد أي شيء على الإطلاق يفسر وجود روبوت منفصل لهذا الغرض.

جامع الأيقونات favicon.ico

Mozilla/5.0 (متوافق؛ YandexFavicons/1.0؛ +http://yandex.com/bots)

ويظهر بشكل دوري ويطلب أيقونة favicon.ico، التي تظهر بعد ذلك في نتائج البحث بجانب رابط الموقع. الأسباب التي تجعل جامع الصور لا يشارك في هذه المسؤولية غير معروفة. يبدو أن هناك أيضًا حزمة برامج منفصلة قيد التشغيل.

بوت التحققللمواقع الجديدة، يعمل عند إضافته إلى نموذج AddURL

Mozilla/5.0 (متوافق؛ YandexWebmaster/2.0؛ +http://yandex.com/bots)

يتحقق هذا الروبوت من استجابة الموقع عن طريق إرسال طلب HEAD إلى عنوان URL الجذر. بهذه الطريقة نتحقق من وجودها الصفحة الرئيسيةفي المجال ويتم تحليل رؤوس HTTP لهذه الصفحة. يطلب الروبوت أيضًا ملف robots.txt في جذر الموقع. وبالتالي، بعد إرسال الرابط إلى AddURL، تم تحديد أن الموقع موجود ولا تمنع رؤوس robots.txt أو HTTP الوصول إلى الصفحة الرئيسية.

روبوت رامبلر

حاليا لم تعد تعمل، نظرًا لأن Rambler يستخدم الآن بحث Yandex
يمكن التعرف بسهولة على روبوت مفهرس Rambler في السجلات من خلال حقل وكيل المستخدم

StackRambler/2.0 (MSIE غير متوافق)

بالمقارنة مع "زملائه" من محركات البحث الأخرى، يبدو هذا الروبوت بسيطًا جدًا: فهو لا يحدد قائمة بأنواع الوسائط (وبالتالي يتلقى المستند المطلوب من أي نوع)، كما أن حقل قبول اللغة مفقود في الطلب، ولم يتم العثور على الحقل If-Modified-since في طلبات الروبوت.

روبوت البريد.Ru

لا يُعرف سوى القليل عن هذا الروبوت حتى الآن. تعمل بوابة Mail.Ru على تطوير بحثها الخاص منذ فترة طويلة، لكنها لم تتمكن بعد من إطلاق هذا البحث. لذلك، فإن اسم الروبوت الموجود في وكيل المستخدم هو الوحيد المعروف على وجه اليقين - Mail.Ru/2.0 (Mail.Ru/1.0 سابقًا). لم يتم نشر اسم الروبوت لتوجيهات ملف robors.txt في أي مكان، وهناك افتراض بأن الروبوت يجب أن يسمى Mail.Ru.

الروبوتات الأخرى

البحث على الإنترنت، بطبيعة الحال، لا يقتصر على محركين للبحث. ولذلك هناك روبوتات أخرى - مثلا روبوت بينج - محرك البحث من ميكروسوفت وروبوتات أخرى. لذلك، على وجه الخصوص، يوجد في الصين محرك بحث وطني بايدو - ولكن من غير المرجح أن يصل الروبوت الخاص به إلى منتصف النهر ويصل إلى الموقع الروسي.

بالإضافة إلى ذلك، انتشرت في الآونة الأخيرة العديد من الخدمات - ولا سيما خدمة Solomono - والتي، على الرغم من أنها ليست محركات بحث، تقوم أيضًا بفحص المواقع. في كثير من الأحيان تكون قيمة نقل معلومات الموقع إلى مثل هذه الأنظمة موضع شك، وبالتالي يمكن حظر الروبوتات الخاصة بها