În ce an au apărut motoarele de căutare? Motoare de căutare. Piața motoarelor de căutare

În primele zile ale internetului, utilizatorii erau o minoritate privilegiată, iar cantitatea de informații disponibile era relativ mică. La acea vreme, accesul la acesta era disponibil în principal pentru angajații diferitelor mari instituții de învățământ și laboratoare, iar datele obținute erau folosite în scopuri științifice. La acea vreme, utilizarea internetului nu era la fel de relevantă ca acum.

În 1990 Omul de știință britanic Tim Berners-Lee (care este și inventatorul URI, URL, HTTP, World Wide Web) a creat site-ul info.cern.ch, care este primul director accesibil de site-uri Internet din lume. Din acel moment, Internetul a început să câștige popularitate nu numai în cercurile științifice, ci și în rândul proprietarilor obișnuiți de computere personale.

Astfel, prima modalitate de a facilita accesul la resurse informaționale Formarea directoarelor de site-uri web a început pe Internet. Legăturile către resurse din ele au fost grupate pe subiecte.

Primul proiect de acest gen este considerat a fi Yahoo, deschis în aprilie 1994. Datorită creșterii rapide a numărului de site-uri din acesta, în curând a devenit posibilă căutarea informațiilor necesare la cerere. Desigur, nu era încă un motor de căutare cu drepturi depline. Căutarea a fost limitată doar la datele din catalog.

În primele etape ale dezvoltării internetului, directoarele de link-uri au fost folosite foarte activ, dar și-au pierdut treptat din popularitate. Motivul este simplu: chiar dacă există multe resurse în cataloagele moderne, acestea arată totuși doar o mică parte din informațiile disponibile pe Internet. De exemplu, cel mai mare director din rețea este - DMOZ(Proiect Open Directory). Conține informații despre puțin peste cinci milioane de resurse, care sunt depășite de baza de date de căutare a Google, cu peste opt miliarde de documente.

Cel mai mare catalog în limba rusă este catalogul Yandex. Conține informații despre puțin peste o sută patru mii de resurse.

Cronologia dezvoltării motoarelor de căutare

1945- Inginerul american Vannevar Bush a publicat o înregistrare a ideii care a dus mai târziu la inventarea hipertextului, și o discuție despre necesitatea dezvoltării unui sistem de recuperare rapidă a datelor din informațiile stocate în acest mod (echivalentul motoarelor de căutare actuale). Conceptul unui dispozitiv de expandare a memoriei pe care l-a introdus conținea idei originale care s-au concretizat în cele din urmă pe internet.

anii 1960— Gerard Salton și echipa sa de la Universitatea Cornell au dezvoltat sistemul SMART de recuperare a informațiilor. SMART este o abreviere pentru Salton’s Magic Automatic Retriever of Text, adică „Salton’s Magic Automatic Text Retriever”. Gerard Salton este considerat părintele tehnologiei moderne de căutare.

1987-1989 - dezvoltat Archie— un motor de căutare pentru indexarea arhivelor FTP. Archie era un script care automatiza implementarea listelor pe serverele ftp, care apoi erau transferate în fișiere locale și abia apoi efectuate în fișiere locale cautare rapida informatie necesara. Căutarea s-a bazat pe o comandă standard Unix grep, iar accesul utilizatorilor la date s-a bazat pe telnet.

În versiunea următoare, datele au fost împărțite în baze de date separate, dintre care una conținea doar nume de fișiere text; iar celălalt - înregistrări cu link-uri către directoare ierarhice de mii de gazde; și încă unul care leagă primele două. Această versiune de Archie a fost mai eficientă decât cea anterioară, deoarece căutarea a fost efectuată numai după nume de fișiere, eliminând multe duplicate preexistente.

Motorul de căutare a devenit din ce în ce mai popular, iar dezvoltatorii au început să se gândească la cum să-și accelereze activitatea. Baza de date menționată mai sus a fost înlocuită cu alta bazată pe teoria arborelui comprimat. O noua versiune, a creat în esență o bază de date full-text în loc de o listă de nume de fișiere și a fost semnificativ mai rapid decât înainte. În plus, modificări minore au permis sistemului Archie să indexeze paginile web. Din păcate, din diverse motive, lucrările la Archie au încetat curând.

În 1993 A fost creat primul motor de căutare din lume World wide web Wandex. S-a bazat pe botul World Wide Web Wanderer dezvoltat de Matthew Gray de la Institutul de Tehnologie din Massachusetts.

1993– creează Martin Koster Aliweb- unul dintre primele motoare de căutare de pe World Wide Web. Proprietarii site-urilor au fost nevoiți să le adauge ei înșiși la indexul Aliweb pentru ca aceștia să apară în căutări. Pentru că prea puțini webmasteri au făcut-o, Aliweb nu a devenit popular

20 aprilie 1994– a eliberat Brian Pinkerton de la Universitatea din Washington WebCrawler— primul bot care a indexat complet paginile. Principala diferență dintre motorul de căutare și predecesorii săi este că permite utilizatorilor să caute orice cuvânt cheie pe orice pagină web. Astăzi, această tehnologie este standardul de căutare al oricărui motor de căutare. Motorul de căutare WebCrawler a devenit primul sistem cunoscut unei game largi de utilizatori. Vai debitului era scăzută și sistemul era adesea indisponibil în timpul zilei.

20 iulie 1994- deschis Lycos este o dezvoltare majoră în tehnologia de căutare creată la Universitatea Carnegie Melon. Michael Maldin a fost responsabil pentru acest motor de căutare și rămâne în continuare un specialist de top la Lycos Inc. Lycos a deschis cu un catalog de 54.000 de documente. Și pe lângă aceasta, rezultatele pe care le-a oferit au fost clasate și a luat în considerare și prefixele și potrivirile aproximative. Dar principala diferență dintre Lycos a fost catalogul său în continuă expansiune: până în noiembrie 1996, 60 de milioane de documente au fost indexate - mai mult decât orice alt motor de căutare la acea vreme.

ianuarie 1994- a fost fondat Căutare de informații. Nu era cu adevărat inovator, dar avea o serie de completări utile. Una dintre aceste completări populare a fost posibilitatea de a adăuga pagina în timp real.

1995- a început AltaVista. După ce a apărut, sistemul de căutare AltaVista a câștigat rapid recunoașterea de la utilizatori și a devenit un lider printre colegii săi. Sistemul avea practic o lățime de bandă nelimitată în acel moment, a fost primul motor de căutare în care era posibil să se formuleze interogări în limbaj natural, precum și să se formuleze interogări complexe. Utilizatorilor li s-a permis să adauge sau să elimine propriile adrese URL în decurs de 24 de ore. AltaVista a oferit și multe sfaturi și trucuri de căutare. Principalul merit al sistemului AltaVista este considerat a fi suportul pentru multe limbi, inclusiv chineză, japoneză și coreeană. Într-adevăr, în 1997, niciun motor de căutare de pe Internet nu lucra cu mai multe limbi, în special cu unele rare.

1996— motorul de căutare AltaVista a lansat o extensie morfologică pentru limba rusă. În același an, au fost lansate primele motoare de căutare interne - Rambler.ru și Aport.ru. Apariția primelor motoare de căutare interne a marcat o nouă etapă în dezvoltarea Runetului, permițând utilizatorilor vorbitori de limbă rusă să facă interogări în limba lor maternă, precum și să răspundă rapid la schimbările care apar în cadrul rețelei.

20 mai 1996— corporația Inktomi a apărut împreună cu motorul său de căutare Hotbot. Creatorii săi au fost două echipe de la Universitatea din California. Când a apărut site-ul, a devenit rapid popular. În octombrie 2001, Danny Sullivan a scris un articol intitulat „Inktomi’s Spam Sites Database Is Open to the Public”, care descria modul în care Inktomi și-a făcut accidental baza de date cu site-uri spam, care până atunci conținea aproximativ 1 milion de adrese URL, disponibile publicului. .

1997– în țările occidentale vine un punct de cotitură în dezvoltarea motoarelor de căutare, când S. Brin și L. Page de la Universitatea Stanford au fondat Google(numele original al proiectului BackRub). Ei și-au dezvoltat propriul motor de căutare, care a oferit utilizatorilor posibilitatea de a efectua căutări de înaltă calitate, ținând cont de morfologie, erori de ortografie a cuvintelor și, de asemenea, de a crește relevanța în rezultatele interogărilor.

23 septembrie 1997– a anunțat Yandex, care a devenit rapid cel mai popular motor de căutare în rândul utilizatorilor de internet vorbitori de limbă rusă. Odată cu lansarea motorului de căutare Yandex, motoarele de căutare interne au început să concureze între ele, îmbunătățind sistemul de căutare și indexare a site-urilor, oferind rezultate, precum și oferind noi servicii.

Astfel, dezvoltarea motoarelor de căutare și formarea lor poate fi caracterizată prin etapele enumerate mai sus.

Astăzi, trei lideri s-au stabilit pe piața globală - Google, Yahoo și Bing. Au propriile baze de date și proprii algoritmi de căutare. Multe alte motoare de căutare folosesc rezultatele acestor trei motoare de căutare majore. De exemplu, AOL folosește o bază de date Date Googleîn timp ce AltaVista, Lycos și AllTheWeb folosesc baza de date Yahoo.Toate celelalte motoare de căutare în diferite combinații folosesc rezultatele (problemele) sistemelor enumerate.

Dacă vom efectua o analiză similară a motoarelor de căutare populare în țările CSI, vom vedea că mail.ru difuzează cautare Google, în timp ce își aplică noile dezvoltări, Rambler, la rândul său, difuzează Yandex. Prin urmare, întreaga piață RuNet poate fi împărțită între acești doi giganți.

De aceea, în țările CSI, promovarea site-ului web, de regulă, se realizează numai în aceste două PS.

1. Introducere

Optimizarea pentru motoarele de căutare a site-urilor web include de obicei transformarea structurii site-ului web, completarea acestuia cu conținut text în funcție de interogările promovate, precum și diferite căi sporind citarea resursei. Pe lângă procesele standard de optimizare, există numeroase metode care sunt deja aplicate unui anumit motor de căutare. Desigur, motoarele de căutare sursa deschisa este încă o raritate, iar optimizatorii au multe de înțeles, dar unele modele de comportament de bază pot fi urmărite în sistemele deja stabilite.

În această clasă de master suntem cu o atingere analiza comparativa Să ne uităm la cele mai populare motoare de căutare străine și la motoarele de căutare rusești.

2. Motoare de căutare rusești

Google, Yandex și Rambler sunt considerate în prezent cele mai populare motoare de căutare din Rusia. Sistemul Yandex este mai vizitat și are rezultate relevante în măsura necesară, prin urmare, cel mai adesea, optimizatorii se angajează să promoveze resursa în acest sistem.

Să aruncăm o privire mai atentă la fiecare dintre aceste motoare de căutare.

Google

Google are propriul său analog rusesc, mai puțin popular decât cel original american, dar cu nimic inferior în ceea ce privește calitatea căutării. Google are numeroși fani în Rusia care cred că acest motor de căutare produce cele mai bune rezultate.

PageRank folosit de Google se bazează în primul rând pe popularitatea link-urilor. Acestea. Atunci când se calculează relevanța paginii, cea mai mare contribuție vine din numărul și calitatea linkurilor către pagini din alte pagini.

Pe acest moment Baza de date Google conține mai mult de un miliard de pagini indexate.

Google este unul dintre puținele motoare de căutare care vă indexează în profunzime site-ul. Google folosește popularitatea link-urilor ca factor cel mai important în determinarea relevanței unei pagini. Prin urmare, este mai ușor pentru site-urile mari și populare să se claseze în fruntea rezultatelor căutării. Acest lucru protejează, de asemenea, Google de spam.

Google consideră că următorii factori vor fi cei mai influenți în clasarea paginilor:

• Popularitatea link-ului (index de citare);
• Proximitatea și densitatea cuvintelor cheie (densitatea și frecvența cuvintelor cheie);
• Cuvinte cheie în textul linkului (cuvinte cheie în linkuri);
• Text accentuat (text accentuat).

Trăsătură distinctivă Yandex – căutare intuitivă în toate formele de cuvinte. O dezvoltare unică pentru particularitățile limbii ruse.

Catalogul Yandex folosește un astfel de concept ca index tematic de citare (TCI) . Este determinat de numărul și calitatea linkurilor externe către site-ul dvs. Calitatea legăturii este afectată de TCI-ul resursei care vă face legătura. Apropierea tematică a site-ului dvs. de resursele care vă leagă joacă un rol important.

La calcularea indexului de citare, link-uri de la forumuri, forumuri web, conferințe și site-uri situate pe hosting gratuit(dacă nu sunt descrise în catalogul Yandex). Desigur, linkurile de pe site-uri pe care Yandex nu le indexează (de exemplu, site-uri străine) nu sunt luate în considerare.

Numărul de gazde depinde de vizitatori (cu cât sunt mai multe, cu atât mai multe gazde), iar indexul de citare Yandex depinde de autorii site-ului (cu cât mai mulți autori leagă la resursa dvs., cu atât valoarea CY este mai mare).

Valoarea indexului de citare determină relevanța resursei în catalogul Yandex și, în consecință, poziția site-ului dvs. în secțiunea selectată.

Reindexarea documentelor are loc aproximativ o dată la două săptămâni, dar robotul este ajustat la fiecare site separat. Totul depinde de frecvența de actualizare. Potrivit Yandex, eticheta< meta name="Revizit-after" content="n-days">nu joacă niciun rol în funcționarea robotului.

Yandex indexează rețeaua rusă, astfel încât serverele din domeniile su, ru, am, az, by, ge, kg, kz, md, ua, uz sunt introduse în motorul de căutare. Serverele rămase sunt incluse numai dacă pe ele se găsește text în rusă.

Informații antet (etichetă< title >) Yandex se afișează în rezultatele căutării. Cuvinte din etichetă< title >, au mai multă greutate decât toți ceilalți. Cuvinte cheie din etichetă< meta>de asemenea, crește greutatea unui cuvânt dintr-un document, dar numai dacă cuvântul în sine se află pe pagină.

Pe lângă metodele de mai sus, relevanța unui cuvânt este influențată de frecvența utilizării acestuia în titluri (< h1>, < h2>...), în atributul alt, în tooltips (tag< acronym>) și procentul de apariție a acestui cuvânt în document, i.e. cat de des il folosesti. Dar, în același timp, este necesar să se păstreze sensul documentului, altfel Yandex poate lua în considerare acest cuvânt spam.

Hoinar

Este cel mai bun rubricator astăzi. Este convenabil deoarece toate resursele sunt împărțite în secțiuni, subsecțiuni etc. Mulți dintre ei participă la ratingul Top100, ceea ce ne permite să stabilim popularitatea unei anumite resurse.

Se crede că factorul fundamental pentru promovarea site-ului în Rambler este conținutul și traficul bun, măsurat cu ajutorul unui contor instalat pe site. Astfel, pozițiile înalte în clasament pot fi ocupate de un site bine promovat, de calitate și de lungă durată pe Internet, cu trafic mare.

Aport

Cel mai puțin popular dintre motoarele de căutare listate. Principalele criterii care acest sistem ia în considerare la sortarea site-urilor:

• numărul de cuvinte de căutare din textul documentului (în procente), distanța dintre cuvintele de căutare din textul documentului;
• locul din text în care apar cuvintele de căutare (titlu, descriere, metaetichetă etc.);
• aspect font în care sunt introduse cuvintele căutate în text (dimensiune, îndrăzneală, culoare);
• numărul de link-uri de pe Internet către acest document;
• utilizarea cuvântului de căutare în textul legăturilor de pe Internet către acest document.

3. Motoare de căutare străine

Motoarele de căutare străine prezentate mai jos sunt cunoscute și utilizate pe scară largă în întreaga lume. Pentru webmasteri, aceste motoare de căutare sunt cele mai importante locuri de înregistrare, deoarece au potențialul de a atrage un număr mare de vizitatori pe site. Unele dintre sistemele enumerate nu sunt motoare de căutare cu drepturi depline, ci folosesc doar resursele altor motoare de căutare binecunoscute.

Este considerat unul dintre cele mai mari motoare de căutare în funcție de numărul de pagini indexate. Sistemul a câștigat o mare popularitate datorită capacității de a căuta folosind criterii de selecție complexe. AltaVista oferă servicii suplimentare sub formă de căutare în directoare din Open Directory, LookSmart, Ask Jeeves.

Google este un motor de căutare care utilizează numărul de link-uri către un site web ca măsură principală a popularității unui site. Acest lucru este util mai ales atunci când căutați site-uri bune folosind simplu interogări de căutare. Google este renumit pentru link-urile extrem de relevante. Google are o bază de date foarte mare de site-uri indexate și oferă unele dintre rezultatele sale către Yahoo și Netscape Search.

Yahoo este cel mai popular și cel mai vechi motor de căutare. Yahoo are aproximativ 150 de editori care compun și editează conținutul directoarelor sale. Yahoo are peste 1 milion de site-uri indexate în baza de date. De asemenea, în cazul lipsei unei baze de date proprii, Yahoo folosește baza de date Google, iar anterior, trebuie spus, a folosit baza de date Inktomi.

Direct Hit măsoară numărul de clicuri. Site-urile care primesc mai multe clicuri primesc cel mai bun rating. Cunoscut ca „motorul de căutare de popularitate”.

Rezultatele Direct Hit apar și în HotBot și pot fi afișate opțional și în MSN Search.

Rezultatele sistemului sunt preluate de la LookSmart, Inktomi, RealNames și Direct Hit. Utilizatorii de căutare au o capacitate unică de a salva rezultatele căutării anterioare.

O diferență izbitoare a sistemului este că pozițiile din rezultatele căutării sunt vândute. GoTo consideră că acest lucru este mai relevant. De asemenea, este posibil să cumpărați locuri mai mari în diverse evaluări. Rezultatele neplătite sunt furnizate de Inktomi.

Acest sistem nu implementează capacitatea de a introduce un cuvânt de căutare direct, doar prin interfața altor motoare de căutare. Și sunt foarte mulți dintre ei.

O trăsătură caracteristică poate fi numită rezultate excelente pentru fiecare dintre partenerii lor din această bază. Varierea rezultatelor permite ca rezultatele unui anumit motor de căutare să difere de altele.

Acest sistem a fost completat cu ajutorul voluntarilor. După o formare suficientă, a devenit posibilă utilizarea liberă a rezultatelor acesteia. În prezent, Open Directory este folosit de Lycos, AOL Search, AltaVista și HotBot.

O caracteristică distinctivă a acestui sistem este că, atunci când introduceți un cuvânt cheie (de exemplu, o marcă de companie), puteți accesa site-ul oficial al companiei respective.

4. Caracteristici ale promovării

Indiferent de sistemul de căutare, rus sau străin, indiferent de algoritmii de filtrare, principalul criteriu de evaluare a relevanței unei resurse pentru o anumită solicitare este prezența unui conținut text de înaltă calitate, ceea ce este o veste bună. Pentru optimizatorii conștiincioși, sarcina principală atunci când promovează o resursă este, în primul rând, optimizarea conținutului site-ului, navigarea prin link-ul intern și comoditatea pentru utilizatorul direct, și nu optimizarea directă pentru un anumit motor de căutare.

Al doilea pas cel mai important atunci când promovezi în multe motoare de căutare este să ai numărul maxim de link-uri către o resursă. Deși există o opinie printre mulți utilizatori direcți că acest criteriu nu poate oferi pe deplin rezultatul, astăzi este necesar.

Putem spune că alte caracteristici de promovare pentru diferite motoare de căutare, care, sincer vorbind, nu sunt în întregime „curate”, sunt formate direct de costurile algoritmilor de filtrare ai motoarele de căutare înșiși. Astfel, motoarele de căutare în sine îi provoacă pe optimizatori să folosească trucuri. Acest lucru este valabil mai ales pentru principalele motoare de căutare rusești, care se caracterizează printr-o tendință de monopolism.

5. Concluzie

Clasa de master vă permite să evaluați diferențele fundamentale dintre giganții de căutare și să vă faceți o idee despre cum puteți obține informații mai mult sau mai puțin relevante pe Internet. Prezența a numeroase motoare de căutare creează o concurență semnificativă și, după cum știm, concurența presupune procese care vizează progresul și dezvoltarea în direcția corectă. În acest caz, prioritatea principală este încă un rezultat de calitate. Ura!

În primii ani ai dezvoltării comunității internetului, utilizatorii activi de internet erau o minoritate, iar cantitatea de informații despre resursele internetului era relativ mică. Acces la lume reteaua de informatiiÎn cea mai mare parte, doar angajații laboratoarelor științifice și ai instituțiilor de învățământ mari au avut. În general, utilizarea unei resurse de rețea nu a fost la fel de relevantă ca astăzi.

Istoria dezvoltării motoarelor de căutare

Un mare pas către răspândirea internetului în masă a fost apariția în 1990 a site-ului web info.centr.ch. Acest site a fost primul director accesibil public de site-uri de internet. Creatorul este savantul britanic Tim Berners-Lee, care este considerat și creatorul URI, HTTP, World Wide Web și URL. Din acel moment, site-urile de internet au devenit relevante nu numai în cercurile specializate de utilizatori, ci și în rândul proprietarilor obișnuiți de computere de acasă. În acest catalog, pentru comoditate, resursele informaționale au fost aranjate pe grupuri pe teme similare, ceea ce a facilitat foarte mult căutarea informațiilor.

Dar progresul nu s-a oprit aici și, în 1994, s-a născut o tehnologie de căutare dezvoltată de Universitatea Carnegie, cunoscută sub numele de Lucos. Acest director, care a fost creat de Michael Maldin, a început cu o resursă de peste 50.000 de documente. În Lucos, interogările au luat în considerare potrivirile aproximative ale interogării, iar rezultatul căutării a fost clasat în funcție de potrivirea dintre informațiile de intrare și de ieșire. Și, de asemenea, resursa a fost actualizată constant cu noi pagini de internet. În noiembrie, Lucos avea deja peste 55 de milioane de pagini și documente, mult mai mult decât orice catalog de documente la acel moment.

La sfârșitul anului 1994 a apărut resursa Infosek. A avut o serie de avantaje în raport cu alte resurse. De exemplu, adăugarea site-urilor de către un utilizator la o bază de date de directoare în timp real.

Noul monstru din industria motoarelor de căutare în 1995 a fost AltaVista. Ea a câștigat rapid popularitate în rândul utilizatorilor de internet și a ocupat o poziție de lider în domeniul său. Caracteristica sa principală a fost capacitatea de a formula interogări într-un limbaj natural, colocvial, iar utilizatorilor li sa permis, de asemenea, să adauge propriile adrese URL. Dar totuși, principalul merit al AltaVista a fost suportul pentru pachete de limbi multiple, cum ar fi coreeană, japoneză și chineză, precum și rusă.

Un pas uriaș în tehnologia de căutare a fost apariția pe internet a unui nou motor de căutare, al cărui nume este acum bine cunoscut fiecărui utilizator, și anume Google. În 1997, L. Page și S. Brin de la Universitatea Stanford au introdus noi caracteristici în algoritmii de căutare ai creierului lor. Căutarea a folosit sisteme de relevanță a rezultatelor căutării produse de sistem, iar la efectuarea unei solicitări s-a luat în considerare morfologia și eventualele erori de ortografie.

În prezent, există trei lideri principali pe piața motoarelor de căutare - Bing, Google și Yahoo. Au la dispoziție algoritmi de căutare și baze de date de producție proprie. Multe motoare de căutare, dintre care există multe, folosesc evoluțiile acestor trei titani printre motoarele de căutare.

Datorită motoarelor de căutare, omul obișnuit a devenit mai ușor să descopere întinderile vaste ale câmpului informațional. Fără dezvoltarea lor, este imposibil să se îmbunătățească modalitățile de schimb de informații între oameni.

Pe vremea când dezvoltarea Internetului abia începea, cantitatea de informații disponibile era relativ mică și utilizatorii de internet erau puțini. În fazele inițiale ale dezvoltării rețelei, aceasta a fost folosită de angajații universităților și laboratoarelor de cercetare pentru a face schimb de informații între instituții. La acea vreme, căutarea de informații pe internet nu era relevantă, spre deosebire de astăzi.

Prima modalitate de organizare și sistematizare a accesului la resursele informaționale a fost crearea directoarelor site-urilor web. Au început să grupeze legăturile în funcție de subiecte specifice.

Pionierul în zonă a fost Yahoo, care a apărut în aprilie 1994. De-a lungul timpului, numărul de site-uri a crescut și Yahoo a adăugat o opțiune de căutare în director. Nu a fost un motor de căutare în sensul cel mai adevărat, deoarece domeniul de căutare era limitat la resursele directoarelor.

Ulterior, cataloagele s-au răspândit și au început să fie folosite peste tot, dar internetul nu a stat pe loc, ci a continuat să se dezvolte. Odată cu acesta s-au dezvoltat și metode de căutare. În momentul de față, directoarele și-au pierdut aproape din popularitate, acest lucru se explică prin faptul că un director modern, chiar dacă conține o cantitate uriașă de resurse, poate oferi doar acces la o mică parte din informațiile conținute în rețea.

În zilele noastre, cel mai mare director de pe web este Open Directory Project, sau DMOZ, care conține informații despre 5 milioane de resurse, dar acesta este relativ mic în comparație, de exemplu, cu motorul de căutare Google, care conține aproximativ 8 miliarde de documente.

Un sistem de căutare cu drepturi depline a fost lansat abia în 1994, a devenit sistemul de căutare WebCrawler.

Un an mai târziu, în 1995, au apărut proiectele de motoare de căutare AltaVista și Lycos. Unul dintre ei, AltaVista, în special, a deținut o poziție de lider în domeniul căutării timp de mulți ani.

Doi ani mai târziu, în 1997, studenții de la Universitatea Stanford, Sergey Brin și Larry Page, au dezvoltat motorul de căutare Google, care este liderul în căutarea astăzi.

Anul acesta a fost și anul în care a fost anunțată oficial crearea motorului de căutare rus Yandex, care este încă lider în segmentul în limba rusă al rețelei.

În momentul de față, există doar 3 motoare de căutare care au ajuns la nivel internațional: MSN Search, Yahoo și Google. Aceste sisteme au propriile baze de date și algoritmi de căutare. Majoritatea celorlalte motoare de căutare își folosesc rezultatele. Deci Mail.ru folosește baza de date Yandex, search.aol.com folosește Google, iar Lycos, AltaVista și AllTheWeb folosesc Yahoo.

Liderul de căutare pe internetul rus în acest moment este Yandex, urmat de Rambler, urmat de Google, Mail.ru, A port și KM.ru.

Motoarele de căutare au diferiți algoritmi de operare, iar pentru a ocupa o poziție bună în rezultatele căutării și pentru a atrage vizitatori vizați, trebuie să cunoașteți caracteristicile optimizării SEO pentru diferite motoare de căutare. De exemplu

Este general acceptat că istoria primelor motoare de căutare din segmentul rus al internetului începe în 1995. Anul acesta a devenit disponibilă utilizatorilor Runet o extensie morfologică a motorului de căutare Altavista. Aproape imediat după extindere, au apărut motoarele de căutare originale Aport și Rambler, care sunt considerate primele motoare de căutare rusești.

AltaVista a fost lansat în decembrie 1995 și a fost susținut de cel mai puternic server de calcul disponibil la acea vreme, DEC Alpha. Era cel mai rapid motor de căutare care putea gestiona milioane de interogări de căutare pe zi.

Aport

Sistemul de căutare Aport a fost demonstrat publicului larg cu câteva luni înainte de Rambler, în februarie 1996. La momentul lansării, aparatul căuta doar pe site-ul russia.agama.com. Ulterior, dezvoltatorii Aport au demonstrat o lenecere extremă în dezvoltarea proiectului lor, punând la cale o căutare pentru o perioadă foarte lungă de timp, mai întâi pe 4 servere, apoi pe 6. Aport a învățat să indexeze întregul Runet abia în noiembrie 1997, moment în care a fost lansat oficial. În acest moment, un alt motor de căutare numit Rambler funcționa deja cu succes în segmentul în limba rusă.

În ciuda tuturor acestor circumstanțe, Aportu până la începutul anilor 2000. a reușit să concureze cu succes cu principalii jucători de pe piață Rambler și Yandex și să fie inclus în lista liderilor de căutare din Runet. Ulterior, compania care a creat acest sistem de căutare a fost cumpărată de un holding de telecomunicații, toată dezvoltarea a fost oprită, iar Aport și-a pierdut rapid poziția, pierzând teren în fața principalilor săi concurenți.

În acest moment, Aport este o platformă de tranzacționare electronică cu o bază de date mare de firme și companii care oferă peste 8 milioane de articole din 1.400 de categorii.

Hoinar

Echipa de la compania de telecomunicații Stack a decis să creeze un motor de căutare original rusesc încă din 1994. Până atunci, Stack avea deja o anumită experiență în lucrul cu internetul, serverele și site-urile web. Lucrând cu segmentul rusesc al internetului, specialiștii companiei au stabilit că motoarele de căutare străine practic nu percep alfabetul chirilic și paginile cu mai multe codificări și indexează foarte prost site-urile Runet.

Rambler” tradus din în limba engleză- „rătăcitor”, „vagabond”, „persoană rătăcitoare”.

Miezul noului motor de căutare a fost scris de programatorul Dmitri Kryukov în doar câteva luni. Lucrările la noua mașină au fost finanțate de compania Stack, al cărei creator Serghei Lysakov l-a ajutat activ pe Kryukov în munca sa foarte dificilă. Numele Rambler și logo-ul viitorului motor de căutare, tot Dmitry. Domeniul rambler.ru a fost înregistrat pe 26 septembrie 1996, iar pe 8 octombrie, un motor de căutare numit Rambler a fost postat de creatorul său în rețea. La acea vreme, noul motor de căutare indexase 100 de mii de documente, ceea ce a fost un pas atent și important din punct de vedere strategic care i-a permis lui Rambler să devină liderul incontestabil al căutărilor pe RuNet timp de câțiva ani.