Vilket arbete gör sökmotorspindlar? Vad är en sökrobot? Funktioner för sökroboten "Yandex" och Google. Vad gör en sökrobot?

I motsats till vad många tror är roboten inte direkt involverad i någon behandling av skannade dokument. Den läser bara och sparar dem, sedan bearbetas de av andra program. Visuell bekräftelse kan erhållas genom att analysera loggarna för en webbplats som indexeras för första gången. Vid det första besöket begär boten först robots.txt-filen och sedan webbplatsens huvudsida. Det vill säga, han följer den enda länken som han känner till. Det är här botens första besök alltid slutar. Efter en tid (vanligtvis nästa dag) begär boten följande sidor - med hjälp av länkar som finns på sidan som redan har lästs. Sedan fortsätter processen i samma ordning: att begära sidor för vilka länkar redan har hittats - en paus för att bearbeta de lästa dokumenten - nästa session med en begäran om hittade länkar.

Att analysera sidor i farten skulle betyda betydligt mer O större resursåtgång för roboten och tidsförlust. Varje skanningsserver kör flera botprocesser parallellt. De måste agera så snabbt som möjligt för att hinna läsa nya sidor och läsa om befintliga. Därför läser och sparar bots endast dokument. Vad de än sparar står i kö för bearbetning (kodanalys). Länkar som hittas under sidbearbetning placeras i en uppgiftskö för botar. Det är så hela nätverket skannas kontinuerligt. Det enda som en bot kan och bör analysera i farten är robots.txt-filen, för att inte begära adresser som är förbjudna i den. Under varje webbplatsgenomsökningssession begär roboten först den här filen, och efter den köade alla sidor för genomsökning.

Typer av sökrobotar

Varje sökmotor har sin egen uppsättning robotar för olika ändamål.
I grund och botten skiljer de sig åt i sitt funktionella syfte, även om gränserna är väldigt godtyckliga, och varje sökmotor förstår dem på sitt eget sätt. För system endast för fulltextsökning räcker det med en robot för alla tillfällen. För de sökmotorer som inte bara är engagerade i text är bots indelade i minst två kategorier: för texter och ritningar. Det finns också separata bots dedikerade till specifika typer av innehåll - mobil, blogg, nyheter, video, etc.

Google Robots

Alla Google-robotar kallas tillsammans Googlebot. Huvudrobotindexeraren "introducerar sig själv" så här:

Mozilla/5.0 (kompatibel; Googlebot/2.1; +http://www.google.com/bot.html)

Den här boten är upptagen med att skanna HTML-sidor och andra dokument Google Sök. Den läser också ibland CSS- och JS-filer - detta kan främst märkas i ett tidigt skede av webbplatsindexering, medan boten genomsöker webbplatsen för första gången. Godkända innehållstyper är alla (Acceptera: */*).

Den andra av huvudrobotarna är upptagen med att skanna bilder från webbplatsen. Det "introducerar sig själv" helt enkelt:

Googlebot-Image/1.0

Minst tre botar sågs också i loggarna, upptagna med att samla in innehåll för mobilversion Sök. Fältet User-agent för alla tre slutar med raden:

(kompatibel; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)

Innan denna linje är modellen mobiltelefon, som denna bot är kompatibel med. De prickiga botarna har modeller Nokia telefoner, Samsung och iPhone. Godkända innehållstyper är alla, men med angivna prioriteringar:

Acceptera: application/vnd.wap.xhtml+xml,application/xhtml+xml;q=0.9,text/vnd.wap.wml;q=0.8,text/html;q=0.7,*/*;q=0.6

Yandex robotar

Av de sökmotorer som är aktiva på RuNet har Yandex den största samlingen av bots. I hjälpsektionen för webbansvariga kan du hitta en officiell lista över all spindelpersonal. Det är ingen idé att presentera det här i sin helhet, eftersom ändringar sker med jämna mellanrum i denna lista.
Men de viktigaste Yandex-robotarna för oss måste nämnas separat.
Grundläggande indexeringsrobot för närvarande uppringd

Mozilla/5.0 (kompatibel; YandexBot/3.0; +http://yandex.com/bots)

Tidigare representerad som

Yandex/1.01.001 (kompatibel; Win16; I)

Läser webbplatsens HTML-sidor och andra dokument för indexering. Listan över accepterade mediatyper var tidigare begränsad:

Acceptera: text/html, application/pdf;q=0.1, application/rtf;q=0.1, text/rtf;q=0.1, application/msword;q=0.1, application/x-shockwave-flash;q=0.1, application/vnd.ms-excel;q=0.1, application/vnd.ms-powerpoint;q=0.1

Sedan den 31 juli 2009 har en betydande expansion märkts i denna lista (antalet typer har nästan fördubblats), och sedan den 10 november 2009 har listan förkortats till */* (alla typer).
Den här roboten är mycket intresserad av en mycket specifik uppsättning språk: ryska, lite mindre ukrainska och vitryska, lite mindre engelska och väldigt lite - alla andra språk.

Acceptera-språk: ru, uk;q=0,8, be;q=0,8, en;q=0,7, *;q=0,01

Robot bildskanner har följande rad i fältet User-agent:

Mozilla/5.0 (kompatibel; YandexImages/3.0; +http://yandex.com/bots)

Engagerad i att skanna grafik i olika format för att söka i bilder.

Till skillnad från Google har Yandex separata bots för att tjäna några speciella funktioner allmän sökning.
Robot "spegel"

Mozilla/5.0 (kompatibel; YandexBot/3.0; MirrorDetector; +http://yandex.com/bots)

Det gör inget särskilt komplicerat - det dyker upp med jämna mellanrum och kontrollerar om sidans huvudsida matchar när du kommer åt domänen med www. och utan. Kontrollerar även parallella "spegeldomäner" för matchningar. Uppenbarligen hanteras speglar och den kanoniska formen av domäner i Yandex separat mjukvarupaket, inte direkt relaterad till indexering. Annars finns det absolut ingenting som förklarar existensen av en separat bot för detta ändamål.

Ikonsamlare favicon.ico

Mozilla/5.0 (kompatibel; YandexFavicons/1.0; +http://yandex.com/bots)

Den dyker upp med jämna mellanrum och efterfrågar favicon.ico-ikonen, som sedan visas i sökresultaten bredvid länken till webbplatsen. Av vilka skäl bildsamlaren inte delar detta ansvar är okänt. Tydligen finns det också ett separat mjukvarupaket på gång.

Verifieringsbot för nya webbplatser, fungerar när den läggs till i AddURL-formuläret

Mozilla/5.0 (kompatibel; YandexWebmaster/2.0; +http://yandex.com/bots)

Den här boten kontrollerar webbplatsens svar genom att skicka en HEAD-förfrågan till rot-URL:n. På så sätt kontrolleras förekomsten av huvudsidan i domänen och denna sidas HTTP-rubriker analyseras. Boten begär också filen robots.txt i roten på webbplatsen. Således, efter att ha skickat länken till AddURL, fastställs det att webbplatsen existerar och varken robots.txt eller HTTP-huvuden förbjuder åtkomst till huvudsidan.

Rambler robot

Fungerar inte längre, eftersom Rambler nu använder Yandex-sökning
Rambler-indexeringsroboten kan lätt identifieras i loggarna med fältet User-agent

StackRambler/2.0 (MSIE-inkompatibel)

Jämfört med ”kollegor” från andra sökmotorer den här boten verkar ganska enkel: den specificerar inte en lista över medietyper (därefter tar den emot det begärda dokumentet av vilken typ som helst), fältet Acceptera-språk saknas i begäran och fältet Om-Ändrad-sedan hittas inte i botens förfrågningar.

Robot Mail.Ru

Lite är känt om denna robot ännu. Mail.Ru-portalen har utvecklat sin egen sökning under lång tid, men den har fortfarande inte hunnit starta den här sökningen. Därför är endast namnet på boten i User-agenten känt med säkerhet - Mail.Ru/2.0 (tidigare - Mail.Ru/1.0). Namnet på boten för direktiven för filen robors.txt har inte publicerats någonstans, det finns ett antagande om att boten ska heta Mail.Ru.

Andra robotar

Internetsökning är naturligtvis inte begränsad till två sökmotorer. Därför finns det andra robotar – till exempel Bing-roboten – sökmotorn från Microsoft och andra robotar. Så i synnerhet i Kina finns det en nationell sökmotor Baidu - men dess robot kommer sannolikt inte att nå mitten av floden och nå den ryska platsen.

Dessutom har många tjänster spridit sig på senare tid - i synnerhet solomono - som, även om de inte är sökmotorer, också skannar webbplatser. Ofta är värdet av att överföra platsinformation till sådana system tveksamt, och därför kan deras robotar förbjudas in

Hur sökmotorrobotar fungerar

En sökrobot (spindel, bot) är ett litet program som kan besöka miljontals webbplatser och skanna gigabyte med text utan operatörens inblandning. Att läsa sidor och lagra textkopior av dem är det första steget av att indexera nya dokument. Det bör noteras att sökmotorrobotar inte utför någon bearbetning av mottagna data. Deras uppgift är bara att bevara textinformation.

Fler videor på vår kanal - lär dig internetmarknadsföring med SEMANTICA

Lista över sökrobotar

Av alla sökmotorer som skannar Runet har Yandex den största samlingen av bots. Följande botar är ansvariga för indexering:

• den huvudsakliga indexeringsroboten som samlar in data från webbsidor;
• en bot som kan känna igen speglar;
• Yandex sökrobot, som indexerar bilder;
• en spindel som skannar sidorna på webbplatser som accepteras av YAN;
• robot scanning favicon ikoner;
• flera spindlar som avgör tillgängligheten för webbplatssidor.

Googles främsta sökrobot samlar in textinformation. I grund och botten ser den HTML-filer och analyserar JS och CSS med vissa intervall. Kan acceptera alla typer av innehåll som tillåts för indexering. PS Google har en spindel som styr indexeringen av bilder. Det finns också en sökrobot - ett program som stödjer funktionen hos den mobila versionen av sökningen.

Se webbplatsen genom en sökrobots ögon

För att rätta till kodfel och andra brister kan webbmastern ta reda på hur sökroboten ser på sajten. Denna möjlighet tillhandahålls av Google PS. Du måste gå till verktyg för webbansvariga och klicka sedan på fliken "genomsökning". I fönstret som öppnas måste du välja raden "visa som Googlebot". Därefter måste du ange adressen till sidan du söker i sökformuläret (utan att ange domän och http://-protokoll).

Genom att välja kommandot "hämta och visa" kommer webbmastern att visuellt kunna bedöma webbplatsens tillstånd. För att göra detta måste du klicka på kryssrutan "begäran att visa". Ett fönster öppnas med två versioner av webbdokumentet. Webbmastern lär sig hur en vanlig besökare ser sidan och i vilken form den är tillgänglig för sökspindeln.

Tips! Om webbdokumentet du analyserar ännu inte är indexerat kan du använda kommandot "lägg till i index" >> "skanna endast denna URL". Spindeln kommer att analysera dokumentet på några minuter, och inom en snar framtid kommer webbsidan att visas i sökresultaten. Den månatliga gränsen för indexeringsförfrågningar är 500 dokument.

Hur man påverkar indexeringshastigheten

Efter att ha listat ut hur sökrobotar fungerar kommer en webbansvarig att kunna marknadsföra sin webbplats mycket mer effektivt. Ett av de största problemen med många unga webbprojekt är dålig indexering. Sökmotorrobotar är ovilliga att besöka obehöriga internetresurser.
Det har konstaterats att indexeringshastigheten direkt beror på intensiteten med vilken webbplatsen uppdateras. Att regelbundet lägga till unikt textmaterial kommer att fånga sökmotorernas uppmärksamhet.

För att påskynda indexeringen kan du använda sociala bokmärken och twittertjänsten. Det rekommenderas att skapa en webbplatskarta och ladda upp den till rotkatalogen för webbprojektet.

Sökrobot kallad specialprogram någon sökmotor som är utformad för att gå in i en databas (index) webbplatser och deras sidor som finns på Internet. Namn som också används: crawler, spider, bot, automaticindexer, myra, webcrawler, bot, webscutter, webrobots, webspider.

Funktionsprincip

En sökrobot är ett program av webbläsare. Den skannar hela tiden nätverket: besöker indexerade (redan kända för det) webbplatser, följer länkar från dem och hittar nya resurser. När en ny resurs upptäcks lägger procedurroboten till den i sökmotorindexet. Sökroboten indexerar också uppdateringar på sajter, vars frekvens är fast. Till exempel kommer en webbplats som uppdateras en gång i veckan att besökas av en spindel med denna frekvens, och innehåll på nyhetssajter kan indexeras inom några minuter efter publicering. Om inga länkar från andra resurser leder till webbplatsen, måste resursen läggas till via ett speciellt formulär för att locka sökrobotar (Google Webmaster Center, Yandex Webmaster Panel, etc.).

Typer av sökrobotar

Yandex spindlar:

• Yandex/1.01.001 I - den huvudsakliga boten som är involverad i indexering,
• Yandex/1.01.001 (P) - indexerar bilder,
• Yandex/1.01.001 (H) - hittar spegelwebbplatser,
• Yandex/1.03.003 (D) - avgör om sidan som läggs till från panelen för webbansvariga uppfyller indexeringsparametrarna,
• YaDirectBot/1.0 (I) - indexerar resurser från annonsnätverk Yandex,
• Yandex/1.02.000 (F) - indexerar webbplatsfaviconer.

Google spindlar:

• Googlebot är huvudroboten
• Googlebot News - skannar och indexerar nyheter,
• Google Mobile - indexerar webbplatser för mobila enheter,
• Googlebot Images - söker och indexerar bilder,
• Googlebot Video - indexerar videor,
• Google AdsBot - kontrollerar kvaliteten på målsidan,
• Google Mobile AdSense och Google AdSense— indexerar webbplatser i Googles annonsnätverk.

Andra sökmotorer använder också flera typer av robotar som funktionellt liknar de som anges.

Hur fungerar sökmotorer? En av de underbara sakerna med Internet är att det finns hundratals miljoner webbresurser som väntar och är redo att presenteras för oss. Men det dåliga är att det finns samma miljontals sidor som, även om vi behöver dem, inte kommer att dyka upp framför oss, eftersom... helt enkelt okänt för oss. Hur får man reda på vad och var man kan hitta på Internet? För att göra detta vänder vi oss vanligtvis till sökmotorer.

Internetsökmotorer är speciella webbplatser i globalt nätverk, som är utformade för att hjälpa människor att hitta world wide web den information de behöver. Det finns skillnader i hur sökmotorer utför sina funktioner, men i allmänhet finns det tre huvudsakliga och identiska funktioner:

Alla "söker" på Internet (eller någon del av Internet) - baserat på givna nyckelord;
- Alla sökmotorer indexerar de ord de söker efter och de platser där de hittar dem;
- Alla sökmotorer tillåter användare att söka efter ord eller kombinationer av nyckelord baserat på webbsidor som redan är indexerade och inkluderade i deras databaser.

De allra första sökmotorerna indexerade upp till flera hundra tusen sidor och fick 1 000 - 2 000 förfrågningar per dag. Idag har de bästa sökmotorerna indexerat och indexerar kontinuerligt hundratals miljoner sidor och behandlar tiotals miljoner förfrågningar per dag. Nedan kommer vi att prata om hur sökmotorer fungerar och hur de "sätter ihop" all information som hittas för att kunna svara på alla frågor som intresserar oss.

Låt oss titta på webben

När folk pratar om Internet sökmotorer maskiner, menar de faktiskt sökmotorer World Wide Web. Innan webben blev den mest synliga delen av internet fanns det redan sökmotorer för att hjälpa människor att hitta information på internet. Program som heter "gopher" och "Archie" kunde indexera filer som finns på olika servrar anslutna till Internet Internet och minskade avsevärt tiden för sökning nödvändiga program eller dokument. I slutet av 80-talet av förra seklet var en synonym för "förmågan att arbeta på Internet" möjligheten att använda gopher, Archie, Veronica, etc. sökprogram. Idag begränsar de flesta internetanvändare sin sökning till endast världsomspännande nätverk, eller WWW.

En liten början

Innan vi kan berätta för dig var du kan hitta den nödvändiga handlingen eller filen måste filen eller dokumentet redan ha hittats. För att hitta information om hundratals miljoner befintliga WEB-sidor använder sökmotorn ett speciellt robotprogram. Detta program kallas även spindel ("spindel") och används för att bygga en lista med ord som finns på sidan. Processen att konstruera en sådan lista kallas webbkrypning(Webbkrypning). För att ytterligare konstruera och fånga en "användbar" (meningsfull) lista med ord, sök spindel måste "se igenom" massor av andra sidor.

Hur börjar någon? Spindel(spindel) din resa på nätet? Vanligtvis är utgångspunkten världens största servrar och mycket populära webbsidor. Spindeln börjar sin resa från en sådan sida, indexerar alla ord som hittas och fortsätter sin rörelse vidare, efter länkar till andra webbplatser. Således börjar spindelroboten täcka allt större "bitar" av webbutrymme. Google.com började som en akademisk sökmotor. I en artikel som beskriver hur denna sökmotor skapades, gav Sergey Brin och Lawrence Page (grundare och ägare av Google) ett exempel på hur snabbt Googles spindlar fungerar. Det finns flera av dem och vanligtvis börjar sökningen med användning av 3 spindlar. Varje spindel stöder upp till 300 öppna anslutningar till webbsidor samtidigt. Vid toppbelastning, med hjälp av fyra spindlar, kan Google-systemet bearbeta 100 sidor per sekund, vilket genererar trafik på cirka 600 kilobyte/sek.

För att förse spindlarna med den data de behövde bearbeta, brukade Google ha en server som inte gjorde något annat än att mata spindlarna med fler och fler webbadresser. För att inte vara beroende av internetleverantörer när det gäller domännamnservrar (DNS) som översätter webbadresser till IP-adresser, skaffade Google sina egna DNS-server, vilket minskar all tid som spenderas på att indexera sidor till ett minimum.

När Google Robot besöker HTML-sida, det tar hänsyn till 2 saker:

Ord (text) per sida;
- deras plats (i vilken del av sidans brödtext).

Ord som ligger med serviceavsnitt som t.ex titel, undertexter, metataggar och andra flaggades som särskilt viktiga för användarsökningar. Google Spider byggdes för att indexera alla liknande ord på en sida, med undantag för interjektioner som "a", "an" och "the." Andra sökmotorer har en något annorlunda inställning till indexering.

Alla sökmotorers tillvägagångssätt och algoritmer syftar ytterst till att få spindelrobotar att arbeta snabbare och mer effektivt. Till exempel spårar vissa sökrobotar ord i titeln, länkar och upp till 100 vanligast använda ord på en sida under indexering, och till och med vart och ett av orden i de första 20 raderna med textinnehåll på sidan. Detta är i synnerhet Lycos indexeringsalgoritm.

Andra sökmotorer, som AltaVista, går åt andra hållet och indexerar varje enskilt ord på en sida, inklusive "a", "an", "the" och andra oviktiga ord.

Metataggar

Metataggar tillåter ägaren av en webbsida att ange nyckelord och begrepp som definierar kärnan i dess innehåll. Detta är ett mycket användbart verktyg, speciellt när dessa nyckelord kan upprepas upp till 2-3 gånger i texten på sidan. I det här fallet kan metataggar "dirigera" sökroboten till önskat urval av sökord för att indexera sidan. Det finns en möjlighet att "fuska" metataggar med populära sökfrågor och koncept som inte på något sätt är relaterade till själva sidans innehåll. Sökrobotar kan bekämpa detta genom att till exempel analysera korrelationen mellan metataggar och innehållet på en webbsida, och "slänga ut" de metataggar (respektive nyckelord) som inte motsvarar innehållet på sidorna.

Allt detta gäller de fall då ägaren av en webbresurs verkligen vill inkluderas i sökresultaten för de önskade sökorden. Men det händer ofta att ägaren inte alls vill bli indexerad av roboten. Men sådana fall är inte ämnet för vår artikel.

Indexkonstruktion

När spindlarna har avslutat sitt arbete med att hitta nya webbsidor måste sökmotorerna placera all information som hittas så att det är bekvämt att använda den i framtiden. Det är 2 nyckelkomponenter som är viktiga här:

Information lagrad med data;
- den metod med vilken denna information indexeras.

I det enklaste fallet kan en sökmotor helt enkelt placera ordet och webbadressen där det finns. Men detta skulle göra sökmotorn till ett helt primitivt verktyg, eftersom det inte finns någon information om vilken del av dokumentet detta ord finns i (metataggar eller i vanlig text), om detta ord används en gång eller upprepade gånger, och om det är finns i en länk till en annan viktig och relaterad resurs. Med andra ord kommer den här metoden inte att rangordna webbplatser, inte ge användarna relevanta resultat, etc.

För att förse oss med användbar data lagrar sökmotorer inte bara information från ordet och dess URL. En sökmotor kan spara data om antalet (frekvensen) av omnämnanden av ett ord på en sida, tilldela ordet en "vikt", vilket sedan hjälper till att skapa söklistor (resultat) baserat på den viktade rankningen för detta ord, med ta hänsyn till dess plats (i länkar, metataggar, sidtitel och så vidare.). Varje kommersiell sökmotor har sin egen formel för att beräkna "vikten" av sökord under indexering. Detta är en av anledningarna till detsamma Sök fråga sökmotorer ger helt andra resultat.

Nästa viktig poäng vid bearbetning av hittad information - dess kodning för att minska mängden diskutrymme för att lagra den. Till exempel beskriver den ursprungliga Google-artikeln att 2 byte (8 bitar vardera) används för att lagra viktdata för ord - detta tar hänsyn till typen av ord (versaler eller versaler), storleken på själva bokstäverna (Teckensnitt- Storlek) och annan information som hjälper till att rangordna webbplatsen. Varje sådan "bit" information kräver 2-3 bitar av data i en komplett 2-byte uppsättning. Som ett resultat kan en enorm mängd information lagras i en mycket kompakt form. När informationen är "komprimerad" är det dags att börja indexera.

Indexering har ett mål: att säkerställa maximalt snabbsökning nödvändig information. Det finns flera sätt att bygga index, men det mest effektiva är att bygga hashtabeller(hashtabell). Hashing använder en specifik formel för att tilldela ett numeriskt värde till varje ord.

På vilket språk som helst finns det bokstäver som många fler ord börjar med än med resten av bokstäverna i alfabetet. Till exempel finns det betydligt fler ord som börjar med bokstaven "M" i den engelska ordboksdelen än de som börjar med bokstaven "X". Det betyder att det tar längre tid att söka efter ett ord som börjar med den mest populära bokstaven än något annat ord. Hashing(Hashing) utjämnar denna skillnad och minskar den genomsnittliga söktiden, och separerar även själva indexet från den verkliga datan. En hashtabell innehåller hashvärden tillsammans med en pekare till data som motsvarar det värdet. Effektiv indexering + effektiv placering ger tillsammans hög sökhastighet, även om användaren ställer en mycket komplex sökfråga.

Sökmotorernas framtid

En sökning baserad på booleska operatorer ("och", "eller", "inte") är en bokstavlig sökning - sökmotorn tar emot sökorden precis som de skrevs in. Detta kan orsaka problem när, till exempel, det inmatade ordet har flera betydelser. "Nyckel" kan till exempel betyda "ett sätt att öppna en dörr", eller det kan betyda ett "lösenord" för att logga in på en server. Om du bara är intresserad av en betydelse av ett ord, behöver du uppenbarligen inte data om dess andra betydelse. Du kan naturligtvis bygga en bokstavlig fråga som kommer att utesluta utdata baserat på den onödiga betydelsen av ett ord, men det skulle vara trevligt om sökmotorn i sig kunde hjälpa dig.

Ett område för forskning om framtida sökmotoralgoritmer är konceptuell informationsinhämtning. Dessa är algoritmer som använder statistisk analys av sidor som innehåller ett givet sökord eller en viss fras för att hitta relevant data. Det är tydligt att en sådan "konceptuell sökmotor" skulle kräva mycket mer lagringsutrymme för varje sida och mer tid för att behandla varje begäran. För närvarande arbetar många forskare med detta problem.

Inte mindre intensivt arbete bedrivs inom området för att utveckla sökalgoritmer baserade på frågor. naturligt språk(Natural-Language-fråga).

Tanken bakom naturliga frågor är att du kan skriva din fråga som om du frågade en kollega som sitter mittemot dig. Du behöver inte oroa dig för booleska operatorer eller anstränga dig för att komponera komplex fråga. Dagens mest populära söksajt för naturligt språk är AskJeeves.com. Den konverterar frågan till nyckelord, som den sedan använder vid indexering av webbplatser. Detta tillvägagångssätt fungerar bara för enkla frågor. Men framstegen står inte stilla, det är möjligt att vi mycket snart kommer att "prata" med sökmotorer på vårt eget "mänskliga språk".

Vänner, jag välkomnar er igen! Nu ska vi titta på vad sökrobotar är och prata i detalj om Googles sökrobot och hur man blir vän med dem.

Först måste du förstå vad sökrobotar faktiskt är; de kallas också spindlar. Vilket arbete gör sökmotorspindlar?

Det här är program som kontrollerar webbplatser. De tittar igenom alla inlägg och sidor på din blogg, samlar in information som de sedan överför till databasen för sökmotorn som de arbetar för.

Du behöver inte känna till hela listan över sökrobotar, det viktigaste är att veta att Google nu har två huvudspindlar, kallade "panda" och "pingvin". De kämpar mot innehåll av låg kvalitet och skräplänkar, och du måste veta hur du kan avvärja deras attacker.

Sökroboten Google Panda skapades för att endast marknadsföra material av hög kvalitet i sökningar. Alla webbplatser med innehåll av låg kvalitet sänks i sökresultaten.

Denna spindel dök upp första gången 2011. Innan dess uppkomst var det möjligt att marknadsföra vilken webbplats som helst genom att publicera en stor mängd text i artiklar och använda en enorm mängd sökord. Tillsammans ledde dessa två tekniker till innehåll som inte är av hög kvalitet högst upp i sökresultaten, och bra webbplatser sänktes i sökresultaten.

"Panda" ordnade omedelbart saker genom att kolla alla sajter och sätta alla på sina rätta platser. Även om det kämpar med innehåll av låg kvalitet, är det nu möjligt att marknadsföra även små sajter med högkvalitativa artiklar. Även om det tidigare var meningslöst att marknadsföra sådana sajter kunde de inte konkurrera med jättar som har en stor mängd innehåll.

Nu kommer vi att ta reda på hur du kan undvika "panda"-sanktionerna. Du måste först förstå vad hon inte gillar. Jag skrev redan ovan att hon kämpar med dåligt innehåll, men vilken typ av text som är dålig för henne, låt oss ta reda på det så att vi inte publicerar det på vår hemsida.

Sökroboten Google strävar efter att säkerställa att denna sökmotor endast tillhandahåller material av hög kvalitet för arbetssökande. Om du har artiklar som innehåller lite information och inte är attraktiva till utseendet, skriv om dessa texter omedelbart så att "pandan" inte når dig.

Högkvalitativt innehåll kan vara både stort och litet, men om spindeln ser en lång artikel med mycket information, kommer det att vara mer användbart för läsaren.

Då måste du notera dubbelarbete, med andra ord plagiat. Om du tror att du kommer att skriva om andras artiklar på din blogg, kan du omedelbart sätta stopp för din webbplats. Kopiering straffas strängt genom att använda ett filter, och Plagiat kontrolleras mycket lätt, jag skrev en artikel om ämnet hur man kontrollerar texter för unika.

Nästa sak att lägga märke till är övermättnaden av texten med nyckelord. Den som tror att de kan skriva en artikel med enbart nyckelord och ta förstaplatsen i sökresultaten har väldigt fel. Jag har en artikel om hur man kontrollerar sidor för relevans, se till att läsa den.

Och en annan sak som kan locka en "panda" till dig är gamla artiklar som är moraliskt föråldrade och inte för trafik till webbplatsen. De behöver definitivt uppdateras.

Det finns också en Google sökrobot "pingvin". Denna spindel bekämpar spam och skräplänkar på din webbplats. Den beräknar också köpta länkar från andra resurser. För att inte vara rädd för denna sökrobot bör du därför inte köpa länkar, utan publicera högkvalitativt innehåll så att folk länkar till dig själva.

Låt oss nu formulera vad som behöver göras för att webbplatsen ska se perfekt ut genom en sökrobots ögon:

• För att skapa kvalitetsinnehåll bör du först undersöka ämnet väl innan du skriver artikeln. Då måste du förstå att folk verkligen är intresserade av detta ämne.

• Använda sig av specifika exempel och bilder, detta kommer att göra artikeln livlig och intressant. Dela upp texten i små stycken för att göra den lätt att läsa. Om du till exempel öppnar en sida med skämt i en tidning, vilka kommer du att läsa först? Naturligtvis läser varje person först korta texter, sedan längre och sist långa fotinpackningar.

• "Pandans" favoritkäbbel är bristen på relevans för en artikel som innehåller föråldrad information. Följ uppdateringarna och ändra texterna.

• Håll reda på nyckelordstätheten; Jag skrev ovan hur man bestämmer denna densitet; i tjänsten jag beskrev får du det exakta antal sökord som krävs.

• Plagiera inte, alla vet att du inte kan stjäla andras saker eller sms – det är samma sak. Du kommer att straffas för stöld genom att fastna i filtret.

• Skriv texter på minst två tusen ord, så kommer en sådan artikel att se informativ ut genom sökmotorrobotarnas ögon.

• Håll dig vid ämnet med din blogg. Om du driver en blogg om att tjäna pengar på Internet behöver du inte publicera artiklar om luftgevär. Detta kan sänka betyget på din resurs.

• Designa dina artiklar vackert, dela in dem i stycken och lägg till bilder så att du tycker om att läsa och inte vill lämna webbplatsen snabbt.

• När du köper länkar, gör dem till de mest intressanta och användbara artiklarna som folk faktiskt kommer att läsa.

Nåväl, nu vet du vad sökmotorrobotar gör och du kan vara vän med dem. Och viktigast av allt, Googles sökrobot och "panda" och "pingvin" har studerats i detalj av dig.