Kaip veikia Google paieška? Crawling, indeksavimas ir reitingavimas

Google paieška veikia keliais etapais: puslapių atradimu ir nuskaitymu, indeksavimu bei rezultatų pateikimu pagal konkrečią užklausą. Šiame gide paaiškiname visą procesą praktiškai.

Google paieška neveikia taip, kad vartotojui įvedus užklausą Google tuo momentu pradėtų naršyti visą internetą. Didžiąją dalį darbo paieškos sistema būna atlikusi iš anksto - atradusi puslapius, juos nuskaitydama, analizuodama ir saugodama informaciją savo indekse.

Supaprastintai visą procesą galima suskirstyti į tris pagrindinius etapus: crawling, indexing ir rezultatų pateikimą bei reitingavimą.

1. Crawling - kaip Google atranda svetainės puslapius?

Crawling yra procesas, kurio metu Google crawleriai, dažniausiai vadinami Googlebot, atranda ir aplanko URL.

Google neturi vieno centrinio visų interneto puslapių sąrašo, todėl naujus ir atnaujintus URL turi nuolat atrasti.

Kaip Google randa naujus URL?

Dažniausi atradimo šaltiniai yra:

  • vidinės nuorodos iš jau žinomų svetainės puslapių;
  • nuorodos iš kitų svetainių;
  • sitemap.xml failas;
  • anksčiau Google jau žinoti URL;
  • kiti Google sistemų naudojami atradimo mechanizmai.

Dėl to vidinės nuorodos yra svarbios ne vien vartotojui. Jos padeda crawleriams suprasti, kokie puslapiai egzistuoja ir kaip jie tarpusavyje susiję.

Plačiau skaitykite apie vidines nuorodas ir sitemap.xml.

Ar sitemap garantuoja indeksavimą?

Ne. Sitemap padeda Google atrasti URL ir parodo, kuriuos puslapius svetainės savininkas laiko svarbiais, tačiau vien URL įtraukimas į sitemap negarantuoja, kad puslapis bus indeksuotas ar gerai reitinguojamas.

robots.txt ir crawling

robots.txt failas gali nurodyti crawler'iui, kurių URL jis neturėtų prašyti.

Pavyzdžiui:

User-agent: *
Disallow: /vidinis-katalogas/

Tai yra crawling valdymo priemonė, o ne universalus puslapio pašalinimo iš Google metodas.

Jeigu URL Google jau žino iš kitų šaltinių, vien robots.txt blokavimas tam tikrais atvejais nereiškia, kad pats URL niekada negalės pasirodyti paieškoje.

Jei tikslas yra neleisti puslapio indeksuoti, dažniausiai aktualus noindex, tačiau tam Google turi turėti galimybę puslapį nuskaityti ir perskaityti šią direktyvą.

Plačiau: robots.txt failas ir noindex bei indeksavimo leidimas.

Serverio atsakymas ir HTTP būsenos kodas

Googlebot aplankęs URL pirmiausia gauna HTTP atsakymą.

Pavyzdžiui:

  • 200 - puslapis sėkmingai pasiekiamas;
  • 301 arba 308 - nuolatinis peradresavimas;
  • 404 arba 410 - resursas neegzistuoja;
  • 5xx - serverio klaida.

Šis atsakymas daro didelę įtaką tam, ką Google su URL darys toliau.

Jeigu svarbus puslapis grąžina 500 klaidą arba patenka į ilgą redirect chain, problema atsiranda dar prieš turinio analizę.

Plačiau: HTTP būsenos kodai.

Google gali renderinti JavaScript

Šiuolaikinės svetainės dažnai dalį turinio sukuria JavaScript pagalba. Google Search crawling proceso metu gali renderinti puslapį naudodama Chrome pagrindu veikiančią sistemą ir vykdyti JavaScript.

Tai reiškia, kad JavaScript savaime nėra SEO problema.

Problemos atsiranda tada, kai:

  • turinys neatsiranda dėl JavaScript klaidos;
  • API Googlebot nepasiekiamas;
  • renderinimas labai priklauso nuo vartotojo veiksmų;
  • svarbios nuorodos sukurtos taip, kad crawleris jų negali normaliai sekti;
  • serveris grąžina netinkamą HTTP statusą dar prieš renderinimą.

2. Indexing - kaip Google supranta puslapį?

Nuskaitytas puslapis nebūtinai automatiškai patenka į Google indeksą.

Indexing etape Google analizuoja puslapio turinį ir įvairius jo signalus.

Tarp jų gali būti:

  • pagrindinis tekstinis turinys;
  • title;
  • antraštės;
  • paveikslėliai ir jų atributai;
  • nuorodos;
  • kalba;
  • struktūrizuoti duomenys;
  • canonical ir kiti techniniai signalai.

Canonical pasirinkimas vyksta indeksavimo metu

Jeigu Google aptinka kelis labai panašius ar identiškus URL, sistema gali juos sugrupuoti ir pasirinkti vieną reprezentacinį URL - canonical.

Pavyzdžiui, tas pats produktas teoriškai gali būti pasiekiamas per:

/produktas/
/produktas/?utm_source=facebook
/kategorija/produktas/

Svetainė gali nurodyti pageidaujamą canonical, tačiau galutinį reprezentacinį URL Google pasirenka pagal kelis signalus.

rel="canonical" yra stiprus signalas, tačiau ne absoliuti komanda.

Plačiau: canonical nuoroda ir canonical URL sutapimas.

Kodėl Google gali neindeksuoti puslapio?

Techniškai pasiekiamas puslapis vis tiek nebūtinai bus įtrauktas į indeksą.

Dažnos priežastys:

  • noindex direktyva;
  • puslapis laikomas dubliuotu kitu URL;
  • labai mažai unikalaus ar naudingo turinio;
  • puslapis yra soft 404;
  • Google dar neperžiūrėjo naujo ar atnaujinto URL;
  • svetainėje egzistuoja labai daug mažos vertės URL;
  • techninės ar serverio problemos.

Google pati nurodo, kad crawling ir net sėkmingas puslapio apdorojimas negarantuoja indeksavimo.

Crawled - currently not indexed

Google Search Console kartais rodo būseną, reiškiančią, kad Google URL jau aplankė, tačiau šiuo metu jo neįtraukė į indeksą.

Tokiu atveju nereikėtų automatiškai ieškoti vien techninės klaidos.

Verta vertinti:

  • ar puslapis turi savarankišką vertę;
  • ar nėra beveik identiškas kitam puslapiui;
  • ar turinys nėra labai plonas;
  • ar puslapį palaiko vidinės nuorodos;
  • ar jis apskritai turi aiškią paieškos paskirtį.

3. Rezultatų pateikimas ir reitingavimas

Kai vartotojas įveda paieškos užklausą, Google ieško ne visame internete realiu laiku, o pirmiausia savo jau sukurtame indekse.

Tada automatinės sistemos bando nustatyti, kurie indeksuoti puslapiai konkrečiai užklausai yra tinkamiausi ir naudingiausi.

Nėra vieno bendro „Google SEO balo“

Google naudoja daug skirtingų sistemų ir signalų. Todėl SEO nereikėtų interpretuoti kaip vieno skaičiaus, kuriame, pavyzdžiui, title duoda 10 taškų, backlinkas 20, o H1 dar 5.

Skirtingoms užklausoms gali būti svarbus skirtingas kontekstas.

Paieškos intencija

Vienas iš svarbiausių klausimų yra: ko vartotojas iš tikrųjų nori?

Pavyzdžiui:

kas yra seo

greičiausiai turi informacinę intenciją.

seo paslaugos

jau daug labiau komercinė užklausa.

Todėl net techniškai puikus informacinis straipsnis nebūtinai turėtų aplenkti paslaugų puslapius pagal komercinę užklausą.

Relevantiškumas nėra vien exact-match raktažodis

Google gali suprasti temos kontekstą daug plačiau nei vien konkretų raktažodį.

Geras puslapis paprastai:

  • aiškiai turi vieną pagrindinę paskirtį;
  • atsako į vartotojo klausimą;
  • padengia svarbias potemes;
  • naudoja suprantamą struktūrą;
  • turi susijusias vidines nuorodas;
  • nekuria teksto vien paieškos robotui.

Google vertina ne tik puslapį izoliuotai

Dauguma pagrindinių ranking sistemų daugiausia dirba puslapio lygiu, tačiau Google taip pat naudoja tam tikrus platesnius svetainės signalus.

Todėl visas domenas gali suteikti papildomą kontekstą apie svetainės paskirtį, temas ir patikimumą, tačiau tai nereiškia, kad kiekvienas vieno domeno puslapis automatiškai gauna vienodą vertinimą.

Turinio kokybė ir naudingumas

Google oficialiai akcentuoja žmonėms kuriamą, naudingą ir patikimą turinį.

Praktiškai tai reiškia, kad puslapis turėtų ne tik naudoti tinkamus raktažodžius, bet ir realiai padėti lankytojui atlikti jo tikslą.

Originalūs duomenys, reali patirtis, konkretūs pavyzdžiai ir gilus temos supratimas gali suteikti daug daugiau vertės nei dar vienas bendrinis konkurentų tekstų perrašymas.

Ar aukšta pozicija yra nuolatinė?

Ne.

Google nuolat perskaičiuoja rezultatus, iš naujo nuskaito puslapius ir atnaujina savo sistemas.

Poziciją gali keisti:

  • naujas konkurentų turinys;
  • jūsų puslapio pakeitimai;
  • naujos nuorodos;
  • vartotojo lokacija ir kalba;
  • pačios Google sistemų atnaujinimai;
  • užklausos kontekstas.

Todėl SEO pozicijų svyravimas savaime dar nereiškia problemos.

Kiek laiko užtrunka, kol Google pamato pakeitimus?

Vieno termino nėra.

Kai kuriuos dažnai lankomus puslapius Google gali pakartotinai nuskaityti greitai, kitų gali neaplankyti ilgesnį laiką.

Pakeitimas taip pat nebūtinai iš karto pakeičia pozicijas, nes po crawling dar vyksta indeksavimo ir reitingavimo procesai.

Kaip patikrinti konkretų URL?

Google Search Console URL Inspection įrankis gali parodyti, ar Google žino URL, ar jis indeksuotas, kokį canonical Google pasirinko ir kitą diagnostinę informaciją.

Tačiau vien Search Console būsena nereikėtų vertinti izoliuotai. Svarbu žiūrėti ir į realius parodymus, paspaudimus bei tai, ar puslapis apskritai atitinka vartotojų užklausas.

Ką SEO specialistas realiai gali paveikti?

SEO specialistas negali nurodyti Google „rodyk šį puslapį pirmoje vietoje“.

Galima pagerinti sąlygas, pagal kurias paieškos sistema gali puslapį atrasti, suprasti ir įvertinti:

  • sutvarkyti crawling ir indeksavimo problemas;
  • sukurti aiškią svetainės architektūrą;
  • pagerinti turinio kokybę;
  • atitikti paieškos intenciją;
  • stiprinti vidines nuorodas;
  • gerinti techninę svetainės būklę;
  • auginti prekės ženklo ir domeno autoritetą.

SEO yra ne bandymas kontroliuoti Google algoritmą, o darbas su svetaine taip, kad jos vertę būtų lengviau suprasti tiek paieškos sistemoms, tiek žmonėms.

Kaip visi etapai susiję?

Galima turėti puikų turinį, bet jei Google negali jo nuskaityti - jis nebus normaliai apdorotas.

Galima būti puikiai crawl'inamam, bet jei puslapis turi noindex - jis nepasirodys rezultatuose.

Galima būti indeksuotam, bet jei turinys neatitinka užklausos arba nėra pakankamai konkurencingas - puslapis gali būti labai žemai.

Todėl SEO reikia vertinti kaip visą grandinę:

Atradimas
↓
Crawling
↓
Rendering
↓
Indexing
↓
Canonical pasirinkimas
↓
Reitingavimas
↓
Paieškos rezultatas

Nuo ko pradėti?

Jeigu nežinote, kuriame etape svetainėje yra problema, pirmiausia verta patikrinti techninę būklę ir indeksavimą.

Greitam pagrindinių crawling, canonical, robots, turinio ir kitų techninių problemų patikrinimui galite naudoti nemokamą Adweb SEO auditą.

Jeigu norite sistemingai auginti organinį matomumą, peržiūrėkite mūsų SEO paslaugas.

Oficialus šaltinis

Šio gido pagrindiniai crawling, indexing ir Google Search veikimo principai remiasi oficialia Google Search Central dokumentacija „In-depth guide to how Google Search works“.

Norite sustiprinti svetainės matomumą?

Jei reikia ne tik teorijos, bet ir SEO strategijos, techninių pataisymų bei nuoseklaus augimo plano, galime padėti tai įgyvendinti praktiškai.