Google indeksavimas ir svetainės nuskaitymas yra vienas pagrindinių techninio SEO etapų. Kad puslapis galėtų būti rodomas Google paieškoje, paieškos sistema pirmiausia turi sužinoti apie jo egzistavimą, galėti jį pasiekti ir nuspręsti, ar puslapį verta įtraukti į indeksą.
Todėl prieš optimizuojant antraštes, tekstus ar raktažodžius verta įsitikinti, kad svarbiausi svetainės URL apskritai gali būti tinkamai nuskaityti ir indeksuojami.
Kaip Google atranda puslapius?
Google gali atrasti naują URL keliais būdais. Dažniausiai tai vyksta per vidines ir išorines nuorodas, XML sitemap arba jau žinomų puslapių pakartotinį nuskaitymą.
Dėl to gera svetainės struktūra ir vidinis linkinimas svarbūs ne tik vartotojui. Jie taip pat padeda crawleriams atrasti svetainės turinį.
Visą procesą nuo puslapio atradimo iki jo pateikimo paieškos rezultatuose išsamiau paaiškiname gide Kaip veikia Google paieška?.
Crawling ir indexing nėra tas pats
Crawling reiškia puslapio nuskaitymą, o indexing - jo informacijos apdorojimą ir galimą įtraukimą į paieškos indeksą.
Google gali sėkmingai nuskaityti URL, tačiau nuspręsti jo neindeksuoti. Todėl faktas, kad Googlebot apsilankė puslapyje, dar nereiškia, kad URL būtinai bus matomas paieškoje.
Lygiai taip pat sitemap faile esantis URL nėra automatinė indeksavimo garantija.
Robots.txt
robots.txt failas naudojamas crawlerio prieigai prie tam tikrų svetainės dalių valdyti.
Jis gali būti naudingas, kai nenorime, kad robotai be reikalo crawlintų techninius URL, filtrų parametrus ar kitas svetainės sritis.
Tačiau robots.txt nereikėtų naudoti kaip universalaus būdo pašalinti puslapį iš Google rezultatų. Jeigu URL jau žinomas Google iš kitų šaltinių, jo blokavimas gali neleisti Google perskaityti puslapyje esančių indeksavimo direktyvų.
Plačiau apie tai skaitykite temoje apie robots.txt.
Noindex
noindex naudojamas tada, kai puslapis gali būti pasiekiamas crawlerio, tačiau nenorime, kad jis būtų įtrauktas į paieškos indeksą.
Jis dažnai naudojamas vidinės paieškos rezultatams, tam tikriems techniniams puslapiams ar kitam turiniui, kuris neturi savarankiškos vertės Google paieškoje.
Vienas pavojingiausių techninių scenarijų yra netyčinis noindex svarbiame komerciniame puslapyje.
Todėl po svetainės migracijos, testinės versijos paleidimo ar SEO įskiepio nustatymų pakeitimų verta patikrinti, ar svarbūs URL nėra netyčia uždrausti indeksuoti.
XML sitemap
XML sitemap pateikia paieškos sistemoms sąrašą URL, kuriuos svetainės savininkas laiko svarbiais indeksavimui.
Sitemap ypač naudinga didesnėse svetainėse, el. parduotuvėse, naujienų portaluose ir svetainėse, kuriose dažnai atsiranda naujų puslapių.
Tačiau sitemap neturėtų būti naudojama kaip prastos vidinės struktūros pakaitalas.
Jeigu puslapis toks svarbus, kad norime jį indeksuoti, paprastai jis turėtų turėti ir logiškų vidinių nuorodų iš kitų svetainės vietų.
Plačiau: XML sitemap ir SEO.
Canonical
rel="canonical" padeda nurodyti pageidaujamą puslapio versiją, kai keli URL turi tokį patį arba labai panašų turinį.
Pavyzdžiui, tas pats produktas kartais gali būti pasiekiamas per kelis URL su skirtingais parametrais. Canonical gali padėti paieškos sistemai suprasti, kuris adresas turėtų būti laikomas pagrindiniu.
Tačiau canonical nėra absoliuti komanda. Paieškos sistema gali pasirinkti kitą canonical URL, jeigu kiti svetainės signalai prieštarauja nurodytai versijai.
Todėl svarbu, kad canonical, vidinės nuorodos, sitemap ir peradresavimai tarpusavyje būtų nuoseklūs.
Plačiau: canonical žyma ir pagrindinė URL versija.
HTTP būsenos kodai
Serverio HTTP atsakas padeda crawlerui suprasti, kas įvyko bandant pasiekti konkretų URL.
- 200 - puslapis sėkmingai pasiekiamas;
- 301 arba 308 - URL perkeltas į kitą adresą;
- 404 arba 410 - turinys nerastas arba pašalintas;
- 5xx - serverio klaida.
Neteisingas status code gali suklaidinti tiek crawlerį, tiek vartotoją. Pavyzdžiui, neegzistuojantis puslapis neturėtų grąžinti 200 OK vien todėl, kad rodomas gražus klaidos šablonas.
404 ir soft 404
404 puslapiai yra normali interneto dalis. Problema nėra pats 404 statusas, o tai, kodėl jis atsirado ir ar į tokį URL vis dar veda svarbios nuorodos.
Soft 404 dažniausiai reiškia situaciją, kai puslapis atrodo kaip neegzistuojantis arba beveik neturi turinio, tačiau serveris vis tiek grąžina 200.
Po svetainės migracijų ar URL struktūros pakeitimų verta patikrinti, ar seni svarbūs adresai nukreipti į tinkamiausias naujas versijas.
Peradresavimai
301 peradresavimas paprastai naudojamas tada, kai puslapis visam laikui perkeltas į kitą URL.
Jis ypač svarbus keičiant:
paslaugų URL, produktų adresus, kategorijų struktūrą, domeną arba visą svetainės architektūrą.
Jeigu senas URL turi istoriją, išorinių nuorodų ar organinio srauto, jo tiesiog ištrinti dažniausiai nėra geriausias sprendimas.
Tuo pačiu nereikėtų visų pašalintų puslapių automatiškai nukreipti į pagrindinį puslapį. Redirect turėtų vesti į prasmingiausią atitinkamą alternatyvą.
Redirect chain
Kai vienas URL peradresuojamas į antrą, antras į trečią ir taip toliau, susidaro peradresavimų grandinė.
Pavyzdžiui:
/senas-url/ → /kitas-url/ → /naujas-url/
Jeigu žinoma galutinė puslapio vieta, geriau pirmą URL iš karto nukreipti į galutinį adresą ir atnaujinti vidines nuorodas.
Crawled - currently not indexed
Google Search Console kartais gali parodyti būseną „Crawled - currently not indexed“.
Tai reiškia, kad Google URL jau aplankė, tačiau tuo metu jo neįtraukė į indeksą.
Tokia būsena nebūtinai reiškia vieną konkrečią techninę klaidą.
Vertėtų įvertinti:
ar puslapis turi pakankamai savarankiškos vertės, ar nėra labai panašus į kitus URL, ar turi vidinių nuorodų, ar jo paskirtis aiški ir ar visas svetainės kontekstas rodo, kad tai svarbus puslapis.
Discovered - currently not indexed
Šiuo atveju Google žino apie URL, tačiau jo dar gali būti nenuskaitęs.
Naujose arba sparčiai augančiose svetainėse tai nebūtinai yra problema. Tačiau jeigu svarbūs URL ilgą laiką lieka tokioje būsenoje, verta peržiūrėti vidinį linkinimą, sitemap, serverio stabilumą ir bendrą puslapių kokybę.
Indexavimo problema ne visada yra techninė
Dažna klaida - kiekvieną neindeksuojamą puslapį bandyti taisyti techniniais nustatymais.
Jeigu robots, canonical, status code ir kiti techniniai signalai tvarkingi, problema gali būti pats puslapis.
Pavyzdžiui, svetainėje gali būti šimtai beveik identiškų filtrų, lokacijų arba labai plono turinio URL, kurių Google tiesiog nelaiko vertais atskiro indeksavimo.
Tokiu atveju daugiau sitemap ar papildomų request indexing paspaudimų problemos neišspręs.
JavaScript ir crawling
JavaScript naudojimas savaime nereiškia, kad Google negalės indeksuoti svetainės. Tačiau svarbus turinys, navigacija ir nuorodos neturėtų būti priklausomi nuo trapios ar klaidas generuojančios implementacijos.
Jeigu pagrindinis turinys atsiranda tik po sudėtingų API užklausų arba skriptas nepasileidžia crawlerio aplinkoje, gali atsirasti skirtumas tarp to, ką mato vartotojas ir ką gauna paieškos sistema.
Susijusias temas rasite Techninio SEO ir svetainės greičio kategorijoje.
Vidinės nuorodos ir puslapių atradimas
Vidinė nuoroda yra vienas paprasčiausių būdų parodyti paieškos sistemai, kad konkretus puslapis yra reali svetainės struktūros dalis.
Jeigu naujas straipsnis yra tik sitemap faile, bet į jį nenurodo nė vienas svetainės puslapis, jo svarba svetainės architektūroje nėra labai aiški.
Dėl to indeksavimas glaudžiai susijęs su svetainės struktūra ir vidinėmis nuorodomis.
Ar reikia viską indeksuoti?
Ne. Daugiau indeksuojamų URL savaime nereiškia stipresnio SEO.
Svetainėje gali egzistuoti puslapių, kurie reikalingi vartotojui ar sistemai, bet neturi vertės atskiro Google rezultato forma.
Pavyzdžiui, tam tikri filtrų URL, vidinės paieškos rezultatai, prisijungimo puslapiai ar techniniai parametrai nebūtinai turi būti indeksuojami.
Svarbiau turėti aiškų ir kokybišką indeksuojamų puslapių rinkinį nei stengtis į Google indeksą įtraukti kiekvieną generuojamą URL.
Sitemap turi būti švarus
Į XML sitemap paprastai verta įtraukti URL, kuriuos realiai norime indeksuoti.
Jeigu sitemap turi noindex puslapių, 404 URL, peradresavimų arba canonical nukreiptų į kitus adresus, siunčiami prieštaringi signalai.
Idealiu atveju pagrindinis principas paprastas:
sitemap URL → 200 statusas → indexable → self-canonical.
Google Search Console
Google Search Console yra vienas svarbiausių įrankių tikrinant indeksavimo situaciją.
URL Inspection gali parodyti, ar konkretus puslapis yra indeksuotas, kokį canonical pasirinko Google ir kada puslapis paskutinį kartą buvo nuskaitytas.
Tačiau Search Console duomenis verta vertinti kartu su pačios svetainės technine analize. Vien ataskaitos pavadinimas ne visada pasako tikrąją problemos priežastį.
Dažniausios indeksavimo problemos
Praktikoje verta pradėti nuo pačių paprasčiausių dalykų: patikrinti status code, robots.txt, noindex, canonical, sitemap ir vidines nuorodas.
Tik po to verta ieškoti sudėtingesnių crawling ar renderinimo problemų.
Didelė dalis indeksavimo klaidų atsiranda ne dėl sudėtingų Google algoritmų, o dėl tarpusavyje prieštaraujančių svetainės nustatymų.
Ką tikrinti po svetainės migracijos?
Migracija yra vienas jautriausių laikotarpių indeksavimui.
Po domeno, URL struktūros ar platformos pakeitimo būtina patikrinti senų URL peradresavimus, canonical, sitemap, robots.txt, noindex nustatymus, vidines nuorodas ir serverio atsakus.
Ypač pavojinga situacija, kai iš testinės aplinkos į produkcinę svetainę netyčia perkeliami paieškos sistemoms skirti blokavimai.
Kaip spręsti indeksavimo problemas?
Pirmiausia reikia nustatyti, kuriame etape grandinė nutrūksta:
URL atradimas → crawling → renderinimas → indeksavimas → reitingavimas.
Jeigu puslapio Google dar neatrado, reikia spręsti atradimo problemą. Jeigu crawleris gauna klaidą, sprendžiama techninė problema. Jeigu puslapis sėkmingai nuskaitomas, bet neindeksuojamas, verta vertinti jo kokybę, unikalumą ir reikšmę visos svetainės kontekste.
Greitam pagrindinių indeksavimo ir techninių signalų patikrinimui galite atlikti nemokamą Adweb SEO auditą.
Jeigu reikia išsamiai išanalizuoti crawling, indeksavimo, svetainės struktūros ir kitus techninius aspektus, peržiūrėkite profesionalų SEO auditą.