Indeksavimo leidimas: meta robots, noindex ir X-Robots-Tag
Noindex gali neleisti puslapiui būti rodomam paieškos rezultatuose. Direktyva gali būti pateikiama per meta robots arba HTTP X-Robots-Tag antraštę.
Jeigu puslapis turi būti randamas Google ir kitose paieškos sistemose, svarbu, kad jame nebūtų netyčinio noindex nurodymo.
Indeksavimo direktyva gali būti pateikiama HTML dokumente per meta robots arba serverio HTTP atsakyme per X-Robots-Tag.
Kas yra meta robots?
HTML dokumento <head> dalyje gali būti įrašyta:
<meta name="robots" content="noindex, follow">
noindex nurodo paieškos sistemai, kad šis puslapis neturėtų būti rodomas jos paieškos rezultate.
Jeigu puslapis turi būti indeksuojamas, dažniausiai nėra būtina specialiai rašyti index. Svarbiausia, kad nebūtų jį blokuojančio nurodymo.
Kas yra X-Robots-Tag?
Tą patį indeksavimo nurodymą serveris gali perduoti HTTP antraštėje:
X-Robots-Tag: noindex
Šis metodas ypač naudingas ne HTML resursams, pavyzdžiui PDF failams, tačiau gali būti naudojamas ir įprastiems puslapiams.
Kada noindex yra naudingas?
noindex nėra bloga direktyva. Ji naudinga tada, kai puslapis sąmoningai neturėtų būti rodomas paieškos rezultatuose.
Pavyzdžiai:
- vidiniai paieškos rezultatų puslapiai;
- vartotojo paskyros ar prisijungimo puslapiai;
- testiniai arba laikini puslapiai;
- tam tikri filtravimo ar techniniai URL, kurių nenorime indeksuoti;
- „ačiū“ puslapiai po formos pateikimo.
Kada noindex tampa rimta SEO problema?
Problema atsiranda, kai noindex netyčia patenka į puslapį, kuris turi generuoti organinį srautą.
Pavyzdžiui, jei paslaugos puslapyje yra:
<meta name="robots" content="noindex">
galima optimizuoti title, H1, turinį ir vidines nuorodas, tačiau pats puslapis vis tiek neturėtų būti rodomas paieškos rezultatuose.
Noindex ir robots.txt nėra tas pats
robots.txt pirmiausia valdo nuskaitymą, o noindex - indeksavimą. Tai nėra tarpusavyje pakeičiami mechanizmai.
Jeigu URL užblokuojamas robots.txt faile, paieškos robotas gali negalėti nuskaityti puslapio HTML ir pamatyti jame esančio noindex. Todėl URL pašalinimui iš indekso nereikėtų remtis vien robots.txt blokavimu.
Plačiau: robots.txt failas ir jo paskirtis SEO.
Noindex ir nofollow taip pat skiriasi
noindex nurodo nerodyti puslapio paieškos rezultate, o nofollow susijęs su nuorodų sekimo nurodymais. Vienos direktyvos buvimas automatiškai nereiškia kitos.
Kaip tai valdyti su Yoast SEO?
Yoast SEO leidžia atskiram įrašui arba turinio tipui nurodyti, ar paieškos sistemoms leidžiama jį rodyti rezultatuose. Keičiant šiuos nustatymus verta įsitikinti, kad svarbūs puslapiai netyčia nepažymėti kaip neindeksuojami.
Taip pat verta patikrinti WordPress nustatymą, skirtą paieškos sistemų matomumui, ypač po svetainės kūrimo ar migracijos.
Kaip šį kriterijų patikrinti praktiškai?
Automatinis auditas padeda greitai pastebėti signalą, tačiau svarbiausius puslapius verta patikrinti ir rankiniu būdu. Praktinis patikrinimas gali atrodyti taip:
- Patikrinkite HTML
meta name="robots". - Patikrinkite HTTP
X-Robots-Tag. - Įsitikinkite, kad robots.txt neblokuoja roboto nuo noindex perskaitymo.
- Svarbiems puslapiams peržiūrėkite Search Console indeksavimo būseną.
Dažniausios situacijos ir klaidos
Šio kriterijaus problema dažnai atsiranda ne dėl vieno sąmoningo sprendimo, o dėl temos, įskiepio, migracijos ar automatinio šablono. Dažniausi atvejai:
- Po staging aplinkos paleidimo paliktas noindex.
- Yoast turinio tipas netyčia išjungtas iš search results.
- PDF turi būti noindex, bet valdomas tik HTML meta žyma.
- Robots.txt naudojamas vietoje noindex.
Kada audito įspėjimas nebūtinai reiškia problemą?
Noindex yra valdymo priemonė, ne bausmė. Ji naudinga techniniams, vartotojų paskyrų ar vidinės paieškos puslapiams. Problema atsiranda tada, kai direktyva patenka į puslapį, kuriam organinis matomumas yra tikslas.
WordPress ir Yoast SEO praktikoje
Yoast SEO leidžia valdyti indeksavimą įrašo, turinio tipo ir taksonomijos lygiu. Po svetainės migracijos verta patikrinti ir WordPress „Discourage search engines“ nustatymą.
Praktinis pavyzdys
Padėkos puslapį po formos galima sąmoningai laikyti noindex. Tuo tarpu paslaugos puslapio noindex beveik visada turėtų būti signalas nedelsiant patikrinti nustatymus.
Kaip priimti sprendimą, ar reikia taisyti?
Vertinkite ne vien tai, ar audito eilutė pažymėta žaliai ar oranžine spalva. Pirmiausia nustatykite puslapio paskirtį, ar jis turi būti indeksuojamas, kokią užduotį atlieka vartotojui ir kaip šis signalas dera su kitais techniniais bei turinio elementais. Jei kriterijus prieštarauja puslapio tikslui arba sukuria neaiškų signalą paieškos sistemai, taisymas paprastai turi didesnį prioritetą.
Didelėse svetainėse verta patikrinti ne vien vieną URL. Paimkite kelių skirtingų šablonų imtį - pagrindinį puslapį, paslaugą, kategoriją, produktą ir straipsnį. Taip greitai matysis, ar problema pavienė, ar ją generuoja bendras šablonas. Šabloninė klaida dažnai turi gerokai didesnę įtaką nei vieno įrašo netikslumas.
Ko nedaryti vien dėl SEO balo?
Nereikėtų keisti techniškai ir vartotojui tinkamo sprendimo vien tam, kad automatinis įrankis parodytų maksimalų balą. Adweb SEO audito kriterijai skirti diagnostikai ir prioritetų nustatymui. Kai yra pagrįsta techninė ar verslo išimtis, ją geriau suprasti ir dokumentuoti, o ne mechaniškai pritaikyti bendrą taisyklę.
Greita patikros atmintinė
Jeigu norite šį punktą pasitikrinti be papildomų įrankių, pradėkite nuo šių veiksmų:
- Patikrinkite HTML
meta name="robots". - Patikrinkite HTTP
X-Robots-Tag. - Įsitikinkite, kad robots.txt neblokuoja roboto nuo noindex perskaitymo.
- Svarbiems puslapiams peržiūrėkite Search Console indeksavimo būseną.
Ryšys su kitais SEO kriterijais
Šio kriterijaus nereikėtų vertinti visiškai atskirai. Praktiniame techniniame SEO keli signalai dažnai vienas kitą sustiprina arba, priešingai, pradeda prieštarauti. Todėl diagnozuojant problemą verta kartu peržiūrėti ir susijusias temas:
- robots.txt ir crawling valdymą - šis signalas dažnai padeda suprasti, ar dabartinis audito rezultatas yra pavienė išimtis, ar platesnės svetainės struktūros dalis.
- XML sitemap - šis signalas dažnai padeda suprasti, ar dabartinis audito rezultatas yra pavienė išimtis, ar platesnės svetainės struktūros dalis.
- hreflang daugiakalbėms svetainėms - šis signalas dažnai padeda suprasti, ar dabartinis audito rezultatas yra pavienė išimtis, ar platesnės svetainės struktūros dalis.
Ką verta tikrinti svetainės mastu?
Vieno URL rezultatas ne visada parodo tikrą problemos mastą. Jei svetainė turi bendrus šablonus, tą patį kriterijų patikrinkite keliuose puslapių tipuose: paslaugų puslapyje, straipsnyje, kategorijoje ir, jei aktualu, produkto puslapyje. Jei ta pati klaida kartojasi visur, dažniausiai efektyviau taisyti šabloną, temos funkciją ar įskiepį, o ne redaguoti kiekvieną URL atskirai.
Didelėse e. parduotuvėse ir turinio portaluose sisteminė klaida gali paliesti šimtus ar tūkstančius URL. Tokiu atveju prioritetą verta vertinti ne tik pagal vieno puslapio svarbą, bet ir pagal paveiktų puslapių kiekį. Po pataisymo naudinga pakartoti crawl ar auditą ir įsitikinti, kad šabloninis sprendimas iš tiesų pasikeitė visur.
Kaip įvertinti realų poveikį?
Indeksavimo ir crawling kriterijai paprastai turi aukštesnį prioritetą tada, kai jie trukdo paieškos sistemai apskritai pasiekti, suprasti ar pasirinkti norimą URL. Jei svarbus puslapis neindeksuojamas, pirmiausia spręskite techninį bloką, o tik tada smulkesnius on-page patobulinimus. Search Console URL Inspection ir indeksavimo ataskaitos gali padėti patikrinti, ar Google mato tą patį signalą, kurį aptiko auditas, ir ar problema yra pavienė, ar būdinga visam šablonui.
Oficialus šaltinis
Google oficialiai aprašo noindex, robots meta ir X-Robots-Tag direktyvų veikimą. Google Search Central.
Susijusi Adweb paslauga
Jeigu indeksavimo signalai svetainėje prieštaringi arba dalis svarbių puslapių nerodomi Google, verta atlikti profesionalus SEO auditas.
Ką tikrina Adweb SEO auditas?
Auditas analizuoja tiek puslapio meta robots, tiek HTTP atsakyme pateikiamą X-Robots-Tag. Jei bent viename šaltinyje aptinkamas noindex, auditas įspėja, kad puslapis nėra tinkamas indeksavimui.
Tai vienas svarbiausių techninių patikrinimų, nes netyčinis noindex gali visiškai panaikinti kitų SEO darbų naudą konkrečiam URL.
Patikrinkite tai savo svetainėje
Adweb nemokamas SEO auditas automatiškai patikrina techninius, turinio, indeksavimo ir kitus SEO signalus bei parodo, ką verta tvarkyti pirmiausia.