robots.txt failas: kas tai ir kaip jis naudojamas SEO?
robots.txt nurodo paieškos robotams, kurias svetainės dalis jie gali arba neturėtų nuskaityti. Tai crawl valdymo, o ne slapto turinio apsaugos priemonė.
robots.txt yra tekstinis failas svetainės šakniniame domene, kuriame galima pateikti nuskaitymo taisykles paieškos ir kitiems robotams.
Įprastas adresas:
https://example.lt/robots.txt
Failas gali nurodyti, kurias svetainės dalis konkretus robotas gali nuskaityti, kurių neturėtų lankyti, ir kur rasti svetainės žemėlapį.
Paprastas robots.txt pavyzdys
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://example.lt/sitemap_index.xml
User-agent: * reiškia, kad taisyklės skirtos visiems robotams, kuriems jos taikomos.
Disallow nurodo kelią, kurio robotui nerekomenduojama nuskaityti.
Sitemap gali nurodyti svetainės XML žemėlapio adresą.
robots.txt valdo nuskaitymą, o ne garantuoja neindeksavimą
Tai viena svarbiausių robots.txt savybių.
Disallow pirmiausia nurodo robotui nenuskaityti konkretaus URL ar katalogo. Tai nėra tas pats, kas noindex.
Jeigu tikslas yra neleisti puslapio rodyti paieškos rezultatuose, reikia tinkamai valdyti indeksavimo signalus, pavyzdžiui meta robots noindex arba X-Robots-Tag.
Plačiau: noindex, meta robots ir X-Robots-Tag.
Ar robots.txt failas privalomas?
Ne. Svetainė gali veikti ir būti indeksuojama be robots.txt failo.
Jeigu nėra nieko, ką reikia riboti crawlingui, paprastas 404 atsakymas robots.txt adresu savaime nėra kritinė SEO klaida.
Tačiau failas naudingas, kai norime:
- valdyti tam tikrų techninių katalogų crawlingą;
- apriboti nereikalingų parametrinių ar vidinių URL nuskaitymą;
- nurodyti sitemap adresą;
- atskirti taisykles skirtingiems robotams.
Kodėl robots.txt serverio klaida yra rimtesnė?
Situacija, kai /robots.txt grąžina serverio klaidą, skiriasi nuo paprasto failo nebuvimo. Paieškos robotams tai gali atrodyti kaip laikina problema, dėl kurios crawlingas vertinamas atsargiau.
Todėl 5xx atsakymą robots.txt adresu verta spręsti greičiau nei paprastą 404, jei svetainė apskritai nenaudoja šio failo.
robots.txt nėra saugumo priemonė
Į robots.txt nereikėtų rašyti jautrių katalogų tikintis juos paslėpti.
Failas yra viešai pasiekiamas, todėl jame įrašyti keliai gali būti matomi bet kam. Jautrus turinys turi būti apsaugotas autentifikacija, serverio teisėmis ar kitomis realiomis saugumo priemonėmis.
Dažnos robots.txt klaidos
- netyčia užblokuota visa svetainė su
Disallow: /; - užblokuoti svarbūs CSS ar JavaScript resursai, reikalingi puslapiui suprasti;
- paliktos testinės taisyklės po svetainės paleidimo;
- robots.txt naudojamas vietoje noindex;
- Sitemap direktyva rodo į neegzistuojantį arba seną sitemap.
WordPress robots.txt
WordPress gali pateikti virtualų robots.txt net tada, kai serverio kataloge nėra fizinio failo. SEO įskiepiai ir individualus programavimas taip pat gali keisti jo turinį.
Po migracijos ar svetainės paleidimo verta tiesiogiai atsidaryti /robots.txt ir patikrinti galutinį vartotojui bei robotui pateikiamą rezultatą.
Kaip šį kriterijų patikrinti praktiškai?
Automatinis auditas padeda greitai pastebėti signalą, tačiau svarbiausius puslapius verta patikrinti ir rankiniu būdu. Praktinis patikrinimas gali atrodyti taip:
- Atidarykite
/robots.txttiesiogiai. - Patikrinkite, ar failas grąžina 200 ir yra paprastas tekstas.
- Peržiūrėkite taisykles svarbiausiems robotams ir
*grupei. - Patikrinkite sitemap nuorodą ir ar nėra netyčinio
Disallow: /.
Dažniausios situacijos ir klaidos
Šio kriterijaus problema dažnai atsiranda ne dėl vieno sąmoningo sprendimo, o dėl temos, įskiepio, migracijos ar automatinio šablono. Dažniausi atvejai:
- Staging taisyklė palikta produkcijoje.
- Blokuojami CSS/JS resursai, reikalingi renderinimui.
- Robots.txt naudojamas slaptam turiniui saugoti.
- Per platūs filtrų blokai uždengia svarbias kategorijas.
- Nurodytas pasenęs sitemap.
Kada audito įspėjimas nebūtinai reiškia problemą?
Robots.txt yra crawl valdymo mechanizmas, o ne patikimas būdas pašalinti URL iš indekso. Jis taip pat viešas, todėl jautrių kelių nereikėtų laikyti paslaptimi vien dėl Disallow.
WordPress ir Yoast SEO praktikoje
WordPress gali generuoti virtualų robots.txt. Yoast ir security įskiepiai gali jį modifikuoti, o serverio lygio fizinis failas gali turėti prioritetą. Po pakeitimų tikrinkite būtent viešai grąžinamą rezultatą.
Praktinis pavyzdys
WooCommerce filtrų crawlingą kartais verta riboti, bet taisyklę reikia kurti pagal realius URL modelius. Per platus Disallow: /product-category/ užblokuotų ir pagrindines kategorijas.
Kaip priimti sprendimą, ar reikia taisyti?
Vertinkite ne vien tai, ar audito eilutė pažymėta žaliai ar oranžine spalva. Pirmiausia nustatykite puslapio paskirtį, ar jis turi būti indeksuojamas, kokią užduotį atlieka vartotojui ir kaip šis signalas dera su kitais techniniais bei turinio elementais. Jei kriterijus prieštarauja puslapio tikslui arba sukuria neaiškų signalą paieškos sistemai, taisymas paprastai turi didesnį prioritetą.
Didelėse svetainėse verta patikrinti ne vien vieną URL. Paimkite kelių skirtingų šablonų imtį - pagrindinį puslapį, paslaugą, kategoriją, produktą ir straipsnį. Taip greitai matysis, ar problema pavienė, ar ją generuoja bendras šablonas. Šabloninė klaida dažnai turi gerokai didesnę įtaką nei vieno įrašo netikslumas.
Ko nedaryti vien dėl SEO balo?
Nereikėtų keisti techniškai ir vartotojui tinkamo sprendimo vien tam, kad automatinis įrankis parodytų maksimalų balą. Adweb SEO audito kriterijai skirti diagnostikai ir prioritetų nustatymui. Kai yra pagrįsta techninė ar verslo išimtis, ją geriau suprasti ir dokumentuoti, o ne mechaniškai pritaikyti bendrą taisyklę.
Greita patikros atmintinė
Jeigu norite šį punktą pasitikrinti be papildomų įrankių, pradėkite nuo šių veiksmų:
- Atidarykite
/robots.txttiesiogiai. - Patikrinkite, ar failas grąžina 200 ir yra paprastas tekstas.
- Peržiūrėkite taisykles svarbiausiems robotams ir
*grupei. - Patikrinkite sitemap nuorodą ir ar nėra netyčinio
Disallow: /.
Ryšys su kitais SEO kriterijais
Šio kriterijaus nereikėtų vertinti visiškai atskirai. Praktiniame techniniame SEO keli signalai dažnai vienas kitą sustiprina arba, priešingai, pradeda prieštarauti. Todėl diagnozuojant problemą verta kartu peržiūrėti ir susijusias temas:
- XML sitemap - šis signalas dažnai padeda suprasti, ar dabartinis audito rezultatas yra pavienė išimtis, ar platesnės svetainės struktūros dalis.
- noindex ir indeksavimo leidimą - šis signalas dažnai padeda suprasti, ar dabartinis audito rezultatas yra pavienė išimtis, ar platesnės svetainės struktūros dalis.
- hreflang daugiakalbėms svetainėms - šis signalas dažnai padeda suprasti, ar dabartinis audito rezultatas yra pavienė išimtis, ar platesnės svetainės struktūros dalis.
Ką verta tikrinti svetainės mastu?
Vieno URL rezultatas ne visada parodo tikrą problemos mastą. Jei svetainė turi bendrus šablonus, tą patį kriterijų patikrinkite keliuose puslapių tipuose: paslaugų puslapyje, straipsnyje, kategorijoje ir, jei aktualu, produkto puslapyje. Jei ta pati klaida kartojasi visur, dažniausiai efektyviau taisyti šabloną, temos funkciją ar įskiepį, o ne redaguoti kiekvieną URL atskirai.
Didelėse e. parduotuvėse ir turinio portaluose sisteminė klaida gali paliesti šimtus ar tūkstančius URL. Tokiu atveju prioritetą verta vertinti ne tik pagal vieno puslapio svarbą, bet ir pagal paveiktų puslapių kiekį. Po pataisymo naudinga pakartoti crawl ar auditą ir įsitikinti, kad šabloninis sprendimas iš tiesų pasikeitė visur.
Kaip įvertinti realų poveikį?
Indeksavimo ir crawling kriterijai paprastai turi aukštesnį prioritetą tada, kai jie trukdo paieškos sistemai apskritai pasiekti, suprasti ar pasirinkti norimą URL. Jei svarbus puslapis neindeksuojamas, pirmiausia spręskite techninį bloką, o tik tada smulkesnius on-page patobulinimus. Search Console URL Inspection ir indeksavimo ataskaitos gali padėti patikrinti, ar Google mato tą patį signalą, kurį aptiko auditas, ir ar problema yra pavienė, ar būdinga visam šablonui.
Oficialus šaltinis
Google oficialiai aprašo robots.txt sintaksę, taisyklių interpretavimą ir failo HTTP atsakymų elgseną. Google Crawling Infrastructure.
Susijusi Adweb paslauga
Jeigu robots.txt, sitemap ir indeksavimo signalai persidengia, visą techninę situaciją galima įvertinti atliekant profesionalų SEO auditą.
Ką tikrina Adweb SEO auditas?
Adweb SEO auditas patikrina, ar robots.txt URL pasiekiamas ir kokį HTTP atsakymą grąžina. Failo nebuvimas nėra automatiškai laikomas kritine klaida, tačiau serverio klaidos ir netinkamos crawling taisyklės gali būti daug svarbesnės.
Atskiri audito kriterijai gali papildomai vertinti, ar robots.txt neblokuoja tikrinamo puslapio ir ar jame nurodytas sitemap.
Patikrinkite tai savo svetainėje
Adweb nemokamas SEO auditas automatiškai patikrina techninius, turinio, indeksavimo ir kitus SEO signalus bei parodo, ką verta tvarkyti pirmiausia.