Robots.txt-tiedosto auttaa suuria hakukoneita ymmärtämään, minne he voivat mennä verkkosivustollasi.
Vaikka suuret hakukoneet tukevat robots.txt-tiedostoa, ne eivät kaikki välttämättä noudata sääntöjä samalla tavalla.
Seuraavassa eritellään robots.txt-tiedosto ja miten voit käyttää sitä.
Mikä on robots.txt-tiedosto?
Joka päivä sivustollasi käydään roboteilla - jotka tunnetaan myös nimellä robotit tai hämähäkit. Hakukoneet, kuten Google, Yahoo ja Bing, lähettävät nämä robotit sivustollesi, jotta sisältösi voidaan indeksoida ja indeksoida. näkyvät hakutuloksissa.
Botit ovat hyvä asia, mutta joissakin tapauksissa et halua, että robotti juoksee verkkosivustosi ympärillä indeksoimalla kaikkea. Siellä tulee robots.txt-tiedosto.
Lisäämällä tiettyjä direktiivejä robots.txt-tiedostoon ohjaat botit indeksoimaan vain ne indeksoitavat sivut.
On kuitenkin tärkeää ymmärtää, että kaikki botit eivät noudata sääntöjä, jotka kirjoitat robots.txt-tiedostoon. Esimerkiksi Google ei kuuntele mitään tiedostoon lisäämiäsi ohjeita indeksointitaajuudesta.
Tarvitsetko robots.txt-tiedoston?
Ei, robots.txt-tiedostoa ei vaadita verkkosivustolta.
Jos botti saapuu verkkosivustollesi eikä sillä ole sitä, se vain indeksoi verkkosivustosi ja indeksoi sivut normaalisti.
Robot.txt-tiedosto tarvitaan vain, jos haluat hallita paremmin indeksoitavaa.
Joitakin sellaisia etuja ovat:
- Auta hallitsemaan palvelinten ylikuormituksia
- Estä indeksointirobotti, jonka robotit käyvät sivuilla, joita et halua heidän
- Pidä tietyt kansiot tai aliverkkotunnukset yksityisinä
Voiko robots.txt-tiedosto estää sisällön indeksoinnin?
Ei, et voi estää sisällön indeksoimista ja näyttämistä hakutuloksissa robots.txt-tiedostolla.
Kaikki robotit eivät noudata ohjeita samalla tavalla, joten jotkut saattavat indeksoida määrittämäsi sisällön indeksoimattomaksi.
Lisäksi, jos sisällöllä, jota yrität estää näkymästä hakutuloksissa, on siihen ulkoisia linkkejä, se myös saa hakukoneet indeksoimaan sen.
Ainoa tapa varmistaa, että sisältöäsi ei indeksoida, on lisätä a noindex-sisällönkuvauskenttä sivulle. Tämä koodirivi näyttää tältä ja menee sivusi HTML-koodiin.
On tärkeää huomata, että jos haluat, että hakukoneet eivät indeksoi sivua, sinun on sallittava sivun indeksointi robots.txt-tiedostossa.
Missä robots.txt-tiedosto sijaitsee?
Robots.txt-tiedosto istuu aina verkkosivuston juurialueella. Esimerkiksi oma tiedostomme löytyy osoitteesta https://www.hubspot.com/robots.txt.
Useimmilla verkkosivustoilla sinun pitäisi pystyä käyttämään varsinaista tiedostoa, jotta voit muokata sitä FTP: ssä tai avaamalla isännän CPanelin tiedostojen hallinnan.
Joillakin CMS-alustoilla tiedosto löytyy suoraan hallinnolliselta alueeltasi. Esimerkiksi HubSpot tekee siitä helppo muokata robots.txt-tiedostoa tiedosto tililtäsi.
Jos käytössäsi on WordPress, robots.txt-tiedostoon pääsee verkkosivustosi public_html-kansiossa.
WordPress sisältää oletuksena robots.txt-tiedoston uuden asennuksen kanssa, joka sisältää seuraavat:
User-agent: *
Estä: / wp-admin /
Estä: / wp-sisältää /
Edellä on käsketty kaikkia botteja indeksoimaan kaikki verkkosivuston osat paitsi kaikki, jotka ovat hakemistojen / wp-admin / tai / wp-include / hakemistojen alla.
Mutta haluat ehkä luoda vankemman tiedoston. Näytetään sinulle miten, alla.
Käyttää Robots.txt-tiedostoa
Robots.txt-tiedostosi muokkaamiseen voi olla monia syitä - indeksointibudjetin hallinnasta verkkosivuston osien indeksoinnin estämiseen. Tutkitaan muutamia syitä robots.txt-tiedoston käyttämiseen nyt.
1. Estä kaikki indeksoijat
Haluat estää kaikkien indeksointirobottien pääsyn sivustoosi aktiivisella verkkosivustolla, mutta se on loistava vaihtoehto kehittäjäsivustolle. Kun estät indeksointirobotit, se estää sivusi näkymisen hakukoneissa, mikä on hyvä, jos sivusi eivät ole vielä valmiita katseluun.
2. Estä tiettyjen sivujen indeksointi
Yksi yleisimmistä ja hyödyllisimmistä tavoista käyttää robots.txt-tiedostoa on rajoittaa hakukoneiden bottien pääsyä verkkosivustosi osiin. Tämä voi auttaa maksimoimaan indeksointibudjettisi ja estämään ei-toivottujen sivujen jäämisen hakutuloksiin.
On tärkeää huomata, että vain koska olet käskenyt botin olemaan indeksoimatta sivua, se ei tarkoita, että se tulee ei indeksoida. Jos et halua sivun näkyvän hakutuloksissa, sinun on lisättävä sivulle noindex-sisällönkuvauskenttä.
Näyte Robots.txt-tiedostodirektiiveistä
Robots.txt-tiedosto koostuu direktiivirivien lohkoista. Jokainen direktiivi alkaa käyttäjäagentilla, ja sitten kyseisen käyttäjäagentin säännöt sijoitetaan sen alle.
Kun tietty hakukone saapuu verkkosivustollesi, se etsii niihin liittyvää käyttäjäagenttia ja lukee niihin viittaavan lohkon.
Tiedostossasi voi käyttää useita direktiivejä. Hajotetaan ne nyt.
1. Käyttäjäagentti
User-agent-komennon avulla voit kohdistaa tiettyihin botteihin tai hämähäkkeihin ohjaamaan. Esimerkiksi, jos haluat kohdistaa vain Bingiin tai Googleen, tätä direktiiviä haluat käyttää.
Vaikka käyttäjäagentteja on satoja, alla on esimerkkejä yleisimmistä käyttäjäagenttivaihtoehdoista.
Käyttäjäagentti: Googlebot
Käyttäjäagentti: Googlebot-Image
Käyttäjäagentti: Googlebot-Mobile
Käyttäjäagentti: Googlebot-News
Käyttäjäagentti: Bingbot
Käyttäjäagentti: Baiduspider
Käyttäjäagentti: msnbot
Käyttäjäagentti: slurp (Yahoo)
Käyttäjäagentti: yandex
On tärkeää huomata - käyttäjäagentit erottavat kirjainkoon, joten muista kirjoittaa ne oikein.
Jokerimerkki User-agent
Jokerimerkki-agentti on merkitty tähdellä (*), ja sen avulla voit helposti soveltaa direktiiviä kaikkiin olemassa oleviin käyttäjäagentteihin. Joten jos haluat tietyn säännön soveltuvan kaikkiin botteihin, voit käyttää tätä käyttäjäagenttia.
User-agent: *
Käyttäjäagentit noudattavat vain niitä sääntöjä, joita heihin eniten sovelletaan.
2. Estä
Disallow-direktiivi kertoo hakukoneille, että ne eivät indeksoi tai käytä tiettyjä verkkosivuston sivuja tai hakemistoja.
Alla on useita esimerkkejä siitä, miten voit käyttää hylkäysdirektiiviä.
Estä pääsy tiettyyn kansioon
Tässä esimerkissä kehotamme kaikkia robotteja olemaan indeksoimatta mitään verkkosivustomme / portfolio-hakemistossa.
User-agent: *
Estä: / portfolio
Jos haluamme vain, että Bing ei indeksoi kyseistä hakemistoa, lisäisimme sen näin:
Käyttäjäagentti: Bingbot
Estä: / portfolio
Estä PDF tai muut tiedostotyypit
Jos et halua, että PDF-tiedostosi tai muut tiedostotyyppisi indeksoidaan, alla olevan direktiivin pitäisi auttaa. Sanomme kaikille robotteille, että emme halua indeksoitavia PDF-tiedostoja. Lopussa oleva $ kertoo hakukoneelle, että se on URL-osoitteen loppu.
Joten jos minulla on pdf-tiedosto osoitteessa web -sivusto.com/sivusto/omansisältöinfo.pdf, hakukoneet eivät pääse siihen.
User-agent: *
Estä: * .pdf $
PowerPoint-tiedostoissa voit käyttää:
User-agent: *
Estä: * .ppt $
Parempi vaihtoehto voi olla luoda kansio PDF-tiedostoille tai muille tiedostoille ja estää sitten indeksointirobotteja indeksoimasta sitä ja indeksoimasta koko hakemistoa metatunniste.
Estä pääsy koko verkkosivustolle
Tämä direktiivi on erityisen hyödyllinen, jos sinulla on kehityssivusto tai testikansioita, tämä direktiivi kehottaa kaikkia robotteja olemaan indeksoimatta sivustoasi ollenkaan. On tärkeää muistaa poistaa tämä, kun asetat sivustosi käyttöön, muuten sinulla on indeksointiongelmia.
User-agent: *
Yllä näkyvää * (tähtiä) kutsutaan jokerimerkiksi. Kun käytämme tähtiä, tarkoitamme, että alla olevien sääntöjen tulisi koskea kaikkia käyttäjäagentteja.
3. Salli
Salli-direktiivi voi auttaa sinua määrittämään tietyt sivut tai hakemistot do haluavat robottien pääsyn ja indeksoinnin. Tämä voi olla ohitus sääntö hylkäysvaihtoehdolle, kuten yllä on esitetty.
Alla olevassa esimerkissä kerromme Googlebotille, että emme halua salkuhakemiston indeksoimista, mutta haluamme kuitenkin käyttää tiettyä salkkueriä ja indeksoida:
Käyttäjäagentti: Googlebot
Estä: / portfolio
Salli: / portfolio / crawlableportfolio
4. Sivukartta
Sivustokartan sijainnin lisääminen tiedostoon voi helpottaa hakukoneet indeksointia sivustokartassasi.
Jos lähetät sivustokarttasi suoraan kunkin hakukoneen verkkovastaavan työkaluihin, sitä ei tarvitse lisätä robots.txt-tiedostoon.
sivukartta: https://yourwebsite.com/sitemap.xml
5. Indeksointiviive
Indeksointiviive voi kertoa botin hidastuvan indeksoidessaan verkkosivustoasi, jotta palvelimesi ei ylikuormituisi. Alla olevassa direktiiviesimerkissä Yandexia pyydetään odottamaan 10 sekuntia jokaisen verkkosivustolla suoritetun indeksointitoiminnon jälkeen.
Käyttäjäagentti: yandex
Indeksointiviive: 10
Tämän on oltava varovainen. Erittäin suurella verkkosivustolla se voi minimoida päivittäin indeksoitavien URL-osoitteiden määrän, mikä olisi haitallista. Tästä voi olla hyötyä pienemmissä verkkosivustoissa, joissa botit vierailevat hieman liikaa.
Huomaa: Indeksointiviive on ei Google tai Baidu tue. Jos haluat pyytää indeksointirobotteja hidastamaan verkkosivustosi indeksointia, sinun on tehtävä se työkalujensa avulla.
Mitä ovat säännölliset lausekkeet ja jokerit?
Kuvion vastaavuus on edistyneempi tapa hallita tapaa, jolla botti indeksoi verkkosivustosi merkkien avulla.
On olemassa kaksi yleistä lauseketta, joita sekä Bing että Google käyttävät. Nämä direktiivit voivat olla erityisen hyödyllisiä verkkokaupan verkkosivustoilla.
tähdellä: * käsitellään jokerimerkkinä ja voi edustaa mitä tahansa merkkijonoa
Dollarin merkki: $ käytetään osoittamaan URL-osoitteen loppu
Hyvä esimerkki * jokerimerkin käytöstä on tilanteessa, jossa haluat estää hakukoneita indeksoimasta sivuja, joissa voi olla kysymysmerkki. Alla oleva koodi kehottaa kaikkia robotteja jättämään huomiotta indeksoinnin URL-osoitteissa, joissa on kysymysmerkki.
User-agent: *
Hylkää: / *?
Kuinka luoda tai muokata Robots.txt-tiedostoa
Jos palvelimellasi ei ole robots.txt-tiedostoa, voit lisätä sen helposti alla olevien ohjeiden avulla.
- Aloita uusi asiakirja avaamalla haluamasi tekstieditori. Yleisiä tietokoneellasi mahdollisesti olevia muokkausohjelmia ovat Muistio, TextEdit tai Microsoft Word.
- Lisää sisällytettävät direktiivit asiakirjaan.
- Tallenna tiedosto nimellä “robots.txt”
- Testaa tiedostosi seuraavassa osassa esitetyllä tavalla
- Lataa .txt-tiedosto palvelimellesi FTP: llä tai CPanel-tiedostossa. Se, kuinka lataat sen, riippuu verkkosivustosi tyypistä.
WordPressissä voit käyttää tiedostojen luomiseen ja muokkaamiseen laajennuksia, kuten Yoast, All In One SEO, Rank Math.
Voit myös käyttää a robots.txt-generaattorityökalu auttaa sinua valmistelemaan sellaisen, joka voi auttaa minimoimaan virheet.
Kuinka testata Robots.txt-tiedosto
Ennen kuin aloitat luomasi robots.txt-tiedostokoodin käytön, sinun kannattaa suorittaa se testerin läpi varmistaaksesi, että se on kelvollinen. Tämä auttaa ehkäisemään virheellisiin direktiiveihin mahdollisesti lisättyjä ongelmia.
Robots.txt-testaustyökalu on käytettävissä vain Google Search Consolen vanhassa versiossa. Jos verkkosivustoasi ei ole yhdistetty Google Search Consoleen, sinun on tehtävä se ensin.
Käy Google-tuki napsauta sitten "avaa robots.txt-testaaja" -painiketta. Valitse kiinteistö, jonka haluat testata, ja sinut siirretään alla olevaan näyttöön.
Voit testata uuden robots.txt-koodisi poistamalla kentässä olevan sisällön ja korvaamalla uuden koodisi ja napsauttamalla Testaa. Jos vastaus testiisi on "sallittu", koodisi on kelvollinen ja voit tarkistaa todellisen tiedoston uudella koodilla.
Toivottavasti tämä viesti on saanut sinut tuntemaan vähemmän pelottavaa kaivaa robots.txt-tiedostoa - koska se on yksi tapa parantaa sijoitustasi ja lisätä SEO-ponnistelujasi.
- pääsy
- Tili
- Toiminta
- aktiivinen
- Kaikki
- ALUE
- noin
- Bing
- Bitti
- Bot
- botit
- Laatikko
- soittaa
- tapauksissa
- Aiheuttaa
- koodi
- Yhteinen
- pitoisuus
- päivä
- viivyttää
- Kehitys
- verkkokaupan
- toimittaja
- Etunimi
- seurata
- Ilmainen
- hyvä
- Google Search
- suuri
- Miten
- HTTPS
- HubSpot
- Sadat
- indeksi
- kysymykset
- IT
- pakki
- suuri
- linja
- sijainti
- merkittävä
- Merkitse
- matematiikka
- Meta
- Microsoft
- Microsoft Word
- avata
- Vaihtoehto
- Vaihtoehdot
- Muut
- Platforms
- liitännäiset
- salkku
- omaisuus
- RE
- syistä
- vastaus
- tulokset
- robotti
- robotit
- säännöt
- ajaa
- juoksu
- Näytön
- Haku
- hakukone
- Hakukoneet
- SEO
- setti
- So
- Alkaa
- tuki
- Tuetut
- Kohde
- kertoo
- testi
- Testaus
- Lohko
- odottaa
- Verkkosivu
- sivustot
- Mikä on
- WordPress
- XML
- Yahoo