robots.txt dosyası, büyük arama motorlarının web sitenizde nereye gitmelerine izin verildiğini anlamalarına yardımcı olur.
Ancak, büyük arama motorları robots.txt dosyasını desteklerken, hepsi kurallara aynı şekilde uymayabilir.
Aşağıda, robots.txt dosyasının ne olduğunu ve onu nasıl kullanabileceğinizi inceleyelim.
robots.txt dosyası nedir?
Her gün, robotlar veya örümcekler olarak da bilinen botlardan web sitenize ziyaretler olur. Google, Yahoo ve Bing gibi arama motorları, içeriğinizin taranabilmesi ve dizine eklenmesi için bu botları sitenize gönderir. arama sonuçlarında görün.
Botlar iyi bir şeydir, ancak botun web sitenizde dolaşmasını ve her şeyi dizine eklemesini istemediğiniz bazı durumlar vardır. Robots.txt dosyasının geldiği yer burasıdır.
Bir robots.txt dosyasına belirli yönergeler ekleyerek, botları yalnızca taranmasını istediğiniz sayfaları taramaya yönlendirmiş olursunuz.
Ancak, her botun robots.txt dosyanıza yazdığınız kurallara uymayacağını anlamak önemlidir. Örneğin Google, dosyaya tarama sıklığıyla ilgili koyduğunuz yönergeleri dinlemez.
Bir robots.txt dosyasına mı ihtiyacınız var?
Hayır, bir web sitesi için robots.txt dosyası gerekli değildir.
Web sitenize bir bot gelirse ve bir botu yoksa, normalde olduğu gibi web sitenizi tarar ve sayfaları dizine ekler.
Bir robot.txt dosyası, yalnızca neyin taranmakta olduğu üzerinde daha fazla kontrol sahibi olmak istiyorsanız gereklidir.
Bir tanesine sahip olmanın bazı faydaları şunlardır:
- Sunucu aşırı yüklerini yönetmeye yardımcı olun
- İstemediğiniz sayfaları ziyaret eden botların tarama israfını önleyin
- Belirli klasörleri veya alt alanları gizli tutun
Bir robots.txt dosyası içeriğin dizine eklenmesini engelleyebilir mi?
Hayır, bir robots.txt dosyasıyla içeriğin dizine eklenmesini ve arama sonuçlarında gösterilmesini engelleyemezsiniz.
Tüm robotlar talimatları aynı şekilde takip etmeyecektir, bu nedenle bazıları, taranmayacak veya dizine eklenmeyecek şekilde ayarladığınız içeriği dizine ekleyebilir.
Ayrıca, arama sonuçlarında görünmesini engellemeye çalıştığınız içeriğin harici bağlantıları varsa, bu da arama motorlarının onu dizine eklemesine neden olur.
İçeriğinizin dizine eklenmemesini sağlamanın tek yolu, noindex meta etiketi sayfaya. Bu kod satırı şuna benzer ve sayfanızın html'sine girer.
Arama motorlarının bir sayfayı dizine eklememesini istiyorsanız, sayfanın robots.txt dosyasında taranmasına izin vermeniz gerekeceğini unutmamak önemlidir.
robots.txt dosyası nerede bulunur?
robots.txt dosyası her zaman bir web sitesinin kök etki alanında bulunur. Örnek olarak, kendi dosyamız şu adreste bulunabilir: https://www.hubspot.com/robots.txt.
Çoğu web sitesinde, gerçek dosyaya erişebilmeniz gerekir, böylece bir FTP'de veya ana bilgisayar CPanel'inizdeki Dosya Yöneticisine erişerek düzenleyebilirsiniz.
Bazı CMS platformlarında dosyayı doğrudan yönetim alanınızda bulabilirsiniz. HubSpot, örneğin, yapar robots.txt dosyanızı özelleştirmek kolay hesabınızdan dosya.
WordPress kullanıyorsanız, robots.txt dosyasına web sitenizin public_html klasöründen erişilebilir.
WordPress, varsayılan olarak aşağıdakileri içerecek yeni bir kurulumla bir robots.txt dosyası içerir:
User-agent: *
İzin verme: / wp-admin /
İzin verme: / wp-include /
Yukarıdakiler, tüm botlara /wp-admin/ veya /wp-includes/ dizinleri altındaki herhangi bir şey dışında web sitesinin tüm bölümlerini taramasını söylüyor.
Ancak daha sağlam bir dosya oluşturmak isteyebilirsiniz. Aşağıda nasıl olduğunu gösterelim.
Bir Robots.txt Dosyasının Kullanım Alanları
Robots.txt dosyanızı özelleştirmek istemenizin birçok nedeni olabilir - tarama bütçesini kontrol etmekten, bir web sitesinin bölümlerinin taranmasını ve dizine eklenmesini engellemeye kadar. Şimdi bir robots.txt dosyası kullanmanın birkaç nedenini inceleyelim.
1. Tüm Tarayıcıları Engelleyin
Tüm tarayıcıların sitenize erişmesini engellemek, aktif bir web sitesinde yapmak isteyeceğiniz bir şey değildir, ancak bir geliştirme web sitesi için harika bir seçenektir. Tarayıcıları engellediğinizde, sayfalarınızın arama motorlarında gösterilmesini engellemeye yardımcı olur; bu, sayfalarınız henüz görüntülenmeye hazır değilse iyidir.
2. Belirli Sayfaların Taranmasına İzin Verme
Robots.txt dosyanızı kullanmanın en yaygın ve kullanışlı yollarından biri, arama motoru botlarının web sitenizin bazı bölümlerine erişimini sınırlamaktır. Bu, tarama bütçenizi en üst düzeye çıkarmaya ve istenmeyen sayfaların arama sonuçlarında kaybolmasını önlemeye yardımcı olabilir.
Bir bota bir sayfayı taramamasını söylemiş olmanız, bunun o sayfayı taramayacağı anlamına gelmediğini belirtmek önemlidir. indekslenmemek. Bir sayfanın arama sonuçlarında görünmesini istemiyorsanız, sayfaya bir noindex meta etiketi eklemeniz gerekir.
Örnek Robots.txt Dosya Yönergeleri
robots.txt dosyası, yönerge satırlarından oluşur. Her yönerge bir user-agent ile başlayacak ve ardından o user-agent için kurallar onun altına yerleştirilecektir.
Belirli bir arama motoru web sitenize girdiğinde, kendileri için geçerli olan kullanıcı aracısını arar ve bunlara atıfta bulunan bloğu okur.
Dosyanızda kullanabileceğiniz birkaç yönerge vardır. Şimdi bunları parçalayalım.
1. Kullanıcı Aracısı
user-agent komutu, yönlendirmek üzere belirli botları veya örümcekleri hedeflemenize olanak tanır. Örneğin, yalnızca Bing veya Google'ı hedeflemek istiyorsanız, kullanacağınız yönerge budur.
Yüzlerce kullanıcı aracısı olmasına rağmen, aşağıda en yaygın kullanıcı aracısı seçeneklerinden bazılarına örnekler verilmiştir.
Kullanıcı aracısı: Googlebot
Kullanıcı aracısı: Googlebot-Image
Kullanıcı aracısı: Googlebot-Mobile
Kullanıcı aracısı: Googlebot-News
Kullanıcı aracısı: Bingbot
Kullanıcı aracısı: Baiduspider
Kullanıcı aracısı: msnbot
Kullanıcı aracısı: slurp (Yahoo)
Kullanıcı aracısı: yandex
Şunu belirtmek önemlidir - kullanıcı aracıları büyük/küçük harfe duyarlıdır, bu nedenle bunları doğru girdiğinizden emin olun.
Joker karakter Kullanıcı aracısı
Joker karakter kullanıcı aracısı (*) yıldız işaretiyle belirtilir ve mevcut tüm kullanıcı aracılarına bir yönergeyi kolayca uygulamanıza olanak tanır. Bu nedenle, her bot için belirli bir kuralın uygulanmasını istiyorsanız, bu kullanıcı aracısını kullanabilirsiniz.
User-agent: *
Kullanıcı aracıları yalnızca kendileri için en yakından geçerli olan kuralları izleyecektir.
2. İzin verme
Disallow yönergesi, arama motorlarına bir web sitesindeki belirli sayfaları veya dizinleri taramamalarını veya bunlara erişmemelerini söyler.
Aşağıda, izin vermeme yönergesini nasıl kullanabileceğinize ilişkin birkaç örnek verilmiştir.
Belirli Bir Klasöre Erişimi Engelle
Bu örnekte, tüm botlara web sitemizdeki /portfolio dizininde hiçbir şeyi taramamalarını söylüyoruz.
User-agent: *
İzin verme: /portfolio
Yalnızca Bing'in bu dizini taramamasını istiyorsak, bunun yerine onu şöyle ekleriz:
Kullanıcı aracısı: Bingbot
İzin verme: /portfolio
PDF veya Diğer Dosya Türlerini Engelle
PDF'nizin veya diğer dosya türlerinin taranmasını istemiyorsanız, aşağıdaki yönerge yardımcı olacaktır. Tüm botlara herhangi bir PDF dosyasının taranmasını istemediğimizi söylüyoruz. Sondaki $, arama motoruna URL'nin sonu olduğunu söylüyor.
Yani bir pdf dosyam varsa mywebsite.com/site/myimportantinfo.pdf, arama motorları ona erişemez.
User-agent: *
İzin verme: *.pdf$
PowerPoint dosyaları için şunları kullanabilirsiniz:
User-agent: *
İzin verme: *.ppt$
Daha iyi bir seçenek, PDF'niz veya diğer dosyalarınız için bir klasör oluşturmak ve ardından tarayıcıların onu taramasına izin vermemek ve tüm dizini bir meta etiket.
Tüm Web Sitesine Erişimi Engelleyin
Bir geliştirme web siteniz veya test klasörleriniz varsa özellikle yararlıdır, bu yönerge tüm botlara sitenizi hiç taramamalarını söyler. Sitenizi yayına aldığınızda bunu kaldırmayı unutmamanız önemlidir, aksi takdirde dizin oluşturma sorunları yaşarsınız.
User-agent: *
Yukarıda gördüğünüz * (yıldız) "joker karakter" ifadesi dediğimiz şeydir. Yıldız işareti kullandığımızda, aşağıdaki kuralların tüm kullanıcı aracıları için geçerli olması gerektiğini ima ediyoruz.
3. İzin ver
allow yönergesi, izin verdiğiniz belirli sayfaları veya dizinleri belirtmenize yardımcı olabilir. do botların erişmesini ve taramasını istiyor. Bu, yukarıda görülen izin vermeme seçeneğini geçersiz kılma kuralı olabilir.
Aşağıdaki örnekte, Googlebot'a portföy dizininin taranmasını istemediğimizi, ancak belirli bir portföy öğesine erişilmesini ve taranmasını istediğimizi söylüyoruz:
Kullanıcı aracısı: Googlebot
İzin verme: /portfolio
İzin ver: /portfolio/crawlableportfolio
4. Site haritası
Dosyanıza site haritanızın konumunu eklemek, arama motoru tarayıcılarının site haritanızı taramasını kolaylaştırabilir.
Site haritalarınızı doğrudan her arama motorunun web yöneticisi araçlarına gönderirseniz, robots.txt dosyanıza eklemeniz gerekmez.
site haritası: https://yourwebsite.com/sitemap.xml
5. Tarama Gecikmesi
Tarama gecikmesi, bir bota web sitenizi tararken yavaşlamasını söyleyebilir, böylece sunucunuz boğulmaz. Aşağıdaki yönerge örneği, Yandex'den web sitesinde gerçekleştirdiği her tarama işleminden sonra 10 saniye beklemesini istiyor.
Kullanıcı aracısı: yandex
Tarama gecikmesi: 10
Bu, dikkatli olmanız gereken bir yönergedir. Çok büyük bir web sitesinde, her gün taranan URL'lerin sayısını büyük ölçüde en aza indirebilir, bu da ters tepebilir. Bu, botların biraz fazla ziyaret ettiği daha küçük web sitelerinde faydalı olabilir.
Not: Tarama gecikmesi Google veya Baidu tarafından desteklenmiyor. Tarayıcılarından web sitenizi taramalarını yavaşlatmalarını istiyorsanız, bunu yapmanız gerekecektir. onların araçları aracılığıyla.
Normal ifadeler ve joker karakterler nelerdir?
Desen eşleştirme, bir botun web sitenizi karakterleri kullanarak tarama şeklini kontrol etmenin daha gelişmiş bir yoludur.
Ortak olan ve hem Bing hem de Google tarafından kullanılan iki ifade vardır. Bu yönergeler özellikle e-ticaret web sitelerinde faydalı olabilir.
yıldız: * joker karakter olarak kabul edilir ve herhangi bir karakter dizisini temsil edebilir
Dolar işareti: $ bir URL'nin sonunu belirtmek için kullanılır
* joker karakterinin kullanılmasına iyi bir örnek, arama motorlarının içinde soru işareti olabilecek sayfaları taramasını engellemek istediğiniz senaryodur. Aşağıdaki kod, tüm botlara, içinde soru işareti olan URL'leri taramayı göz ardı etmelerini söylüyor.
User-agent: *
İzin verme: /*?
Robots.txt Dosyası Nasıl Oluşturulur veya Düzenlenir
Sunucunuzda mevcut bir robots.txt dosyanız yoksa aşağıdaki adımlarla kolayca ekleyebilirsiniz.
- Yeni bir belge başlatmak için tercih ettiğiniz metin düzenleyiciyi açın. Bilgisayarınızda bulunabilecek yaygın düzenleyiciler Not Defteri, TextEdit veya Microsoft Word'dür.
- Belgeye eklemek istediğiniz yönergeleri ekleyin.
- Dosyayı “robots.txt” adıyla kaydedin
- Dosyanızı bir sonraki bölümde gösterildiği gibi test edin
- .txt dosyanızı bir FTP ile veya CPanel'inizden sunucunuza yükleyin. Nasıl yükleyeceğiniz, sahip olduğunuz web sitesinin türüne bağlı olacaktır.
WordPress'te dosyanızı oluşturmak ve düzenlemek için Yoast, All In One SEO, Rank Math gibi eklentileri kullanabilirsiniz.
Ayrıca kullanabilirsiniz robots.txt oluşturucu aracı hataları en aza indirmeye yardımcı olabilecek bir tane hazırlamanıza yardımcı olmak için.
Robots.txt Dosyası Nasıl Test Edilir
Oluşturduğunuz robots.txt dosya kodunu yayınlamadan önce, geçerli olduğundan emin olmak için onu bir test cihazından geçirmek isteyeceksiniz. Bu, eklenmiş olabilecek yanlış yönergelerle ilgili sorunları önlemeye yardımcı olacaktır.
robots.txt test aracı yalnızca Google Search Console'un eski sürümünde mevcuttur. Web siteniz Google Search Console'a bağlı değilse, önce bunu yapmanız gerekir.
Airdrop formunu doldurun : Google Desteği sayfasını ve ardından “robots.txt test cihazını aç” düğmesini tıklayın. Test etmek istediğiniz mülkü seçin, ardından aşağıdaki gibi bir ekrana yönlendirileceksiniz.
Yeni robots.txt kodunuzu test etmek için, kutuda mevcut olanı silin ve yeni kodunuzla değiştirin ve “Test Et”e tıklayın. Testinize verilen yanıt “izin verilir” ise kodunuz geçerlidir ve yeni kodunuzla asıl dosyanızı revize edebilirsiniz.
Umarım bu gönderi, robots.txt dosyanıza girmekten daha az korkmanızı sağlamıştır - çünkü bunu yapmak, sıralamalarınızı iyileştirmenin ve SEO çabalarınızı artırmanın bir yoludur.
- erişim
- Hesap
- Action
- aktif
- Türkiye
- ALAN
- etrafında
- Bing
- Bit
- Bot
- botlar
- kutu
- çağrı
- durumlarda
- Sebeb olmak
- kod
- ortak
- içerik
- gün
- geciktirmek
- gelişme
- e-ticaret
- editör
- Ad
- takip et
- Ücretsiz
- Tercih Etmenizin
- Google Arama
- harika
- Ne kadar
- HTTPS
- HubSpot
- Yüzlerce
- indeks
- sorunlar
- IT
- malzeme
- büyük
- çizgi
- yer
- büyük
- işaret
- matematik
- Meta
- Microsoft
- Microsoft Word
- açık
- seçenek
- Opsiyonlar
- Diğer
- Platformlar
- eklentileri
- portföy
- özellik
- RE
- nedenleri
- yanıt
- Sonuçlar
- robot
- robotlar
- kurallar
- koşmak
- koşu
- Ekran
- Ara
- arama motoru
- Arama motorları
- SEO
- set
- So
- başlama
- destek
- destekli
- Hedef
- anlatır
- test
- Test yapmak
- Blok
- beklemek
- Web sitesi
- web siteleri
- Nedir
- WordPress
- XML
- Yahoo