TR

robots.txt oluşturucu

Bu robots.txt oluşturucu dosyayı birkaç tıklamayla hazırlar: bir şablon seçer, engellenecek yolları ve site haritanızı eklersiniz; isterseniz yapay zekâ botlarını dışarıda bırakırsınız. Hazır dosya anında görünür ve sık yapılan hatalar için denetlenir.

Kaynak: IETF RFC 9309 – Robots Exclusion Protocol (gruplar, Allow/Disallow, joker karakterler * ve $). Güncelleme: .

her satıra bir yol, örn. /ozel/ veya /*.pdf$
her satıra bir yol; engellenen bir alanın alt yollarına izin verir
https:// ile tam URL; boş = eklenmez
saniye
istekler arasındaki bekleme; Google yok sayar, bazı botlar dikkate alır
AraçlarımGirdileriniz yalnızca bu tarayıcıda saklanır.

Sonuç

robots.txt dosyanız
User-agent: * Disallow: /ozel/ Disallow: /tmp/ Sitemap: https://www.example.com/sitemap.xml
Denetim
  • Sorun bulunmadı.
Nereye konur?
robots.txt adıyla (UTF-8) bir metin dosyası olarak alan adının kök dizinine kaydedin; https://alan-adiniz.com/robots.txt adresinden erişilebilmelidir – her alt alan adının kendi dosyası olur.
robots.txt yalnızca taramayı yönetir, dizine eklemeyi değil: engellenmiş bir sayfa yine de dizinde görünebilir. Sayfayı sonuçlardan çıkarmak için noindex kullanın. Dosya herkese açıktır – gizli yolları yazmayın.

Nasıl hesaplanır?

robots.txt, bir sitenin kök dizinindeki küçük bir metin dosyasıdır ve botlara hangi alanlara erişebileceklerini söyler. Robot Hariç Tutma Protokolü’nü (RFC 9309) izler: her grup bir User-agent ile başlar ve Allow ile Disallow kuralları içerir.

Oluşturucunun yazdıkları

Bilmekte fayda var

Dosya alan adının /robots.txt adresinden erişilebilir olmalıdır ve herkese açıktır; bir erişim denetimi değildir. Bir sayfanın Google’da görünmesini önlemek için engelleme yerine noindex kullanın; çünkü engellenmiş sayfalar içeriksiz de listelenebilir. Yükledikten sonra robots.txt kontrol aracı botların kuralları istediğiniz gibi okuyup okumadığını sınar; SERP önizleme ise başlık ve açıklamanın aramada nasıl göründüğünü gösterir.

Sıkça sorulan sorular

robots.txt nasıl oluşturulur?

Bir şablon seçin, engellenecek yolları ve site haritasını ekleyin, metni kopyalayın ve alan adınızın kök dizinine robots.txt olarak kaydedin. Sonra alan-adiniz.com/robots.txt adresini açıp kontrol edin.

robots.txt nereye konmalı?

Alan adının kök dizinine, yani https://alan-adiniz.com/robots.txt adresine. Alt klasördeki dosya yok sayılır. Her alt alan adının kendi dosyası olmalıdır.

robots.txt sayfaları Google’dan çıkarır mı?

Güvenilir biçimde değil. Yalnızca taramayı yasaklar. Başka sayfalar bağlantı veriyorsa engellenmiş bir sayfa adresiyle ama içeriksiz olarak dizinde görünebilir. Dışarıda bırakmak için noindex kullanın.

Yapay zekâ botları nasıl engellenir?

Her bot için ayrı bir grup ve Disallow: / ile. Araç bilinen yapay zekâ eğitim botlarını ekler. Hukuken bağlayıcı değildir, ancak saygın sağlayıcılar dosyaya uyar.

robots.txt dosyasına gerçekten ihtiyacım var mı?

Zorunlu değil: dosya yoksa botlar her şeyi tarayabilir. Sepet veya site içi arama gibi önemsiz alanları taramadan çıkarmak ve site haritasını duyurmak için faydalıdır.

Kaynaklar ve yasal dayanak

Güncelleme: · Editoryal ilkeler

Benzer araçlar