Araçlara Dön

Robots.txt Oluşturucu

Robots.txt kurallarını oluşturun ve doğrulayın.

Ücretsiz • Limitsiz (Beta)

Limitler daha sonra devreye alınacaktır; erken kullanıcılar avantajlı olacaktır.

Robots SEO Tarama Doğrulama Üretici
Varsayılan: * (tüm botlar)
Not: Tüm botlar Host direktifini desteklemez

İlgili araçlar

Zaman Damgası Dönüştürücü

Unix timestamp ve tarih arasında dönüştür.

Zaman Damgası Dönüştürücü Tarih
Aç
Şifre Üretici

Kurallara göre güvenli rastgele şifreler üretin.

Şifre Üretici Güvenlik Rastgele
Aç
E-posta Spam Skoru Kontrolü

E-posta header'larını analiz edip teslim edilebilirlik / spam riskini tahmin eder.

E-posta Header Spam DKIM SPF DMARC
Aç

Robots.txt oluşturucu ve doğrulayıcı hakkında

Genel bakış

Robots.txt, örümceklere hangi yolları isteyip isteyemeyeceklerini söyler. User-agent, Disallow, Allow ve isteğe bağlı Sitemap, Crawl-delay direktifleri kullanılır. Bu aracın iki modu vardır: Oluşturucu form girdilerinden robots.txt üretir; Doğrulayıcı mevcut robots.txt içeriğini ayrıştırır, uyarıları (bilinmeyen veya hatalı direktifler) raporlar. Sitemap Generator ile site haritası oluşturup robots.txt’te referans verin; sayfalarınızın taranabilirliğini SEO Analyzer ile doğrulayın.

Ne zaman kullanılır

Yeni bir site için robots.txt gerektiğinde veya Sitemap/Host eklemek istediğinizde Oluşturucu’yu kullanın. Mevcut robots.txt’i dağıtmadan önce sözdizimi ve direktifleri kontrol etmek için Doğrulayıcı’yı kullanın. Oluşturduktan sonra Sitemap URL’sini ekleyin. Önemli URL’lerde SEO Analyzer ile engellenmediğini doğrulayın. Yapısal veri için Schema.org aracı JSON-LD’ye yardımcı olur.

Nasıl kullanılır

Oluşturucu sekmesi: User-agent satırları (*), Disallow ve Allow yolları, isteğe bağlı Crawl-delay, Sitemap URL ve Host ekleyin. Metni üretmek için Oluştur’a tıklayın. Kopyala veya İndir. Doğrulayıcı sekmesi: robots.txt içeriğini yapıştırın ve Doğrula’ya tıklayın. Araç ayrıştırılmış grupları, uyarıları ve normalize önizlemeyi gösterir. Düzeltip tekrar doğrulayın. İndir POST ve CSRF ile çalışır; kota uygulanır.

İpuçları

Sitemap satırı ekleyin (Sitemap Generator ile oluşturduğunuz URL). Admin, API veya mükerrer içerik yolları için Disallow kullanın. Allow aynı grupta belirli yollar için Disallow’u geçersiz kılabilir. Crawl-delay standart dışıdır. Önemli sayfaların erişilebilir olduğunu SEO Analyzer ile test edin. robots.txt’i site kökünde tutun.

Yaygın hatalar

Disallow: / ile tüm siteyi engellemek ve gerekli yollar için Allow eklememek her şeyi gizleyebilir. Direktif adlarındaki yazım hataları uyarı üretir. Yanlış Sitemap URL formatı doğrulayıcı uyarısı verir. Hassas veriyi robots.txt’e koymayın—herkese açıktır. Site haritası için Sitemap Generator; sayfa içi ve teknik SEO için SEO Analyzer ve Schema.org kullanın.

↑ Yukarı

SSS

Örümceklere hangi yolların istenip istenmeyeceğini söyleyen dosya. Site kökünde bulunur.

Evet. Kayıt gerekmez.

Hayır. Oluşturucu ve doğrulayıcı girdinizle çevrimdışı çalışır.

Evet. Sitemap: satırına site haritası URL’nizi ekleyin.

Dağıtmadan önce yazım hataları ve hatalı satırları yakalamak için.