Robots.txt Oluşturucu
Robots.txt Nedir?
Robots.txt dosyası, arama motoru botlarına web sitenizin hangi bölümlerini tarayıp hangi bölümlerini taramayacaklarını belirten bir metin dosyasıdır.
Önemli Bilgiler:
- Robots.txt dosyası sitenizin kök dizininde olmalıdır
- Dosya adı tam olarak "robots.txt" olmalıdır
- Dosya UTF-8 formatında olmalıdır
- Her arama motoru botu farklı davranabilir
- Hassas içerikleri robots.txt ile gizlemeyin
Robots.txt dosyanızı oluşturduktan sonra Google Search Console üzerinden test etmeniz önerilir.