- robots.txt Nedir?
- robots.txt Dosyası Gerekli Midir?
- SEO için robots.txt Nasıl Kullanılır?
robots.txt, koca bir yelpaze olan arama motoru optimizasyonu konusunun teknik başlığında kendine yer bulan bir terimdir. Google’ın kullanıcı deneyimi sağlamak amacıyla sık sık yaptığı güncellemeleriyle birlikte web siteleri için SEO’nun teknik kısmı yeniliklere ayak uydurulması gereken bir alan haline geldi. İşte bu teknik SEO’nun bir parçası da robots.txt’dir. Peki robots.txt nedir? Web siteniz için olmazsa olmaz bir dosya mıdır? SEO’ya uygun optimizasyonlarda bu oyunun neresindedir? Gelin hepsini tek tek ele alalım.
robots.txt Nedir?
robots.txt dosyası, arama motoru botları sitenizi tararken onlara web sitenizdeki hangi sayfalara erişebileceklerini, hangilerine erişemeyeceklerini gösteren bir teknik SEO aracıdır. Robot engelleme standardı (Robots exclusion standard) olarak da bilinir ve sayfanızın arama motoru sonuç sayfalarında görünmesi için dizine ekleme işlemleri yapan arama motorları botlarına bir nevi yönlendirme yapar: Şu sayfamı tara, dizine ekle; bu sayfamı ise tarama, dizine ekleme.
Bununla birlikte robots.txt nedirin cevabının web sayfalarını dizinden kaldırmak olmadığını da anlamak önemlidir. robots.txt sadece sayfaların görüntülenmelerini engeller. Google açık bir şekilde bir web sayfasını Google’dan gizli tutmak için bir mekanizma bulunmadığını belirtiyor. robots.txt daha çok tarayıcı trafiğini yönetmek ve bir dosyayı Google’ın dışında tutmak için kullanılır. Google’daki bir sayfanızın dizine eklenmemesi için noindex etiketi kullanılmalıdır. Ancak unutmayın ki noindex sadece Google’a sayfamı dizine ekleme emri verir, Google yine de sayfadaki bağlantıların takibine devam eder.
Şimdi işler biraz karışmış olabilir😊. robots.txt nedir noindex nedir diye arada kalmış olmanız muhtemel. Bu farkı şöyle açıklayabiliriz: robots.txt arama motorlarına genel olarak sitemi tara veya şu sayfalar hariç sitemi tara diye komut verir. Noindex ise halihazırda içerik bulunan bir sayfanızda kullanılır ve Google’a bu indexlenmiş içeriğimi arama motoru sonuç sayfasında gösterme komutu verir. Mesela bir e-ticaret siteniz olsun. Google “sepetim” sayfasını tarayıp dizine ekler ve kullanıcılara SERP’lerde sunarsa bu gereksiz bir hareket olmaz mı? Kullanıcı zaten bir ürün satın aldığında site içerisinden sepetine gidebilirken bunu ekstra olarak sonuç sayfasında görmesine gerek yoktur. Bu gibi durumlarda noindex etiketi kullanılır.
robots.txt Dosyası Gerekli Midir?
Çoğu web sitesi robots.txt dosyasına ihtiyaç duymaz. İhtiyaç duymasanız bile robots.txt dosyasına sahip olmanın birkaç iyi nedeni vardır. Bu nedenleri şöyle sıralayabiliriz:
- Arama motorlarının hangi web sayfalarını tarayabileceği ve tarayamayacağı konusunda size daha iyi kontrol sağlar.
- Dizine ekleme robotlarının yinelenen içeriği taramasını engeller
- Sitenizin oturum açma sayfası veya web sayfasını oluştururken hazırladığınız deneme sayfaları gibi farklı bölümlerinin taranmasını engeller
- Kaynak dosyalarının, videoların ve resimlerin Google'da görünmesini engellemenizi sağlar
- Site içi arama sonuç sayfalarının arama motorları tarafından taranmasını engeller
- Önem açısından daha düşük sayfalarınızda kullanarak botların önemli sayfalara yönelmesi adına crawl-budget’inizin daha verimli kullanılmasını sağlayabilirsiniz.
Google'ın, robots.txt dosyası kullanılarak engellenen web sayfalarını tamamen hariç tutmayı garanti etmediğini unutmayın. Arama motoru devinin dediği gibi, sayfa diğer web sitelerine veya içeriğe bağlıysa, Google SERP'lerde görünmeye devam edebilir.
SEO için robots.txt Nasıl Kullanılır?
Bir arama motoru sıralama faktörü olmasa da, robots.txt arama motoru optimizasyonunda önemli bir rol oynar.
1. Botların robots .txt dosyasını bulmasını kolaylaştırın
Bir robots.txt dosyası oluşturduktan sonra yapacağınız şey dosyayı web sitesinin “kök dizinine” yerleştirmektedir. Sitenizin robots.txt dosyasına ulaşmak için www.abcd.com/robots.txt sayfasına gidebilirsiniz.
Dosyanızın görünürlüğünü artırmanın başka bir yolu da her yönerge için yeni bir satır kullanmaktır. Başka yerlerde, arama motorları için kafa karıştırıcı olabilir.
Dosyada her bir komut için bir satır kullanılmalıdır. Diğer türlüsü arama motoru botları için kafa karışıklığı doğurabilir.
Gelin bu robots.txt dosyalarını örneklerle somut bir hale getirelim.
1.Tüm botların (Google, Yandex, Bing...botları) tüm sayfalardan engellenmesi için:
User-agent: *
Disallow: /
2.Tüm botların (Google, Yandex, Bing...botları) tüm sayfaları taramasına izin vermek için:
User-agent: *
Disallow: /
3. Sadece bir klasörü bir bottan engellemek için:
User-agent: Googlebot
Disallow: /klasor/
4. Bir arama botunu belirli bir sayfadan engellemek için:
User-agent: Googlebot
Disallow: /klasor/alt-sayfa
2. URL'nin sonunu "$" veya "*" ile belirtin
'"$" veya "*" sembolünün eklenmesi bir URL'nin sonunu gösterir. Bu, arama motorunun web sitenizdeki tüm benzer dosyalara erişmesini engelleyebilir ve yalnızca '"$" veya "*" sembolünü içerenleri dizine ekleyebilir. Örneğin botların görsel dosyalarını görmesini engellemek istiyorsanız:
User-agent: Googlebot
Disallow: /*.image$ bir komut oluşturmanız gerekir.
Böylece arama motoru .image ile biten URL’lere erişememiş olur. Ancak dosya/.image?id=7852365 gibi bir sayfayı dizine ekleyebilir.
Dosyanızı oluştururken ne kadar spesifik olursanız, o kadar iyi arama motorları sayfalarınızı tarar ve SEO arama sonuçlarınızı iyileştirmeye yardımcı olur.
3. Yanlış veya hata olmadığından emin olun
robots.txt dosyası kolay gibi görünse de çok dikkatli oluşturulmalıdır. Tek bir hatanız sitenizin tüm sayfalarını arama motoru botlarına kapatabilir. Bu geri dönülebilir olsa da büyük bir felaket senaryosu değil mi? 😊. Arama motoru sıralamalarınızı etkileyebilecek hatalardan uzak durarak en doğru robots.txt dosyasını oluşturmak için bir uzmandan yardım alabilirsiniz.
Eğer robots.txt dosyanızda hata olup olmadığını merak ediyorsanız Google’ın test aracını kullanabilirsiniz.
Özet Olarak
robots.txt dosyasının doğru şekilde kullanımı arama motoru botlarını yöneterek sitenize olumlu yönde dönüşümler olmasına katkıda bulunabilir. Umarız robots.txt nedir konusunda kafanızda soru işareti kalmamıştır😊.
Arama Motoru Optimizasyonu (SEO) Yatırımı için Desteğe Hazırız
SEO çalışması, çok etkili ve verimli sonuçlar doğuran ve yatırım yapmaya değer bir alandır. Rakiplerinizle daha etkin bir şekilde rekabet edebilmek, sadece yerelde değil hem ulusal hem de global çapta bir pazara ulaşabilmek ve daha geniş bir müşteri kitlesine ulaşarak daha çok kazanç elde etmek için hala SEO çalışması yapmadıysanız yatırım yapmak için daha fazla gecikmeyin.
Aryozone Solutions olarak SEO çalışması, online pazarlama, e-ticaret, sosyal medya pazarlama, yazılım, metin redaksiyon, makale, tashih ve çeviri gibi birçok hizmet alanında hem İngilizce hem de Türkçe olarak hizmet vermekteyiz. Her biri önde gelen ABD ya da Türkiye üniversitelerinde doktora yapmış, birden fazla alanda kariyer sahibi olan, alandaki güncel gelişmeleri yakından takip eden doktora dereceli uzmanlarımızla hizmetinizdeyiz.
Ekibimiz, derin birikim ve tecrübesiyle şahıslar, firmalar, üniversiteler ve kamu kuruluşları için online pazarlama çözümleri, site ve program yazılımı, SEO hizmeti, akademik danışmanlık ve yönetim hizmetleri sağlamakta ve piyasa ihtiyaçlarını en üst seviyede tespit ederek müşterilerimiz için güncel, rekabetçi ve akılcı çözümler sunmaktadır.
Online mağaza oluşturmadan, mağazanın tamamen yönetimi, ürün listelemeye kadar oldukça farklı alanlarda e-ticaret, FBA ve FBM dahil Amazon online mağaza kurulumu, e-Bay, Etsy ve benzer online satış platformlarında mağaza kurma ve kurulan mağazaları yönetmeye ilişkin tüm işlemleri firmanız adına yürütmekte ve periyodik raporlamaları yapmaktayız.
Yukarıda sayılan alanlarda profesyonel destek almak için e-mail ya da Whatsapp hattı aracılığıyla bize ulaşabilirsiniz.