Robots.txt Dosyası Nedir, Ne İşe Yarar, Nasıl Düzenlenir?

Arama motorlarının web sitemizi nasıl algılayacağı yönünde bir nevi klavuz metni olan Robots.txt dosyası hakkında merak edilen önemli bilgilere ışık tutmaya çalıştık.

Robots.txt Nedir, Ne İşe Yarar?

Uzantısından da anlaşılacağı üzere düz bir metin dosyasıdır. Arama motorlarının robotlarının (diğer bir ifadeyle spider, yani "örümcek") web sitemizi tararken nasıl davranacağı konusunda yol gösteren bir yönlendirici gibi düşünebilir. Arama motorları web sitemizdeki verileri veribankasına ekleyerek internet dünyasında çeşitli bilgilere erişmek için anahtar kelimelerle sorgu yapan kullanıcılara sunar. Hal böyle iken web site sahipleri de içeriklerinin arama motorlarında ne denli görünüp, görünmeyeceğini ve ne şekilde yer alacağını belirlemek ister. Bu noktada Robots.txt dosyasının önemi büyüktür.

Robots.txt Nasıl Düzenlenir?

Öncelikle Robots.txt dosyasının konumuna dikkat etmek gerekiyor. Robots.txt dosyası mutlaka ana dizinimizde bulunmalıdır, başka bir ifadeyle örneğin tamindir.com/robots.txt şeklinde bir yola sahip olmalıdır. Haliyle robots.txt dosyası oluştururken public_html/ veya htdocs/ dizini içerisinde var olduğuna dikkat etmek gerekiyor.

Web sitemizin arama motorlarında yer bulması elbette en arzu edilesi durumdur. Fakat geliştirme aşamasında olduğumuz bir web sayfasının düzensiz şekliyle arama motorlarında yer almasını istemeyiz. Robots.txt dosyası yardımıyla web sitemizin tamamının veya bir kısmının arama motorlarında yer alıp almayacağını belirtebiliriz. 

User-agent Komutu:

Hangi arama motorlarının sitemizi ziyaret edip/etmemesi gerektiği konusunda yardımcı olan komuttur. Bizim tavsiyemiz sitenizi tüm arama motorlarının erişimine açmanız yönündedir. Haliyle * operatörü kullanarak şöyle bir söz dizimi yazmak gereklidir.

user-agent: * 

Disallow Komutu:

Arama motorlarının hangi dosyayı ve dizini indekslememesi yönünde komut verebileceğimiz bir yardımcıdır. Örneklerle anlaşılır kılalım.

Örneğin admin dizininin güvenlik gerekçesiyle arama motorlarında yer almasını istemiyorsak uygulayacağımız söz dizimi şöyle olmalıdır.

Disallow: /admin/

Sadece admin dizini içindeki sifre_degistir.html dosyasının arama motorlarında yer almasını istemiyorsak;

Disallow: /admin/sifre_degistir.html

Web sitemizin bütünüyle arama motorlarında yer almasını istemiyorsak;

Disallow: /

Sitemap Komutu:

Bu komut ile arama motorlarının örümceklerine web sitemizin detaylı bir iç klavuzu olan site haritamızın yolunu göstermiş oluruz.

Örneğin:

Sitemap: https://tamindir.com/sitemap.xml

3D Webmaker

3D Webmaker ile 3 boyutlu(3d) gerçekçi mekanlar hazırlamanız mümkündür.

⤓ İndir

Website Ranking Checker

Website Ranking Checker programı sayesinde web sitenizin arama motorlarındaki sıralamasını kolayca öğrenin.

⤓ İndir

TEKNOLOJİ

Google AI, En Zeki Yapay Zeka!

Teknolojinin gelişmesiyle beraber şirketler yapay zeka sistemlerini en iyi hale getirmeye çalışıyorlar. Ancak Cornell Üniversitesinde yapılan yeni bir araştırmada, Google AI’nin en yüksek IQ’ye sahip olduğu ortaya çıktı.

NASIL YAPILIR

WordPress'te All in One SEO Ayarları Nasıl Yapılır?

Popüler içerik yönetim sistemi WordPress'i arama motorlarında daha yukarılara taşıyacak SEO ayarlarını sizler için hazırladık.

TEKNOLOJİ

Milli Eğitim Bakanlığı ile Google’dan Önemli Ortaklık

Milli Eğitim Bakanlığı Temel Eğitim Genel Müdürlüğü ile Google Türkiye arasında ‘İlköğretimde Bilişim Teknolojileri ve Yazılım Dersi İçin İş Birliği Protokolü’ imzalandı.