- Kayıt
- 3 Nisan 2008
- Mesaj
- 2.630
- Tepki
- 89
robots.txt Nedir?
Eğer yeni bir site oluşturmuşsanız; arama motorlarına yardımcı olmak için robots.txt dosyasını da oluşturmanız kesinlikle önerilir.
robots.txt dosyası sitenizin bazı bölümlerinin arama motorlarları tarafından indexlenmemesi için kullanılır.
Mesela yeni bir site oluşturdunuz. Sitenizin anasayfasını tamamladınız. Eğer alt sayfaları oluşturmuşsanız ve içeriği sonra eklemeyi düşünüyorsanız; arama motorlarının içerik eklenmemiş sayfaları indexlemesi işinize yaramaz. Bu durumda henüz hazır olmayan sayfalardan arama motoru robotlarını uzak tutabilirsiniz. Daha sonra sayfalara içerik eklediğiniz zaman robots.txt dosyasını değiştirerek robotlara izin verirsiniz.
robots.txt Nasıl Oluşturulur:
Genel Kullanımı:
User-agent: *
Disallow: /
User-agent:
Robot ismi burada belirtilir. * karakteri hepsi anlamına gelir. Yani bütün robotları ifade eder. Mesela User-agent: Googlebot ile sadece google botlarını ifade edebilirsiniz. Ya da User-agent: Scooter ile sadece Altavista botlarını ifade edebilirsiniz. Ama genellikle * ile tamamı ifade edilir.
Disallow:
Robotların ziyaret etmesini istemidiğiniz sayfaları burada belirtirsiniz. Mesela Disallow: / ifadesi ile sitenizdeki bütün sayfalara robotların girişini engellersiniz. Disallow: ifadesi ile de sitenizdeki bütün sayfaları robotların indexlemesini söylemiş olursunuz.
Disallow: /cgi-bin/ ifadesi ile de cgi-bin klasörünün robotlar tarafından indexlenmemesini söylemiş olursunuz.
robots.txt Kullanım Örnekleri:
User-agent: *
Disallow: /
Bütün robotların siteden uzak durmasını sağlar.
********************************************
User-agent: *
Disallow: Bütün robotların sitedeki bütün sayfaları indexlemesine izin verir.
********************************************
User-agent: *
Disallow: /cgi-bin/
Disallow: /resimler/
Disallow: /siirler/
cgi-bin, resimler, siirler klasörleri içindeki sayfaları robotlar indexleyemez. Diğer sayfaları indexleyebilir.
********************************************
User-agent: Googlebot
Disallow: /
User-agent: *
Disallow: Google robotu siteyi indexleyemez. Diğer bütün robotlar siteyi indexleyebilir.
********************************************
Herhangi Bir Sayfanın İndexlenmesini Önlemek:
Sayfaların meta bölümünden de sayfanın indexlenmesi önlenebilir. Bunu yapabilmek için head tagları arasına aşağıdaki gibi kodlar eklenmelidir. <META NAME=”ROBOTS” CONTENT=”NOINDEX, NOFOLLOW”>Bu metayı eklediğiniz sayfayı robot gördüğü zaman bu sayfayı indexlemez ve sayfadaki linkleri takip etmez.<META content=”index, follow” name=robots>
Bu meta ise bütün robotların sayfayı indexlemesini ve sayfadaki linkleri takip etmesini söyler.
Not : robots.txt dosyası ana dizinde(root) olmalıdır. Alt dizinlere yerleştirilmez.
Eğer yeni bir site oluşturmuşsanız; arama motorlarına yardımcı olmak için robots.txt dosyasını da oluşturmanız kesinlikle önerilir.
robots.txt dosyası sitenizin bazı bölümlerinin arama motorlarları tarafından indexlenmemesi için kullanılır.
Mesela yeni bir site oluşturdunuz. Sitenizin anasayfasını tamamladınız. Eğer alt sayfaları oluşturmuşsanız ve içeriği sonra eklemeyi düşünüyorsanız; arama motorlarının içerik eklenmemiş sayfaları indexlemesi işinize yaramaz. Bu durumda henüz hazır olmayan sayfalardan arama motoru robotlarını uzak tutabilirsiniz. Daha sonra sayfalara içerik eklediğiniz zaman robots.txt dosyasını değiştirerek robotlara izin verirsiniz.
robots.txt Nasıl Oluşturulur:
Genel Kullanımı:
User-agent: *
Disallow: /
User-agent:
Robot ismi burada belirtilir. * karakteri hepsi anlamına gelir. Yani bütün robotları ifade eder. Mesela User-agent: Googlebot ile sadece google botlarını ifade edebilirsiniz. Ya da User-agent: Scooter ile sadece Altavista botlarını ifade edebilirsiniz. Ama genellikle * ile tamamı ifade edilir.
Disallow:
Robotların ziyaret etmesini istemidiğiniz sayfaları burada belirtirsiniz. Mesela Disallow: / ifadesi ile sitenizdeki bütün sayfalara robotların girişini engellersiniz. Disallow: ifadesi ile de sitenizdeki bütün sayfaları robotların indexlemesini söylemiş olursunuz.
Disallow: /cgi-bin/ ifadesi ile de cgi-bin klasörünün robotlar tarafından indexlenmemesini söylemiş olursunuz.
robots.txt Kullanım Örnekleri:
User-agent: *
Disallow: /
Bütün robotların siteden uzak durmasını sağlar.
********************************************
User-agent: *
Disallow: Bütün robotların sitedeki bütün sayfaları indexlemesine izin verir.
********************************************
User-agent: *
Disallow: /cgi-bin/
Disallow: /resimler/
Disallow: /siirler/
cgi-bin, resimler, siirler klasörleri içindeki sayfaları robotlar indexleyemez. Diğer sayfaları indexleyebilir.
********************************************
User-agent: Googlebot
Disallow: /
User-agent: *
Disallow: Google robotu siteyi indexleyemez. Diğer bütün robotlar siteyi indexleyebilir.
********************************************
Herhangi Bir Sayfanın İndexlenmesini Önlemek:
Sayfaların meta bölümünden de sayfanın indexlenmesi önlenebilir. Bunu yapabilmek için head tagları arasına aşağıdaki gibi kodlar eklenmelidir. <META NAME=”ROBOTS” CONTENT=”NOINDEX, NOFOLLOW”>Bu metayı eklediğiniz sayfayı robot gördüğü zaman bu sayfayı indexlemez ve sayfadaki linkleri takip etmez.<META content=”index, follow” name=robots>
Bu meta ise bütün robotların sayfayı indexlemesini ve sayfadaki linkleri takip etmesini söyler.
Not : robots.txt dosyası ana dizinde(root) olmalıdır. Alt dizinlere yerleştirilmez.
