Duyuruyu Kapat
Facebook Gözat
Twitter Gözat

bazıları hariç tüm botları engelleme robot txt

Konu, 'SEO (Arama Motoru Optimizasyonu)' kısmında zalih tarafından paylaşıldı.

  1. zalih

    zalih Üye

    Kayıt:
    3 Ekim 2008
    Mesajlar:
    111
    Beğenilen Mesajlar:
    0
    Meslek:
    yazılım
    Şehir:
    istanbul
    mrb arkadaşlar.

    googlebot binbot msnbot gibi ana botlar dışında kalan tüm botları engellemek istiyorum.
    (voilabot, seznambot gibi gıcık botlardan kurtulmak için)

    aslında kaynak buldum fakat engelleme veya izin verme gibi hususlar hakkında genel bilgiler var.

    aşağıdaki gibi bir yazım işimi görüyormu?
    botların php motoru gibi sol yukardan aşağıya tarama gibi bir prensibi varmı? yani "User-Agent: * Disallow: /" ibaresinin üstte veya altta yazılmasının bir sakıncası var mı?

    ayrıca bu işlemi yaptığımda atladığım zararları varmıdır?
    bilgisi olan arkadaşlar yardımcı olursanız sevinirim.

    Kod:
    User-Agent: *Disallow: /
    
    
    User-agent: Googlebot
    Allow: 
    User-agent: googlebot-image
    Allow: 
    User-agent: googlebot-mobile
    Allow: 
    
    
    User-agent: MSNBot
    Allow: 
    
    
    User-agent: yahoobot
    Allow: 
    
    
    User-agent: yahoo-blogs/v3.9
    Allow: 
    
    
    
    
    User-Agent: bingbot
    Allow: /
    
    indexlenme ile alakalı olduğundan, hata yapmamam gerekiyor.
    yardımcı olurmusunuz?
     
  2. UfukArt

    UfukArt Daimi Üye

    Kayıt:
    28 Kasım 2008
    Mesajlar:
    1,861
    Beğenilen Mesajlar:
    1
    Meslek:
    Bilişim
    Şehir:
    İstanbul
    Biraz daha düzeltilmiş olarak şu şekilde kullanmalısın;
    Kod:
    User-Agent: *
    Disallow: /
    User-agent: Googlebot
    Disallow:
    User-agent: googlebot-image
    Disallow:
    User-agent: googlebot-mobile
    Disallow:
    User-agent: MSNBot
    Disallow:
    User-agent: yahoobot
    Disallow:
    User-agent: yahoo-blogs/v3.9
    Disallow:
    User-Agent: bingbot
    Disallow:
    
     
  3. MakPRO

    MakPRO Üye

    Kayıt:
    15 Mayıs 2007
    Mesajlar:
    85
    Beğenilen Mesajlar:
    11
    selamlar robot.txt dosyası hakkında tecrübeli değilim. google ve birkaç bot harici engellemek istiyorum . aşağıdaki gibi bir dosya hazırladım yanlışlarını söyleyebilirmisiniz ?
    Kod:
    User-agent: *
    disallow:/
    User-agent: Googlebot
    Disallow: /galleries/
    Disallow: /assets/
    Disallow: /protected/
    Disallow: /images/
    Disallow: /template/
    Disallow: /themes/
    Disallow: /language/
    Disallow: /libraries/
    Disallow: /media/
    Disallow: /modules/
    Disallow: /plugins/
    Disallow: /templates/
    Disallow: /tmp/
    Disallow: /xmlrpc/
    User-agent: googlebot-image
    Disallow: /galleries/
    Disallow: /assets/
    Disallow: /protected/
    Disallow: /images/
    Disallow: /template/
    Disallow: /themes/
    Disallow: /language/
    Disallow: /libraries/
    Disallow: /media/
    Disallow: /modules/
    Disallow: /plugins/
    Disallow: /templates/
    Disallow: /tmp/
    Disallow: /xmlrpc/
    User-agent: googlebot-mobile
    Disallow: /galleries/
    Disallow: /assets/
    Disallow: /protected/
    Disallow: /images/
    Disallow: /template/
    Disallow: /themes/
    Disallow: /language/
    Disallow: /libraries/
    Disallow: /media/
    Disallow: /modules/
    Disallow: /plugins/
    Disallow: /templates/
    Disallow: /tmp/
    Disallow: /xmlrpc/
    User-agent: MSNBot
    Disallow: /galleries/
    Disallow: /assets/
    Disallow: /protected/
    Disallow: /images/
    Disallow: /template/
    Disallow: /themes/
    Disallow: /language/
    Disallow: /libraries/
    Disallow: /media/
    Disallow: /modules/
    Disallow: /plugins/
    Disallow: /templates/
    Disallow: /tmp/
    Disallow: /xmlrpc/
    User-agent: yahoobot
    Disallow: /galleries/
    Disallow: /assets/
    Disallow: /protected/
    Disallow: /images/
    Disallow: /template/
    Disallow: /themes/
    Disallow: /language/
    Disallow: /libraries/
    Disallow: /media/
    Disallow: /modules/
    Disallow: /plugins/
    Disallow: /templates/
    Disallow: /tmp/
    Disallow: /xmlrpc/
    User-agent: yahoo-blogs/v3.9
    Disallow: /galleries/
    Disallow: /assets/
    Disallow: /protected/
    Disallow: /images/
    Disallow: /template/
    Disallow: /themes/
    Disallow: /language/
    Disallow: /libraries/
    Disallow: /media/
    Disallow: /modules/
    Disallow: /plugins/
    Disallow: /templates/
    Disallow: /tmp/
    Disallow: /xmlrpc/
    User-Agent: bingbot
    Disallow: /galleries/
    Disallow: /assets/
    Disallow: /protected/
    Disallow: /images/
    Disallow: /template/
    Disallow: /themes/
    Disallow: /language/
    Disallow: /libraries/
    Disallow: /media/
    Disallow: /modules/
    Disallow: /plugins/
    Disallow: /templates/
    Disallow: /tmp/
    Disallow: /xmlrpc/
    
    
     
  4. Eagle

    Eagle Üye

    Kayıt:
    26 Mart 2016
    Mesajlar:
    70
    Beğenilen Mesajlar:
    27
    Şehir:
    İstanbul
    @MakPRO doğrusu şöyle olacak:

    Kod:
    User-agent: *
    Disallow: /galleries/
    Disallow: /assets/
    Disallow: /protected/
    Disallow: /images/
    Disallow: /template/
    Disallow: /themes/
    Disallow: /language/
    Disallow: /libraries/
    Disallow: /media/
    Disallow: /modules/
    Disallow: /plugins/
    Disallow: /templates/
    Disallow: /tmp/
    Disallow: /xmlrpc/
    Allow: /
    
    Sitemap: http://www.siteadresiniz.com/sitemap.xml
    
    Diğer arkadaşlar da faydalanabilirler.

    Ayrıca, özel sayfa indexlenmesin isteyenler ve silmek isteyenler için örnek:

    Disallow: sayfa.php <--- sadece bu sayfa
    Disallow: sayfa.php* <--- bu ve önünde ne varsa
     
  5. MakPRO

    MakPRO Üye

    Kayıt:
    15 Mayıs 2007
    Mesajlar:
    85
    Beğenilen Mesajlar:
    11
    teşekkürler eagle.
    fakat bu kötü bodlar için işe yaramadığını öğrendim malesef. gereksiz spam botlarını engellemek daha çok maksadım gereksiz bir trafik yapıyorlar. onuda .htaccess dosyasında google da bulduğum bir kaç satır ekledim. aşağıda örneği mevcut eksik gedik varsa hep beraber düzeltiriz diye düşünüyorum .

    Kod:
    RewriteEngine On
    RewriteCond %{HTTP_USER_AGENT} ^BlackWidow [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Bot\ mailto:craftbot@yahoo.com [OR]
    RewriteCond %{HTTP_USER_AGENT} ^ChinaClaw [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Custo [OR]
    RewriteCond %{HTTP_USER_AGENT} ^DISCo [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Download\ Demon [OR]
    RewriteCond %{HTTP_USER_AGENT} ^eCatch [OR]
    RewriteCond %{HTTP_USER_AGENT} ^EirGrabber [OR]
    RewriteCond %{HTTP_USER_AGENT} ^EmailSiphon [OR]
    RewriteCond %{HTTP_USER_AGENT} ^EmailWolf [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Express\ WebPictures [OR]
    RewriteCond %{HTTP_USER_AGENT} ^ExtractorPro [OR]
    RewriteCond %{HTTP_USER_AGENT} ^EyeNetIE [OR]
    RewriteCond %{HTTP_USER_AGENT} ^FlashGet [OR]
    RewriteCond %{HTTP_USER_AGENT} ^GetRight [OR]
    RewriteCond %{HTTP_USER_AGENT} ^GetWeb! [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Go!Zilla [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Go-Ahead-Got-It [OR]
    RewriteCond %{HTTP_USER_AGENT} ^GrabNet [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Grafula [OR]
    RewriteCond %{HTTP_USER_AGENT} ^HMView [OR]
    RewriteCond %{HTTP_USER_AGENT} HTTrack [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^Image\ Stripper [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Image\ Sucker [OR]
    RewriteCond %{HTTP_USER_AGENT} Indy\ Library [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^InterGET [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Internet\ Ninja [OR]
    RewriteCond %{HTTP_USER_AGENT} ^JetCar [OR]
    RewriteCond %{HTTP_USER_AGENT} ^JOC\ Web\ Spider [OR]
    RewriteCond %{HTTP_USER_AGENT} ^larbin [OR]
    RewriteCond %{HTTP_USER_AGENT} ^LeechFTP [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Mass\ Downloader [OR]
    RewriteCond %{HTTP_USER_AGENT} ^MIDown\ tool [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Mister\ PiX [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Navroad [OR]
    RewriteCond %{HTTP_USER_AGENT} ^NearSite [OR]
    RewriteCond %{HTTP_USER_AGENT} ^NetAnts [OR]
    RewriteCond %{HTTP_USER_AGENT} ^NetSpider [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Net\ Vampire [OR]
    RewriteCond %{HTTP_USER_AGENT} ^NetZIP [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Octopus [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Offline\ Explorer [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Offline\ Navigator [OR]
    RewriteCond %{HTTP_USER_AGENT} ^PageGrabber [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Papa\ Foto [OR]
    RewriteCond %{HTTP_USER_AGENT} ^pavuk [OR]
    RewriteCond %{HTTP_USER_AGENT} ^pcBrowser [OR]
    RewriteCond %{HTTP_USER_AGENT} ^RealDownload [OR]
    RewriteCond %{HTTP_USER_AGENT} ^ReGet [OR]
    RewriteCond %{HTTP_USER_AGENT} ^SiteSnagger [OR]
    RewriteCond %{HTTP_USER_AGENT} ^SmartDownload [OR]
    RewriteCond %{HTTP_USER_AGENT} ^SuperBot [OR]
    RewriteCond %{HTTP_USER_AGENT} ^SuperHTTP [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Surfbot [OR]
    RewriteCond %{HTTP_USER_AGENT} ^tAkeOut [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Teleport\ Pro [OR]
    RewriteCond %{HTTP_USER_AGENT} ^VoidEYE [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Web\ Image\ Collector [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Web\ Sucker [OR]
    RewriteCond %{HTTP_USER_AGENT} ^WebAuto [OR]
    RewriteCond %{HTTP_USER_AGENT} ^WebCopier [OR]
    RewriteCond %{HTTP_USER_AGENT} ^WebFetch [OR]
    RewriteCond %{HTTP_USER_AGENT} ^WebGo\ IS [OR]
    RewriteCond %{HTTP_USER_AGENT} ^WebLeacher [OR]
    RewriteCond %{HTTP_USER_AGENT} ^WebReaper [OR]
    RewriteCond %{HTTP_USER_AGENT} ^WebSauger [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Website\ eXtractor [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Website\ Quester [OR]
    RewriteCond %{HTTP_USER_AGENT} ^WebStripper [OR]
    RewriteCond %{HTTP_USER_AGENT} ^WebWhacker [OR]
    RewriteCond %{HTTP_USER_AGENT} ^WebZIP [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Wget [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Widow [OR]
    RewriteCond %{HTTP_USER_AGENT} ^WWWOFFLE [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Xaldon\ WebSpider [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Zeus
    RewriteRule ^.* - [F,L]
    
    # Use PHP56 as default
    BrowserMatchNoCase SpammerRobot bad_bot
    BrowserMatchNoCase SecurityHoleRobot bad_bot
    Order Deny,Allow
    Deny from env=bad_bot
    Deny from 127.0.0.1
    Deny from 192.168.1.1
    AddHandler application/x-httpd-php56 .php
    <IfModule mod_suphp.c>
        suPHP_ConfigPath /opt/php56/lib
    </IfModule>
    
    robot txt dosyası için
    Kod:
    User-agent: Googlebot
    User-agent: googlebot-image
    User-agent: googlebot-mobile
    User-agent: Mediapartners-Google*
    Disallow: /galleries/
    Disallow: /assets/
    Disallow: /protected/
    Disallow: /images/
    Disallow: /template/
    Disallow: /themes/
    Disallow: /language/
    Disallow: /libraries/
    Disallow: /media/
    Disallow: /modules/
    Disallow: /plugins/
    Disallow: /templates/
    Disallow: /tmp/
    Disallow: /xmlrpc/
    Disallow:
    User-agent: *
    Disallow: /
    Kullandım
     
  6. MakPRO

    MakPRO Üye

    Kayıt:
    15 Mayıs 2007
    Mesajlar:
    85
    Beğenilen Mesajlar:
    11
    bu arada şunuda belirtmek isterim trafik loglarına baktığımda bu işlemlerin işe yaradığını gördüm. eski trafik dosyası ile yeni dosya arasında muazzam fark var.