Duyuruyu Kapat
Facebook Gözat
Twitter Gözat

Google Ve Sayın Bot Robotu

Konu, 'ASP.NET / Silverlight / Moonlight' kısmında ali guner tarafından paylaşıldı.

  1. ali guner

    ali guner Üye

    Kayıt:
    1 Şubat 2017
    Mesajlar:
    189
    Beğenilen Mesajlar:
    31
    Şehir:
    istanbul
    Bot robotların siteye girdiğini nasıl anlarız ?
    Misal bu sitede ziyaretçiler kısmında bot sayısı falan da yazıyor.
    Nasıl bir browser bilgisi bırakıyorlar ?

    Hürmetler...
     
  2. yunus

    yunus Daimi Üye

    Kayıt:
    26 Şubat 2015
    Mesajlar:
    521
    Beğenilen Mesajlar:
    126
    1- Http protokolü ile siteye bağlanan her cihaz bazı Http header bilgileri gönderir. User-Agent bilgisini alarak bağlı cihazın bot mu kullanıcı mı olduğu anlaşılabilir. örneğin normal bir kullanıcı bağlandığında tarayıcı tarafından
    Kod:
    Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/43.0.2357.124 Safari/537.36

    gibi bir değer gönderirken
    google bot
    Kod:
    Googlebot/2.1 (+http://www.google.com/bot.html)

    gibi bir değer gönderecektir.

    Şu site
    den kendi tarayıcınızın gönderdiği User Agent header bilgisini görebilirsiniz.

    2- Bilinen botların ip adresleri sabittir. siteye bağlanan kullanıcının ip adresini çözümleyerek de bunun bir bot olup olmadığını anlamanız mümkün.

    Şu site
    den veya Şu siteden ise ise bazı bilinen botların user agent ve ip bilgilerine ulaşabilirsiniz.
     
    sedirAğacı bunu beğendi.
  3. ali guner

    ali guner Üye

    Kayıt:
    1 Şubat 2017
    Mesajlar:
    189
    Beğenilen Mesajlar:
    31
    Şehir:
    istanbul
    Merhabalar, değerli yanıtınız için teşekkür ederim.
    Örneğin ben asp.net mvc üzerinden gidiyorum,
    Dolayısıyla ben talepleri controller ile alıyorum.
    Burada yanıt vermeden yani web page i talep eden çağrıya sunmadan, insan mı robot mu kim bağlanmış nasıl bir yöntem izleyebilirim ?

    Hürmetler...
     
  4. ali guner

    ali guner Üye

    Kayıt:
    1 Şubat 2017
    Mesajlar:
    189
    Beğenilen Mesajlar:
    31
    Şehir:
    istanbul
    Çok teşekkür ederim, msdn technet de yabancı bir kaynakta rastladım ve okudum. Sağol...

    Şunu danışmak isterim, bu google ya da yandex bot, keşif için ve "baskın" yapmak için normal bir kullanıcı olarak da gözükebiliyor mu ?

    Yani bot robot a başka içerik sunan kullanıcılar için, dur bide sivil bakayım şuna :D diyor mudur :D

    Hürmetler...
     
  5. dinlex

    dinlex Üye

    Kayıt:
    23 Aralık 2016
    Mesajlar:
    235
    Beğenilen Mesajlar:
    60
    Şehir:
    Hatay
    Botların javascripti indexlememe ihtimaline karşı onlara ayrı bir site mi göstereceksiniz. Eğer olursa dahiyane bir fikir :D
     
  6. ali guner

    ali guner Üye

    Kayıt:
    1 Şubat 2017
    Mesajlar:
    189
    Beğenilen Mesajlar:
    31
    Şehir:
    istanbul
    Burada yazıyor: Java Script İçin SEO - SEO Turuncu
     
  7. ali guner

    ali guner Üye

    Kayıt:
    1 Şubat 2017
    Mesajlar:
    189
    Beğenilen Mesajlar:
    31
    Şehir:
    istanbul
    Arama motorlarını kandırın demiş adam resmen :D
     
  8. ali guner

    ali guner Üye

    Kayıt:
    1 Şubat 2017
    Mesajlar:
    189
    Beğenilen Mesajlar:
    31
    Şehir:
    istanbul
    indexlesin diye düz html öğesi ver, javascript i kullanıcılarına göster diyor özetle :D
     
  9. dinlex

    dinlex Üye

    Kayıt:
    23 Aralık 2016
    Mesajlar:
    235
    Beğenilen Mesajlar:
    60
    Şehir:
    Hatay
    Okudum şimdi, aynen öyle diyor valla. İyi fikir, biraz zahmetli ama kullanışlı bir iş olabilir. Ya da aslında sitenin mobil versiyonunu javascriptsiz yapıp yayınlamak da ikinci bir yol değil mi? Üstelik mobil kitleden de müşteri gelir.
     
  10. ali guner

    ali guner Üye

    Kayıt:
    1 Şubat 2017
    Mesajlar:
    189
    Beğenilen Mesajlar:
    31
    Şehir:
    istanbul
    Ama google sivil gelir mi acep :D
     
  11. ali guner

    ali guner Üye

    Kayıt:
    1 Şubat 2017
    Mesajlar:
    189
    Beğenilen Mesajlar:
    31
    Şehir:
    istanbul
    Misal dullar köyünde kahvehaneden bir kişi gibi kendini gösterir mi :D
     
  12. ali guner

    ali guner Üye

    Kayıt:
    1 Şubat 2017
    Mesajlar:
    189
    Beğenilen Mesajlar:
    31
    Şehir:
    istanbul
    İşte o dediğin benim için zor çünkü mobil uygulamada (daha doğrusu ekrana göre) nasıl tasarım ortaya koyacağını ben javascript ile çözüyorum. tablet, telefon ya da dev ekran.
    video oyunu gibi (video oyunu ile alakası yok) süper grafikli bir site üzerinde çalışıyorum. mobil uygulama tarafında da javascript önde olacak.
    neyse en iyisi google ı keklemek :D
     
  13. dinlex

    dinlex Üye

    Kayıt:
    23 Aralık 2016
    Mesajlar:
    235
    Beğenilen Mesajlar:
    60
    Şehir:
    Hatay
    Hayırlısı o zaman. :)
     
  14. ali guner

    ali guner Üye

    Kayıt:
    1 Şubat 2017
    Mesajlar:
    189
    Beğenilen Mesajlar:
    31
    Şehir:
    istanbul
    Amin cümlemize... Sana da kolay gelsin... :)
     
    dinlex bunu beğendi.
  15. AspDev

    AspDev Üye

    Kayıt:
    18 Ocak 2017
    Mesajlar:
    36
    Beğenilen Mesajlar:
    12
    Şehir:
    Sivas
    PHP:
    <%
    Private 
    Sub cn(db)
    dbHost "localhost"
    dbUser "user"
    dbPass "pass"
    dbData "dbadi"
    Session("Conn") = "DRIVER={MySQL ODBC 3.51 DRIVER}; SERVER="&dbHost&"; UID="&dbUser&"; PWD="&dbPass&"; DB="&dbData&";"
    Set db Server.CreateObject("ADODB.Connection")
    db.Open Session("Conn")
    db.Execute("SET NAMES 'latin5'")
    db.Execute("SET CHARACTER SET latin5"
    db.Execute("SET COLLATION_CONNECTION = 'latin5_turkish_ci'")
    End Sub

    spider 
    request.servervariables("http_user_agent")
    if 
    instr(spider"google"then

    call cn
    (db)
    set spiderbot db.execute("select * from fld_spider where spiderid=1")
    if 
    spiderbot.eof then
    else
    set spiderup db.execute("update fld_spider set spiderback=spiderback+1, spiderdate='"sdates &"' where spiderid=1")
    end if


    elseif 
    instr(spider"hakia"then
    call cn
    (db)
    set spiderbot db.execute("select * from fld_spider where spiderid=2")
    if 
    spiderbot.eof then
    else
    set spiderup db.execute("update fld_spider set spiderback=spiderback+1, spiderdate='"sdates &"' where spiderid=2")
    end if

    elseif 
    instr(spider"msnbot"then
    call cn
    (db)
    set spiderbot db.execute("select * from fld_spider where spiderid=3")
    if 
    spiderbot.eof then
    else
    set spiderup db.execute("update fld_spider set spiderback=spiderback+1, spiderdate='"sdates &"' where spiderid=3")
    end if

    elseif 
    instr(spider"slurp"then
    call cn
    (db)
    set spiderbot db.execute("select * from fld_spider where spiderid=4")
    if 
    spiderbot.eof then
    else
    set spiderup db.execute("update fld_spider set spiderback=spiderback+1, spiderdate='"sdates &"' where spiderid=4")
    end if

    elseif 
    instr(spider"Scooter"then
    call cn
    (db)
    set spiderbot db.execute("select * from fld_spider where spiderid=5")
    if 
    spiderbot.eof then
    else
    set spiderup db.execute("update fld_spider set spiderback=spiderback+1, spiderdate='"sdates &"' where spiderid=5")
    end if

    elseif 
    instr(spider"crawler"then
    call cn
    (db)
    set spiderbot db.execute("select * from fld_spider where spiderid=6")
    if 
    spiderbot.eof then
    else
    set spiderup db.execute("update fld_spider set spiderback=spiderback+1, spiderdate='"sdates &"' where spiderid=6")
    end if

    elseif 
    instr(spider"findlinks"then
    call cn
    (db)
    set spiderbot db.execute("select * from fld_spider where spiderid=7")
    if 
    spiderbot.eof then
    else
    set spiderup db.execute("update fld_spider set spiderback=spiderback+1, spiderdate='"sdates &"' where spiderid=7")
    end if

    elseif 
    instr(spider"bingbot"then
    call cn
    (db)
    set spiderbot db.execute("select * from fld_spider where spiderid=8")
    if 
    spiderbot.eof then
    else
    set spiderup db.execute("update fld_spider set spiderback=spiderback+1, spiderdate='"sdates &"' where spiderid=8")
    end if

    elseif 
    instr(spider"Cuil"then
    call cn
    (db)
    set spiderbot db.execute("select * from fld_spider where spiderid=9")
    if 
    spiderbot.eof then
    else
    set spiderup db.execute("update fld_spider set spiderback=spiderback+1, spiderdate='"sdates &"' where spiderid=9")
    end if

    elseif 
    instr(spider"ArchitextSpider"then
    call cn
    (db)
    set spiderbot db.execute("select * from fld_spider where spiderid=10")
    if 
    spiderbot.eof then
    else
    set spiderup db.execute("update fld_spider set spiderback=spiderback+1, spiderdate='"sdates &"' where spiderid=10")
    end if

    elseif 
    instr(spider"Go.com"then
    call cn
    (db)
    set spiderbot db.execute("select * from fld_spider where spiderid=11")
    if 
    spiderbot.eof then
    else
    set spiderup db.execute("update fld_spider set spiderback=spiderback+1, spiderdate='"sdates &"' where spiderid=11")
    end if

    elseif 
    instr(spider"HotBot"then
    call cn
    (db)
    set spiderbot db.execute("select * from fld_spider where spiderid=12")
    if 
    spiderbot.eof then
    else
    set spiderup db.execute("update fld_spider set spiderback=spiderback+1, spiderdate='"sdates &"' where spiderid=12")
    end if

    elseif 
    instr(spider"AllTheWeb"then
    call cn
    (db)
    set spiderbot db.execute("select * from fld_spider where spiderid=13")
    if 
    spiderbot.eof then
    else
    set spiderup db.execute("update fld_spider set spiderback=spiderback+1, spiderdate='"sdates &"' where spiderid=13")
    end if

    elseif 
    instr(spider"search.aol"then
    call cn
    (db)
    set spiderbot db.execute("select * from fld_spider where spiderid=14")
    if 
    spiderbot.eof then
    else
    set spiderup db.execute("update fld_spider set spiderback=spiderback+1, spiderdate='"sdates &"' where spiderid=14")
    end if

    elseif 
    instr(spider"lycos"then
    call cn
    (db)
    set spiderbot db.execute("select * from fld_spider where spiderid=15")
    if 
    spiderbot.eof then
    else
    set spiderup db.execute("update fld_spider set spiderback=spiderback+1, spiderdate='"sdates &"' where spiderid=15")
    end if

    elseif 
    instr(spider"ia_archiver"then
    call cn
    (db)
    set spiderbot db.execute("select * from fld_spider where spiderid=16")
    if 
    spiderbot.eof then
    else
    set spiderup db.execute("update fld_spider set spiderback=spiderback+1, spiderdate='"sdates &"' where spiderid=16")
    end if

    elseif 
    instr(spider"ask"then
    call cn
    (db)
    set spiderbot db.execute("select * from fld_spider where spiderid=17")
    if 
    spiderbot.eof then
    else
    set spiderup db.execute("update fld_spider set spiderback=spiderback+1, spiderdate='"sdates &"' where spiderid=17")
    end if

    elseif 
    instr(spider"Baiduspider"then
    call cn
    (db)
    set spiderbot db.execute("select * from fld_spider where spiderid=18")
    if 
    spiderbot.eof then
    else
    set spiderup db.execute("update fld_spider set spiderback=spiderback+1, spiderdate='"sdates &"' where spiderid=18")
    end if

    elseif 
    instr(spider"kosmix"then
    call cn
    (db)
    set spiderbot db.execute("select * from fld_spider where spiderid=19")
    if 
    spiderbot.eof then
    else
    set spiderup db.execute("update fld_spider set spiderback=spiderback+1, spiderdate='"sdates &"' where spiderid=19")
    end if

    elseif 
    instr(spider"sogou"then
    call cn
    (db)
    set spiderbot db.execute("select * from fld_spider where spiderid=20")
    if 
    spiderbot.eof then
    else
    set spiderup db.execute("update fld_spider set spiderback=spiderback+1, spiderdate='"sdates &"' where spiderid=20")
    end if

    elseif 
    instr(spider"yodao"then
    call cn
    (db)
    set spiderbot db.execute("select * from fld_spider where spiderid=21")
    if 
    spiderbot.eof then
    else
    set spiderup db.execute("update fld_spider set spiderback=spiderback+1, spiderdate='"sdates &"' where spiderid=21")
    end if

    elseif 
    instr(spider"YandexBot"then
    call cn
    (db)
    set spiderbot db.execute("select * from fld_spider where spiderid=22")
    if 
    spiderbot.eof then
    else
    set spiderup db.execute("update fld_spider set spiderback=spiderback+1, spiderdate='"sdates &"' where spiderid=22")
    end if

    elseif 
    instr(spider"infoseek"then
    call cn
    (db)
    set spiderbot db.execute("select * from fld_spider where spiderid=23")
    if 
    spiderbot.eof then
    else
    set spiderup db.execute("update fld_spider set spiderback=spiderback+1, spiderdate='"sdates &"' where spiderid=23")
    end if

    elseif 
    instr(spider"yebol"then
    call cn
    (db)
    set spiderbot db.execute("select * from fld_spider where spiderid=24")
    if 
    spiderbot.eof then
    else
    set spiderup db.execute("update fld_spider set spiderback=spiderback+1, spiderdate='"sdates &"' where spiderid=24")
    end if

    elseif 
    instr(spider"aol"then
    call cn
    (db)
    set spiderbot db.execute("select * from fld_spider where spiderid=25")
    if 
    spiderbot.eof then
    else
    set spiderup db.execute("update fld_spider set spiderback=spiderback+1, spiderdate='"sdates &"' where spiderid=25")
    end if

    elseif 
    instr(spider"Googlebot-Mobile"then
    call cn
    (db)
    set spiderbot db.execute("select * from fld_spider where spiderid=26")
    if 
    spiderbot.eof then
    else
    set spiderup db.execute("update fld_spider set spiderback=spiderback+1, spiderdate='"sdates &"' where spiderid=26")
    end if

    elseif 
    instr(spider"Mediapartners-Google"then
    call cn
    (db)
    set spiderbot db.execute("select * from fld_spider where spiderid=27")
    if 
    spiderbot.eof then
    else
    set spiderup db.execute("update fld_spider set spiderback=spiderback+1, spiderdate='"sdates &"' where spiderid=27")
    end if

    elseif 
    instr(spider"Robozilla"then
    call cn
    (db)
    set spiderbot db.execute("select * from fld_spider where spiderid=28")
    if 
    spiderbot.eof then
    else
    set spiderup db.execute("update fld_spider set spiderback=spiderback+1, spiderdate='"sdates &"' where spiderid=28")
    end if

    elseif 
    instr(spider"facebook"then
    call cn
    (db)
    set spiderbot db.execute("select * from fld_spider where spiderid=29")
    if 
    spiderbot.eof then
    else
    set spiderup db.execute("update fld_spider set spiderback=spiderback+1, spiderdate='"sdates &"' where spiderid=29")
    end if

    elseif 
    instr(spider"LinkedInBot"then
    call cn
    (db)
    set spiderbot db.execute("select * from fld_spider where spiderid=30")
    if 
    spiderbot.eof then
    else
    set spiderup db.execute("update fld_spider set spiderback=spiderback+1, spiderdate='"sdates &"' where spiderid=30")
    end if


    else

    end if
    %>
    Aşağıdaki veritabanını dump et botun hangi tarihte geldiği kaç kere geldiği veritabanında güncellenecek ve kayıt edecektir.

    Veritabanı :
    CREATE TABLE fld_spider (
    spiderid int AUTO_INCREMENT NOT NULL,
    spidername varchar(200),
    spiderback int DEFAULT 0,
    spiderdate datetime,
    /* Keys */
    PRIMARY KEY (spiderid)
    ) ENGINE = MyISAM
    CHARACTER SET utf8 COLLATE utf8_general_ci;


    INSERT INTO fld_spider (spiderid, spidername, spiderback, spiderdate) VALUES
    (1, 'Google Bot', 0, '2016-12-04 21:40:27'),
    (2, 'Hakia Bot', 0, NULL),
    (3, 'Msn Bot', 0, NULL),
    (4, 'Yahoo Bot', 0, NULL),
    (5, 'Altavista Bot', 0, NULL),
    (6, 'Crawler Bot', 0, NULL),
    (7, 'FindLinks Bot', 0, NULL),
    (8, 'Bing Bot', 0, NULL),
    (9, 'Cuil Bot', 0, NULL),
    (10, 'Excite Bot', 0, NULL),
    (11, 'Gocom Bot', 0, NULL),
    (12, 'HotBot Bot', 0, NULL),
    (13, 'AllTheWeb Bot', 0, NULL),
    (14, 'Search Aol Bot', 0, NULL),
    (15, 'Lycos Bot', 0, NULL),
    (16, 'Alexa Bot', 0, NULL),
    (17, 'Ask Bot', 0, NULL),
    (18, 'Baidu Bot', 0, NULL),
    (19, 'Kosmix Bot', 0, NULL),
    (20, 'Sogou Bot', 0, NULL),
    (21, 'Yodao Bot', 0, NULL),
    (22, 'Yandex Bot', 0, NULL),
    (23, 'InfoSeek Bot', 0, NULL),
    (24, 'Yebol Bot', 0, NULL),
    (25, 'Aol Bot', 0, NULL),
    (26, 'Google/Mobile', 0, NULL),
    (27, 'Mediapartners-Google', 0, NULL),
    (28, 'DMOZ', 0, NULL),
    (29, 'Facebook', 0, NULL),
    (30, 'LinkedIn', 0, NULL);
     
  16. ali guner

    ali guner Üye

    Kayıt:
    1 Şubat 2017
    Mesajlar:
    189
    Beğenilen Mesajlar:
    31
    Şehir:
    istanbul
    vay anasını sayın seyirciler ! :D

    Bu kadar arama motoru var mıydı ya :D
     
  17. AspDev

    AspDev Üye

    Kayıt:
    18 Ocak 2017
    Mesajlar:
    36
    Beğenilen Mesajlar:
    12
    Şehir:
    Sivas
    Daha bir çoğu var yazmadığım gelip gidiyorlar böcükler :)
     
  18. ali guner

    ali guner Üye

    Kayıt:
    1 Şubat 2017
    Mesajlar:
    189
    Beğenilen Mesajlar:
    31
    Şehir:
    istanbul
    bunlar baskın yapabilirler mi peki ? yani başka iplerden başka browser mış gibi gelebilrler mi ?

    uyanık botlar var mıdır ?

    çünkü onlara özel içerik sunmaya çalışacağım. yukarıda bahsettim. javascript (ajax) konusunda yamuk yapıyorlar :D