Duyuruyu Kapat
Facebook Gözat
Twitter Gözat

Bir sitede ne var ne yoksa...

Konu, 'Bilgi Güvenliği' kısmında ee++ tarafından paylaşıldı.

  1. ee++

    ee++ Daimi Üye

    Kayıt:
    25 Temmuz 2002
    Mesajlar:
    1,122
    Beğenilen Mesajlar:
    0
    Şehir:
    Ankara
    Selamlar,

    Bir IP aralığındaki tüm siteleri tarayıp, ne var ne yok indirmem lazım hepsinden. Ama haliyle bir IP adresi sadece bir sayfaya, sitenin ana sayfasına eşlenir. Bir sitedeki tüm dosyaları nasıl indiririm? Hatta tüm alt alanlarındaki tüm dosyaları ve o sitedeki en dizinlerindeki tüm dosyaları nasıl indiririm? Biraz çok oldu ama idare edin..

    Eğer sadece ana sayfaları alabiliyrosak, bu Google nasıl oluyor da forumların konularına kadar dizinleme yapabiliyor?

    (Tabi bu arada "internette nasıl dizinleme yapılır" ı da sormuş oluyorum!.)

    Teşekkürler.
     
  2. Sahin

    Sahin Daimi Üye

    Kayıt:
    28 Mayıs 2002
    Mesajlar:
    8,943
    Beğenilen Mesajlar:
    0
    Sormak istediğin webcopier, teleport tarzı programlarla offline site indirme deği dimi? Geçen bir program kurmuştum dosya ve dizinleri ile çekiyordu siteyi ama asp.html, php.html e dönüştürüyor ve ekran çıktısını indiriyordu sadece.
     
  3. ee++

    ee++ Daimi Üye

    Kayıt:
    25 Temmuz 2002
    Mesajlar:
    1,122
    Beğenilen Mesajlar:
    0
    Şehir:
    Ankara
    Yok hayır. O programlar sayfa içindeki bağlantılardan yole çıkarak indiriyor siteyi. Ben bağlantlardan bağımzıs tüm siteyi istiyorum. Tabi php, asp'ler nolcak bilemiyorum... :) Napcaz? :)
     
  4. BERK

    BERK Üye

    Kayıt:
    5 Ekim 2002
    Mesajlar:
    99
    Beğenilen Mesajlar:
    0
    Meslek:
    ----
    Şehir:
    Karacaahmet
    ee++ dediğin gibi o tip programlar ve google, sitedeki linkleri kulalnarak diğer sayfalara ulaşıyorlar, "Directory listing"'e izin verirmemişse öbrü türlü bir şey yapamazsın, iyikide yapamazsın :)

    düşüncesi bile çok kötü Brrrrr

    :hmmm:
     
  5. ee++

    ee++ Daimi Üye

    Kayıt:
    25 Temmuz 2002
    Mesajlar:
    1,122
    Beğenilen Mesajlar:
    0
    Şehir:
    Ankara
    Tamam, yapamayacağımı biliyorum. Ama en azından bunun dolaylı bir yolu olmalı. Google nasıl oluyor da forumları filan dizinliyor veri tabanına?
     
  6. Eylem

    Eylem Aktif Üye

    Kayıt:
    30 Haziran 2002
    Mesajlar:
    409
    Beğenilen Mesajlar:
    0
    Meslek:
    Ögrenci & Webdesigner
    Şehir:
    Sweden
    Baglantilardan bagimsiz tüm sitenin indirilebilmesinin hic bir sekilde mümkün olabilecegini sanmiyorum. Google'inda bu sekilde yapabilecegini sanmiyorum. Yuzey taramasi yapiyordur buyuk ihtimalle. Forumlari ne derece dizinliyor onuda tam görmedim googleda.
     
  7. ee++

    ee++ Daimi Üye

    Kayıt:
    25 Temmuz 2002
    Mesajlar:
    1,122
    Beğenilen Mesajlar:
    0
    Şehir:
    Ankara
  8. Huzeyfe

    Huzeyfe Üye

    Kayıt:
    18 Ekim 2002
    Mesajlar:
    95
    Beğenilen Mesajlar:
    0
    Meslek:
    SEcurity Administrator
    Şehir:
    Kocaeli
    HTTP 1.2 protokolune bu dediginide eklettirelim ee++:)
    bildigim kadari ile bu dedigini yapmamiz HTTP protokolunden gecer,yani HTTP protokolunde dir yada ls gibi bir dizin listeleme komutu olsa yapilkabilir ama olmadigi icin simdilik imkansiz(?),Berk in ddigi gibi iyikide imkansiz yoksa....
    google in bulduguda bir sekilde bir yerden link verilmis bir sayfadir,baska turlu olabilecegini zannetmiyorum
     
  9. BERK

    BERK Üye

    Kayıt:
    5 Ekim 2002
    Mesajlar:
    99
    Beğenilen Mesajlar:
    0
    Meslek:
    ----
    Şehir:
    Karacaahmet
    Sende ne bulsan ekletiyorsun şu canım protokole,

    ee birak olmasın, sonra birde bunu nasıl engelliyeceğimizi bulacağız, olmasını isteyen zaten, dizin listeleme iznini açar ve görür,

    forumları indexlemenin normal sayfaları indexlemekten farkı yoktur ki, hatta bir zamanlar (belki bazı arama motorları) falan.asp?filan=falanca gibi query stringden gelen sorgu linlerini indexlemiyordu bu yüzden kullanıcın göremeyeceği ama robotların görebileceği linkler yerleştiriliyordu sayfalara
     
  10. p4r4h4t

    p4r4h4t Aktif Üye

    Kayıt:
    21 Ekim 2002
    Mesajlar:
    397
    Beğenilen Mesajlar:
    0
    programı bulamıyorsan yaz derrrrrmişim :)

    HTML taglerini parse ederek <a taginin "href"-ini izleyerek bu işi halledebilirsin.

    bu işi php ilede yapabilirsin gibime geliyor.
     
  11. Huzeyfe

    Huzeyfe Üye

    Kayıt:
    18 Ekim 2002
    Mesajlar:
    95
    Beğenilen Mesajlar:
    0
    Meslek:
    SEcurity Administrator
    Şehir:
    Kocaeli
    nasıl ?yapilabilir?
    yani alt protokolu sen php yada html ile nasıl asabilirsinki?
     
  12. RaiST

    RaiST Daimi Üye

    Kayıt:
    24 Temmuz 2002
    Mesajlar:
    1,932
    Beğenilen Mesajlar:
    0
    Meslek:
    linuxrocker
    Şehir:
    krynn
    link izleme yonetımını sormadıgını zaten soyledı ee++
     
  13. p4r4h4t

    p4r4h4t Aktif Üye

    Kayıt:
    21 Ekim 2002
    Mesajlar:
    397
    Beğenilen Mesajlar:
    0
  14. p4r4h4t

    p4r4h4t Aktif Üye

    Kayıt:
    21 Ekim 2002
    Mesajlar:
    397
    Beğenilen Mesajlar:
    0
    Ha link izleme yöntemi değilmi :))). o zaman FTP'yi açıyorsun we tüm siteyi indiriyorsun. bu kadar basit :))).

    neyse yaw bu konu garip olmuş.
     
  15. ee++

    ee++ Daimi Üye

    Kayıt:
    25 Temmuz 2002
    Mesajlar:
    1,122
    Beğenilen Mesajlar:
    0
    Şehir:
    Ankara
    Arkadaşlar her protokol yerinde dursun. Şimdi olay şudur: Benim elimde bir sitenin IP'si var. Mesela buranın, ya da daha mantıklı olarak tüm forumu durağan olarak tutan bir sitenin. Şimdi ben bu sitedeki her şeyi dizinlemek istiyorum. Aslında benim elimde www.ceviz.net'in IP'si var. Sitenin alt alanlarını (forum.ceviz.net dahil ve bu alt alanlara ait dosyaları dizinlemem lazım sonuçta. Google elalemin linklerinden dizinliyor demeyin, adamlar tüm forumları dizinliyor, biliyorum. O kadar link bulamazlar, kimse o forum sayfalarının her birine link vermez. Evet, buyrun.. :)
     
    Son düzenleme yönetici tarafından yapıldı: 30 Ekim 2002
  16. mkarabulut

    mkarabulut Misafir

    Bütün forumları dizinlemiyor galiba..
    bildiğim kadarıyla arkadaşlarında söylediği gibi site içindeki sayfaları bulma işlemi sayfa içindeki bağlantılar yoluyla oluyor..
    Ama mesela linkler göreceli veya tam olabilir. Bunları dikkate alıyor... Aynı domain üzerindeki linklere devam ediyordur.
    Sonra yine bildğim kadarıyla link içinde ? varsa oradan ötye gitmiyor,çünkü biliyorki artık gideceği sayfa dinamik olarak parametreler ile üretilen bir içeriğe sahip...
    Bunun için yine bildiği kadarıyla forum v.s. yazılımlarda 'search engine friendly url' diye bi kavram var...
    Mesela senin yukarıda verdiğin linkte de sanki alt alta klasörlerin içinde bir sayfaymış gibi görünüyor mesaj,acaba öyle mi dir ?
    Sanırım işte şu sanal klasör sistemini kullanıyorlar,yani..
    index.php?mod=page&id=3 şöyle bi şey oluyor atıyorum
    index.php/page/3/
    gibi... Ama detaylarını bilmiyorum....

    Sonuç olarak bu bahsettiğin forumlarda robotlara böyle davranıyor olabilir...
     
  17. RaiST

    RaiST Daimi Üye

    Kayıt:
    24 Temmuz 2002
    Mesajlar:
    1,932
    Beğenilen Mesajlar:
    0
    Meslek:
    linuxrocker
    Şehir:
    krynn
    sımdı dıyelım biz googleız forum.ceviz.neti indexlicez.. ceviz.net in dbsi herseyi mysqlde vs.. biz nekadar link kasarsak kazalım butun bilgiye erisemeyiz.. yanı mysql e erisimimiz yok.. o zaman?
     
  18. fatihhood

    fatihhood Aktif Üye

    Kayıt:
    22 Ekim 2002
    Mesajlar:
    415
    Beğenilen Mesajlar:
    0
    Meslek:
    Software Developer
    Şehir:
    Hamunaptra
    ee++ : Hocam ilk mesajında yanlış bir düşünce sergilemişsin.

    Google 'da her şey linkleri takip ederek ve-veya sitedeki bot için tanımlanmış dosyaları inceleyerek ilerler. Mesala...

    http://www.google.com/bot.html

    bu linkteki şeyi sistemine kurarsan. Ve siteye o an bağlı kişilerin bir listesini alırsan ( ip veya user agent olarak ). Google bot unun sitende olduğunu görebilirsin. Bu bot her arama yapıldığında siteye ulaşarak tüm linkleri izler varsa robot dosyana bakar ve bir cache leme yapar.

    Verdiğim sayfayı incelersen biraz daha ayrıntılı bilgiye ulaşacağını düşünüyorum. Mesala ben bu botu zeb.biz 'e kurmadım o yüzden sadece sayfalardaki linkler ve linklerden ulaşılan sayfa içerikleri görüntüleniyor.

    Yakın zamanda forum için bir tane kuracam. Böylece forum içindede çalışacak.

    Saygı ve Selam ile...
     
  19. ee++

    ee++ Daimi Üye

    Kayıt:
    25 Temmuz 2002
    Mesajlar:
    1,122
    Beğenilen Mesajlar:
    0
    Şehir:
    Ankara
    Selam,

    Oncelikle teşekkür ederim.

    Şimdi Google'da eğer bir forumu izleyebiliyorsak, bu, o sitenin Google Bot'u kurdugu manasına mı geliyor?
     
  20. fatihhood

    fatihhood Aktif Üye

    Kayıt:
    22 Ekim 2002
    Mesajlar:
    415
    Beğenilen Mesajlar:
    0
    Meslek:
    Software Developer
    Şehir:
    Hamunaptra
    Çok büyük bir ihtimalle...

    Tabi bunu anlamanın kolay bir yolu var.

    Google da arama yaptığında çıkan forumlardan birine gir. Kaynağı görüntüle dediğinde meta taglarda botlara ilişkin bir bilgi var ise demekki bot kullanılıyor demektir. Yada robot.txt dosyasının olup olmadığına bak.

    ben bu hafta sonunda zeb.biz 'kuracam ozaman daha iyi araştıma frsatım olacağından daha ayrıntılı bilgi verebilirim. Tabi eğer sen yaparsan buraya p.s leri düşmeyi unutma.

    Saygı ve Selam ile...