Tam Sürümünü Görmek İçin : Bir sitede ne var ne yoksa...
Selamlar,
Bir IP aralığındaki tüm siteleri tarayıp, ne var ne yok indirmem lazım hepsinden. Ama haliyle bir IP adresi sadece bir sayfaya, sitenin ana sayfasına eşlenir. Bir sitedeki tüm dosyaları nasıl indiririm? Hatta tüm alt alanlarındaki tüm dosyaları ve o sitedeki en dizinlerindeki tüm dosyaları nasıl indiririm? Biraz çok oldu ama idare edin..
Eğer sadece ana sayfaları alabiliyrosak, bu Google nasıl oluyor da forumların konularına kadar dizinleme yapabiliyor?
(Tabi bu arada "internette nasıl dizinleme yapılır" ı da sormuş oluyorum!.)
Teşekkürler.
Sormak istediğin webcopier, teleport tarzı programlarla offline site indirme deği dimi? Geçen bir program kurmuştum dosya ve dizinleri ile çekiyordu siteyi ama asp.html, php.html e dönüştürüyor ve ekran çıktısını indiriyordu sadece.
Yok hayır. O programlar sayfa içindeki bağlantılardan yole çıkarak indiriyor siteyi. Ben bağlantlardan bağımzıs tüm siteyi istiyorum. Tabi php, asp'ler nolcak bilemiyorum... :) Napcaz? :)
ee++ dediğin gibi o tip programlar ve google, sitedeki linkleri kulalnarak diğer sayfalara ulaşıyorlar, "Directory listing"'e izin verirmemişse öbrü türlü bir şey yapamazsın, iyikide yapamazsın :)
düşüncesi bile çok kötü Brrrrr
:hmmm:
Tamam, yapamayacağımı biliyorum. Ama en azından bunun dolaylı bir yolu olmalı. Google nasıl oluyor da forumları filan dizinliyor veri tabanına?
Baglantilardan bagimsiz tüm sitenin indirilebilmesinin hic bir sekilde mümkün olabilecegini sanmiyorum. Google'inda bu sekilde yapabilecegini sanmiyorum. Yuzey taramasi yapiyordur buyuk ihtimalle. Forumlari ne derece dizinliyor onuda tam görmedim googleda.
Mesela Google'dan 'case label does not reduce to an integer constant' diye bir arama yaptırıyorum ve bana döndürdüğü siteler arasında mesela http://lists.linux.org.au/archives/linuxcprogramming/2002-March/msg00032.html var. Adamlar nereden buluyor bunu?
HTTP 1.2 protokolune bu dediginide eklettirelim ee++:)
bildigim kadari ile bu dedigini yapmamiz HTTP protokolunden gecer,yani HTTP protokolunde dir yada ls gibi bir dizin listeleme komutu olsa yapilkabilir ama olmadigi icin simdilik imkansiz(?),Berk in ddigi gibi iyikide imkansiz yoksa....
google in bulduguda bir sekilde bir yerden link verilmis bir sayfadir,baska turlu olabilecegini zannetmiyorum
Orjinal mesajı gönderen Huzeyfe
HTTP 1.2 protokolune bu dediginide eklettirelim ee++:)
Sende ne bulsan ekletiyorsun şu canım protokole,
ee birak olmasın, sonra birde bunu nasıl engelliyeceğimizi bulacağız, olmasını isteyen zaten, dizin listeleme iznini açar ve görür,
forumları indexlemenin normal sayfaları indexlemekten farkı yoktur ki, hatta bir zamanlar (belki bazı arama motorları) falan.asp?filan=falanca gibi query stringden gelen sorgu linlerini indexlemiyordu bu yüzden kullanıcın göremeyeceği ama robotların görebileceği linkler yerleştiriliyordu sayfalara
programı bulamıyorsan yaz derrrrrmişim :)
HTML taglerini parse ederek <a taginin "href"-ini izleyerek bu işi halledebilirsin.
bu işi php ilede yapabilirsin gibime geliyor.
nasıl ?yapilabilir?
yani alt protokolu sen php yada html ile nasıl asabilirsinki?
Orjinal mesajı gönderen p4r4h4t
programı bulamıyorsan yaz derrrrrmişim :)
HTML taglerini parse ederek <a taginin "href"-ini izleyerek bu işi halledebilirsin.
bu işi php ilede yapabilirsin gibime geliyor.
link izleme yonetımını sormadıgını zaten soyledı ee++
Orjinal mesajı gönderen Huzeyfe
nasıl ?yapilabilir?
yani alt protokolu sen php yada html ile nasıl asabilirsinki?
http://www.zeb.biz/btkaynak.php?bolum=5&olay=goster&no=98
Orjinal mesajı gönderen RaiST
link izleme yonetımını sormadıgını zaten soyledı ee++
Ha link izleme yöntemi değilmi :))). o zaman FTP'yi açıyorsun we tüm siteyi indiriyorsun. bu kadar basit :))).
neyse yaw bu konu garip olmuş.
Arkadaşlar her protokol yerinde dursun. Şimdi olay şudur: Benim elimde bir sitenin IP'si var. Mesela buranın, ya da daha mantıklı olarak tüm forumu durağan olarak tutan bir sitenin. Şimdi ben bu sitedeki her şeyi dizinlemek istiyorum. Aslında benim elimde www.ceviz.net'in IP'si var. Sitenin alt alanlarını (forum.ceviz.net dahil ve bu alt alanlara ait dosyaları dizinlemem lazım sonuçta. Google elalemin linklerinden dizinliyor demeyin, adamlar tüm forumları dizinliyor, biliyorum. O kadar link bulamazlar, kimse o forum sayfalarının her birine link vermez. Evet, buyrun.. :)
mkarabulut
30/10/2002, 11:58
Bütün forumları dizinlemiyor galiba..
bildiğim kadarıyla arkadaşlarında söylediği gibi site içindeki sayfaları bulma işlemi sayfa içindeki bağlantılar yoluyla oluyor..
Ama mesela linkler göreceli veya tam olabilir. Bunları dikkate alıyor... Aynı domain üzerindeki linklere devam ediyordur.
Sonra yine bildğim kadarıyla link içinde ? varsa oradan ötye gitmiyor,çünkü biliyorki artık gideceği sayfa dinamik olarak parametreler ile üretilen bir içeriğe sahip...
Bunun için yine bildiği kadarıyla forum v.s. yazılımlarda 'search engine friendly url' diye bi kavram var...
Mesela senin yukarıda verdiğin linkte de sanki alt alta klasörlerin içinde bir sayfaymış gibi görünüyor mesaj,acaba öyle mi dir ?
Sanırım işte şu sanal klasör sistemini kullanıyorlar,yani..
index.php?mod=page&id=3 şöyle bi şey oluyor atıyorum
index.php/page/3/
gibi... Ama detaylarını bilmiyorum....
Sonuç olarak bu bahsettiğin forumlarda robotlara böyle davranıyor olabilir...
sımdı dıyelım biz googleız forum.ceviz.neti indexlicez.. ceviz.net in dbsi herseyi mysqlde vs.. biz nekadar link kasarsak kazalım butun bilgiye erisemeyiz.. yanı mysql e erisimimiz yok.. o zaman?
fatihhood
30/10/2002, 12:01
ee++ : Hocam ilk mesajında yanlış bir düşünce sergilemişsin.
Google 'da her şey linkleri takip ederek ve-veya sitedeki bot için tanımlanmış dosyaları inceleyerek ilerler. Mesala...
http://www.google.com/bot.html
bu linkteki şeyi sistemine kurarsan. Ve siteye o an bağlı kişilerin bir listesini alırsan ( ip veya user agent olarak ). Google bot unun sitende olduğunu görebilirsin. Bu bot her arama yapıldığında siteye ulaşarak tüm linkleri izler varsa robot dosyana bakar ve bir cache leme yapar.
Verdiğim sayfayı incelersen biraz daha ayrıntılı bilgiye ulaşacağını düşünüyorum. Mesala ben bu botu zeb.biz 'e kurmadım o yüzden sadece sayfalardaki linkler ve linklerden ulaşılan sayfa içerikleri görüntüleniyor.
Yakın zamanda forum için bir tane kuracam. Böylece forum içindede çalışacak.
Saygı ve Selam ile...
Selam,
Oncelikle teşekkür ederim.
Şimdi Google'da eğer bir forumu izleyebiliyorsak, bu, o sitenin Google Bot'u kurdugu manasına mı geliyor?
fatihhood
30/10/2002, 13:05
Çok büyük bir ihtimalle...
Tabi bunu anlamanın kolay bir yolu var.
Google da arama yaptığında çıkan forumlardan birine gir. Kaynağı görüntüle dediğinde meta taglarda botlara ilişkin bir bilgi var ise demekki bot kullanılıyor demektir. Yada robot.txt dosyasının olup olmadığına bak.
ben bu hafta sonunda zeb.biz 'kuracam ozaman daha iyi araştıma frsatım olacağından daha ayrıntılı bilgi verebilirim. Tabi eğer sen yaparsan buraya p.s leri düşmeyi unutma.
Saygı ve Selam ile...
Selamlar,
Uzun ve verimli bir araştırmadan sonra olayı sonuca bağladım.
Google'ın robotu ya da başka robotların sitenizde kurulu olması gidi bir durum söz konusu değil. Google'ın robotu ya da Googlebot denilen şey tüm siteleri tarayan bir program ve Google sunucularında barınıyor.
Robotlar istedikleri sunucuları geziyorlar ve iki şeye dikkat ediyorlar:
1- Dizin listeleri (eğer izin verilmişse)
2- Bağlantılar (eğer sözkonusu ise izin verildiği nispette)
Budarada 2. maddedeki 'izin' kavramı 'robots.txt' dosyasına bağlı. Sitenizin kök dizinine bu isimde bir dosya koyup sitenizin hangi bolumlerinin dizinlenmesine izin vermediginizi belirtebiliyorsunuz. Bu dosyanın standartı var. Ayrıca her bir sayfanızın başına META etiketlerinden koyarak da bunu yapabiliyorsunuz. Tabi Robot'un, sizin direktiflerinize ne kadar uyacağı tartışılır. Google uyuyor tabi.
Bir Robot, aklı başında bir robot, sitenize uğradığında önce robots.txt dosyasına bakıyor, eğer varsa içindeki bilgilere göre dallanmalarını kontrol ediyor. Tekrarlıyorum, bu dosyada nereye dallanılabilecegi değil, nereye dallanılamayacağı belirtiliyor. Dallanma aşaması dediğim gibi bağlantılar ile oluyor ve (çok üzerinde durulmayan Dizin Listeleme ile).
Bu konuda yetkin kaynak:
http://www.robotstxt.org/wc/robots.html
Kolay gelsin.
terstokat
30/10/2002, 19:48
ee++ bir site komple indirmek için program vardı...:D bi kaç sene önce daha ASP, PHP, yoktu ve ya ben bilmiyordum. "Big....." (adı böğle başlıyordu) internette xoom.com/ .....'dan bir siteden indirmiştim ve Yahoo üzerinde denedimde *.bat *.com uzantılı dosyalar indirmişti.
şimdi nerede ve nasılbuldun dersin ama hatırlayamiyorum dostum. Bilirsin ani bilgisayara il defa oturursun ve dersin "Ben Hacker olucam" :D :D :D Ubuk subuk siteler gezersin sistem göçenekadar download edersin ne görürsen :D :D :D eiiii gençlik eiiii :)
Sitenin tamamını indiren program her yerde var. Bunlar benim amacımın biraz dışında. Ayrıca yasal olmayan bir şey yapmak gibi bir çabamda yok.
Link takibi ve robot disinda benim aklima gelen fikir;
aptalca ve oldukca zaman ve bandtwidth alacak birşey :)
bir tek dizinde belli dosyalari aramak için kullanilabilir.
dizin listeleme yok ancak dizine erişim iznimiz varsa bruteforce teknigi ile yada wordlist kullanarak aradıgımız dosyanın dizinde olup olmadığını kontrol etmek olabilir.
Orjinal mesajı gönderen Turok
aptalca ve oldukca zaman ve bandtwidth alacak birşey :)
Evet.
Bu is icin kullanilabilecek BruteForce'dan cok daha etkili yontemler var. SweetSpeak olarak bilinen bu yeni yontem, cok kisa zamanda ve cok az caba harcayarak en gizli bilgilere bile ulasmamiza imkan sagliyor.
SweetSpeak yontemi, sadece adi-sani bilinmeyen web dosyalarini bulmamizi saglamakla kalmiyor, sitedeki PHP/ASP/JSP kodlarini da aninda download edebilmemize imkan sagliyor.
2048 bitlik bir anahtarla, RC2 algoritmasi ile sifrelenmis bir parolayi SweetSpeak ile cozmek 22 saatten daha az zaman aliyor. Bunu eski yontemlerle cozmek binlerce bilgisayarla bile yillar almaktaydi.
Kripto dunyasinda sikca kullanilan su soz sanirim SweetSpeak'in gucunu oldukca iyi ifade etmekte:
"SweetSpeak takes out the snake from his hole"
acemi5, sen ne guzel Yoneticisin oyle :)
aglamak istiyorum ben artik...
acemi5, sen ne guzel Yoneticisin oyle :)
Valla ben istemiyorum yonetici filan olmak. Artik kafeden rahat baglanamiyorum zaten. Biri parolayi ele gecirir de yonetici yetkisi ile orayi burayi kurcalar diye.
Topic'leri sulandirinca da laf diyorlar. Bana ne faydasi var yoneticiligin hala anlamis degilim.
:) :)
Sayfayi bastan aşağı okuyupta Dizinleri kullanmasın , linkleri takip etmesin diye görünce ne yapayıim baska yapacak bir sey yok gibi geldi bana!
(Kendi kendime dedimki ee++ hocam servera çin işkencesimi cektirmek istiyor diye!)
Orjinal mesajı gönderen acemi5
Valla ben istemiyorum yonetici filan olmak. Artik kafeden rahat baglanamiyorum zaten. Biri parolayi ele gecirir de yonetici yetkisi ile orayi burayi kurcalar diye.
Topic'leri sulandirinca da laf diyorlar. Bana ne faydasi var yoneticiligin hala anlamis degilim.
Seni halk istiyor :) Amme hizmeti..
benim ögrenmek istedigim google botun forum sayfalarındaki mesajlarıda indexlemesi bunun icin ne gerekıyor google bot giriyor ama sadece ana linkleri indexliyo örnek olarak ornek.com/faq.php /search.php /register.php gibi tüm mesajları indexlemesi icin ne yapam gerekır ornegin bu forumda mesajlarda indexlenıyor ama cogu dorum sitesinde olmuyor
Forum Yazılımı : vBulletin v3.7.3, Copyright ©2000-2008, Jelsoft Enterprises Ltd.