Duyuruyu Kapat
Facebook Gözat
Twitter Gözat

Proje:Arama Motoru

Konu, 'Pascal / Delphi / Delphi.NET' kısmında turker tarafından paylaşıldı.

  1. turker

    turker Agresif Üye

    Kayıt:
    19 Temmuz 2002
    Mesajlar:
    5,988
    Beğenilen Mesajlar:
    0
    Ben ve 3-4 senelik delphi programcısı bir arkadaşım bir arama motoru yazmayı düşünmüştük. Size projeyi anlatcağım ama bir ön açıklama yapayım.

    Ben delphiden anlamam ama arkaşıma bu konuda bilgi toplamasında yardımcı olacaktım. Bu konu hakkında bilgi edinmek için neredeyse bir senedir uğraşıyorum ama elimde hiç bir şey yok diyebilirim. Ayrıca bu projeyi kötü amaçlı olarak kullanmayıda düşünmüyoruz çünkü bunun nasıl kötüye kullanılacağı konusunda en ufak bir fikrimiz bile yok. Bunu niye söylediğimi daha sonra açıklayacağım. Geleim projeye.

    Biz google gibi bir arama motoru yapmayı planlıyorduk. Google gibi dememem lazım çünkü nasıl bir sistemle çalıştıklarını bilmiyorum. Bizim yapacağımız sistemde kullanıcı sitesini bize kayıt ettirmek zorunda olmayacaktı. Bir ip aralığı verecektik ve program bu ip aralığındaki 80 ve 8080 nolu portları tarayacaktı ve bu portlardan bir web içeriği dönerse bu sitenin metalarını alıp veri tabanına kaydedecekti. Daha sonra eğer yapabilirsek sitenin içeriğinde de arama yaptıracaktık.

    Şimdilik bizim keşfedebildiğimiz sorunların başında bigli alabilmek geliyor. Çünkü kimden yardım istediysem bu işin kötü amaçlı kullanılabileceğinden bahsedip bilgi vermek istemedi. Buradan söylediklerime ne kadar güvenirsiniz bilmem ama hala keşfedebilmiş değiliz bu kötü amaçlı kullanımı. Ayrıca acayip bir host bulmak lazım. Site içeriğinden nasıl arama yaptırılacağı ise ayrı bir problem.

    Şimdilk bu kadar. Bu proje yaklaşık 8 aydır rafta olduğu için aklıma geldikçe yazarım tabi olur bizde yardım ederiz diyen olursa.
     
  2. RaiST

    RaiST Daimi Üye

    Kayıt:
    24 Temmuz 2002
    Mesajlar:
    1,932
    Beğenilen Mesajlar:
    0
    Meslek:
    linuxrocker
    Şehir:
    krynn
    merhabalar.. herseyden once yapmanız gereken bir web bot olusturmak..
    sizde soylemissiniz belli bir ip araligini arayacak diye. olabilir tabi veyada farklı bir sistemde uygulanabilir..

    yapmanız gereken sanırım basitce soyle:

    webbotunuza gerekli ipleri gireceksiniz ve webbot, http protokolu uzerinde baglanti kurmayi deneyecek. sayfa baglanirsa hemen meta taglerini ve adres bilgisini dbsine yazacaksınız. sonra baslayacaksınız linkleri bulmaya. bu linkleride bir taranacaklar dbsine yazacaksınız.. daha sonra bu sayfa ile is bitince taranacaklar dbsinde ilk kayda gidecek ve onuda 0dan tarayıp linklerini alacaksınız bu boyle boyle devam edecek. tabi bunun icin iyi bir baglanti olmali..
    birde bir tip: taranacaklar dbsinde sadece domain adından olusan sitelere oncelık vermek daha iyi olacaktır.. bu sekılde bir cok farklı siteye ulasabilirsiniz
     
  3. turker

    turker Agresif Üye

    Kayıt:
    19 Temmuz 2002
    Mesajlar:
    5,988
    Beğenilen Mesajlar:
    0
    Tamam zaten teorik olarak bunları yapacağız ama sana hemen bir problem söyleyim.

    Web sayfasının içerğini tamamen db'ye yazıp metalarını alıp daha sonra bu metaları başkabir dbye kaydedip sonra site içindeki linkleri başka bir dbye kaydedip vs. vs. sence bu tür bir uygulama arama motorunu ne ölçüde yavaşlatır? Düşünsene internet.com gibi bir siteye denk geldiğini. acaba böyle bir siteyi indexlemek ne kadar sürer?

    Bulabildiğim kadarıyla sunuculara ping varı bir komut gönderip barındırılan siteler alınabiliyormuş. Ne kadar doğru bilmiyorum. Bunu bulamadık eğer varsa böyle birşey hız artar diye düşünmekteyiz. Ayrıca birde geocities gibi siteler mevcut. bunlara bir çözüm düşünemedik. Gerçi uygulama olarak şu an elde var sıfır. herşey düşünme aşamasında.
     
  4. RaiST

    RaiST Daimi Üye

    Kayıt:
    24 Temmuz 2002
    Mesajlar:
    1,932
    Beğenilen Mesajlar:
    0
    Meslek:
    linuxrocker
    Şehir:
    krynn
    ilk basta bence gidip detaylı sayflalarla urasmak yerine domain siteleri arastırmalısınız
     
  5. ahmet ustun

    ahmet ustun Üye

    Kayıt:
    30 Ekim 2002
    Mesajlar:
    88
    Beğenilen Mesajlar:
    0
    toryy.net ten spider olarak ararsan güzel örnek ve componentler bulabilirsiniz.