PDA

Tam Sürümünü Görmek İçin : Proje:Arama Motoru


turker
31/08/2002, 02:46
Ben ve 3-4 senelik delphi programcısı bir arkadaşım bir arama motoru yazmayı düşünmüştük. Size projeyi anlatcağım ama bir ön açıklama yapayım.

Ben delphiden anlamam ama arkaşıma bu konuda bilgi toplamasında yardımcı olacaktım. Bu konu hakkında bilgi edinmek için neredeyse bir senedir uğraşıyorum ama elimde hiç bir şey yok diyebilirim. Ayrıca bu projeyi kötü amaçlı olarak kullanmayıda düşünmüyoruz çünkü bunun nasıl kötüye kullanılacağı konusunda en ufak bir fikrimiz bile yok. Bunu niye söylediğimi daha sonra açıklayacağım. Geleim projeye.

Biz google gibi bir arama motoru yapmayı planlıyorduk. Google gibi dememem lazım çünkü nasıl bir sistemle çalıştıklarını bilmiyorum. Bizim yapacağımız sistemde kullanıcı sitesini bize kayıt ettirmek zorunda olmayacaktı. Bir ip aralığı verecektik ve program bu ip aralığındaki 80 ve 8080 nolu portları tarayacaktı ve bu portlardan bir web içeriği dönerse bu sitenin metalarını alıp veri tabanına kaydedecekti. Daha sonra eğer yapabilirsek sitenin içeriğinde de arama yaptıracaktık.

Şimdilik bizim keşfedebildiğimiz sorunların başında bigli alabilmek geliyor. Çünkü kimden yardım istediysem bu işin kötü amaçlı kullanılabileceğinden bahsedip bilgi vermek istemedi. Buradan söylediklerime ne kadar güvenirsiniz bilmem ama hala keşfedebilmiş değiliz bu kötü amaçlı kullanımı. Ayrıca acayip bir host bulmak lazım. Site içeriğinden nasıl arama yaptırılacağı ise ayrı bir problem.

Şimdilk bu kadar. Bu proje yaklaşık 8 aydır rafta olduğu için aklıma geldikçe yazarım tabi olur bizde yardım ederiz diyen olursa.


RaiST
03/09/2002, 18:26
merhabalar.. herseyden once yapmanız gereken bir web bot olusturmak..
sizde soylemissiniz belli bir ip araligini arayacak diye. olabilir tabi veyada farklı bir sistemde uygulanabilir..

yapmanız gereken sanırım basitce soyle:

webbotunuza gerekli ipleri gireceksiniz ve webbot, http protokolu uzerinde baglanti kurmayi deneyecek. sayfa baglanirsa hemen meta taglerini ve adres bilgisini dbsine yazacaksınız. sonra baslayacaksınız linkleri bulmaya. bu linkleride bir taranacaklar dbsine yazacaksınız.. daha sonra bu sayfa ile is bitince taranacaklar dbsinde ilk kayda gidecek ve onuda 0dan tarayıp linklerini alacaksınız bu boyle boyle devam edecek. tabi bunun icin iyi bir baglanti olmali..
birde bir tip: taranacaklar dbsinde sadece domain adından olusan sitelere oncelık vermek daha iyi olacaktır.. bu sekılde bir cok farklı siteye ulasabilirsiniz

turker
04/09/2002, 01:15
Tamam zaten teorik olarak bunları yapacağız ama sana hemen bir problem söyleyim.

Web sayfasının içerğini tamamen db'ye yazıp metalarını alıp daha sonra bu metaları başkabir dbye kaydedip sonra site içindeki linkleri başka bir dbye kaydedip vs. vs. sence bu tür bir uygulama arama motorunu ne ölçüde yavaşlatır? Düşünsene internet.com gibi bir siteye denk geldiğini. acaba böyle bir siteyi indexlemek ne kadar sürer?

Bulabildiğim kadarıyla sunuculara ping varı bir komut gönderip barındırılan siteler alınabiliyormuş. Ne kadar doğru bilmiyorum. Bunu bulamadık eğer varsa böyle birşey hız artar diye düşünmekteyiz. Ayrıca birde geocities gibi siteler mevcut. bunlara bir çözüm düşünemedik. Gerçi uygulama olarak şu an elde var sıfır. herşey düşünme aşamasında.

RaiST
04/09/2002, 10:29
ilk basta bence gidip detaylı sayflalarla urasmak yerine domain siteleri arastırmalısınız

ahmet ustun
30/10/2002, 16:08
toryy.net ten spider olarak ararsan güzel örnek ve componentler bulabilirsiniz.