Yardım gerekli

[paradox]

Basit bir java crawler yapcam elinde örneği olan esinlenmeme yardımcı olabilecek varmı. JAppleti webe koycam ve kayıtlı siteleri text document ın içine atıcak. İndexleme yapıcak ve buna göre textten açıp okicak ve taricak arama yapıldığı zaman. Umarım yardımcı olabilecek bir arkadaş çıkar önemli ve acil bir konu çünkü

[myavuzselim]

Bu is icin applet bence pek uygun degil, internete bagli bir makineden calisan normal bir program olmasi lazim.

Bir queue (kuyruk) yarat (bunun yerine LinkedList kullanabilirsin). Bu kuyruga endekslemek istedigin sayfanin adresini (java.net.URL) koy.

Daha sonra kuyruktan cikarttigin her sayfa adresi icin:

- Sayfayi java.net.URL.openStream() ile oku,
- okurken <a href=""> satirlarini yakalayip bu adresleri kuyruga ekle
- okudugun sayfayi, veya bu sayfadan yarattigin endeksleri, veya her ikisini, bilgisayarina kaydet.


Endekslemek icin bir veritabani kullanabilirsin. Bu konuda bir deneyimim yok, ama su anda aklima gelenler soyle:

Sadece tek kelimeleri endekslemek istiyorsan her kelime icin hangi urlde yazdigini kaydedebilirsin.
Cumleleri de aratmak istiyorsan (yani pespese kelimeler) o zaman veritabanina her kelime yerine her cumleyi koyabilirsin, galiba bu daha mantikli olur. Ama cumleleri ayirmak icin noktalama isaretlerini konrol etmen gerekecek. Bazi icerikler de icinde cumle (noktalama isareti) barindirmayabilir, o yuzden maximum cumle uzunlugu olmasi gerek. Boyle yaparsan "SELECT url FROM index WHERE cumle LIKE '%aranan%'" gibi kullanabilirsin.

Tabi daha ileri bir endeksleme icin kendine ozel bir dosya yapisi gelistirmen de gerekebilir.


Aslinda ilginc bir konu, ama ortada google gibi birsey oldugundan biraz gereksiz mi ne Sanirim sen bunu odev ya da benzeri bir is icin yapiyorsun. Yoksa hic ugrasma derim.

[stalker]

Queue'yi tutan, bir sınıfın olsun. Queue'da ki elementleri sıra ile atayacağın birden çok thread'in olsun, indekslemeyi bu threadler ile yap, sonra sonuçları -istersen- ana sınıfına döndürürsün.

[paradox]

Bu benim final projem. Neden bu konuyu aldıysam. Basit bir oyun yazmak dururken crawler yazmak zorundayım şimdi ve işin kötüsü pazartesi verilcek 23 mayısta. Bugün konuştum hocayla elinde örnek varsa onu değiştir ve webe koy dedi yanlız 23 classlık birşey nasıl webe konur tüm dosyaları webe atıp ana classı linklicem diye biliyorum appleti tanımıyor delirmek üzereyim desem yeri. Yardım eden arkadaşlara tekrar teşekkür ederim bilgi paylaştıkça çoğalır.