基于Java技術(shù)的搜索引擎研究與實(shí)現(xiàn).pdf

1、在互聯(lián)網(wǎng)蓬勃發(fā)展的今天，互聯(lián)網(wǎng)上的信息更是浩如煙海。人們?cè)谙硎芑ミB網(wǎng)帶來(lái)的便利的同時(shí)，卻面臨著一個(gè)如何在如此海量的內(nèi)容中準(zhǔn)確、快捷地找到自己所需要的信息的問(wèn)題，由此互聯(lián)網(wǎng)搜索引擎應(yīng)運(yùn)而生。當(dāng)前對(duì)于搜索引擎的研究是互聯(lián)網(wǎng)技術(shù)中最熱門(mén)的領(lǐng)域。 本文對(duì)搜索引擎的原理、組成、數(shù)據(jù)結(jié)構(gòu)、工作流程等方面做了深入而細(xì)致地研究與分析。搜索引擎的未來(lái)發(fā)展方向是個(gè)性化、智能化。對(duì)于不同類(lèi)型的用戶群搜索相同的內(nèi)容將得到不同的更適合用戶的搜索結(jié)果，這就

2、是搜索引擎的個(gè)性化；而智能化則指搜索引擎具有自我學(xué)習(xí)的功能，能自動(dòng)地適應(yīng)用戶的查詢需求，并能對(duì)用戶進(jìn)行智能分類(lèi)從而為搜索引擎的個(gè)性化提供依據(jù)。 在理論研究的基礎(chǔ)上，本文還利用Java技術(shù)對(duì)搜索引擎的三個(gè)核心部分即網(wǎng)絡(luò)蜘蛛、網(wǎng)頁(yè)索引、搜索進(jìn)行了實(shí)現(xiàn)。網(wǎng)絡(luò)蜘蛛部分采用了非遞歸爬取方式和Java的多線程機(jī)制，利用一個(gè)基于內(nèi)存的作業(yè)隊(duì)列管理器負(fù)責(zé)網(wǎng)頁(yè)抓取過(guò)程中URL鏈接的加入、分配、處理等作業(yè)，同時(shí)使用線程池管理多個(gè)抓取線程，并發(fā)抓取網(wǎng)