免费一看一级欧美-免费一区二区三区免费视频-免费伊人-免费影片-99精品网-99精品小视频

?

垂直搜索引擎是針對某一個行業(yè)的專業(yè)搜索引擎，是搜索引擎的細(xì)分和延伸，是對網(wǎng)頁庫中的某類專門的信息進(jìn)行一次整合，定向分字段抽取出需要的數(shù)據(jù)進(jìn)行處理后再以某種形式返回給用戶。垂直搜索是相對通用搜索引擎的信息量大、查詢不準(zhǔn)確、深度不夠等提出來的新的搜索引擎服務(wù)模式，通過針對某一特定領(lǐng)域、某一特定人群或某一特定需求提供的有一定價(jià)值的信息和相關(guān)服務(wù)。其特點(diǎn)就是“專、精、深”，且具有行業(yè)色彩，相比較通用搜索引擎的海量信息無序化，垂直搜索引擎則顯得更加專注、具體和深入。

?

垂直搜索引擎原理圖

?

什么是垂直搜索引擎	最有前途的軟件開發(fā)技術(shù)搜索引擎技術(shù)	開源爬蟲: Heritrix 1.14.4 安裝/使用

?

?

1、整體思路

整個課程，按照一個從無到有的過程來展開。所有的數(shù)據(jù)，來自于互聯(lián)網(wǎng)，用heritrix去抓取。對于抓取的數(shù)據(jù)，進(jìn)行去重，去標(biāo)簽，然后利用lucene 和 solr 進(jìn)行索引和搜索。如下圖所示：

?

?

整個課程 的最大特點(diǎn)是內(nèi)容新穎全面而又通俗易懂。對于實(shí)際搜索引擎所涉及的各種核心技術(shù)都有全面細(xì)致的介紹，除了作為搜索系統(tǒng)核心的網(wǎng)絡(luò)爬蟲、索引系統(tǒng)、排序系統(tǒng)、鏈接分析及用戶分析外，還包括網(wǎng)頁反作弊、緩存管理、網(wǎng)頁去重技術(shù)等實(shí)際搜索引擎必須關(guān)注的技術(shù)，同時用相當(dāng)大的篇幅講解了云計(jì)算與云存儲的核心技術(shù)原理及實(shí)現(xiàn)。

?

整個課程的另一亮點(diǎn)是：整個項(xiàng)目的構(gòu)建全部采用最新技術(shù)，包括但不限于以下技術(shù)：struts 2.3.16 +spring 4.0.1 +hibernate 4.3.1+jquery-easyui 1.3.5+lucene 4.6.0+solr 4.6.0+Heritrix1.14并對其做了二次封裝。為了增進(jìn)學(xué)員的理解，課程大量引入形象的圖片來講解算法原理，相信讀者會發(fā)現(xiàn)原來搜索引擎的核心技術(shù)理解起來比原先想象的要簡單得多。

?

?

一、理論部分：

2.1、搭建heritrix

1.什么是網(wǎng)絡(luò)爬蟲

2.網(wǎng)絡(luò)爬蟲能做什么

3.Heritrix原理

4.Heritrix搭建

?

2.2、如何進(jìn)行主題抓取

1.什么是主題抓取

2.主題抓取的意義

3.主題抓取的策略

4.如何用heritrix進(jìn)行主題抓取

?

2.3、heritrix優(yōu)化

1. ELFHash算法

2.關(guān)于robot.txt

3.將heritrix打包成工具

?

2.4、解析html頁面

1.java正則表達(dá)式

2.基于模板獲取網(wǎng)頁內(nèi)容

3.利用htmlparser解析html

?

2.5、中文分詞介紹

1.Lucene自帶的分詞

2.ICTCLAS

3.IK

4.利用機(jī)器學(xué)習(xí)的算法識別中文文章中的領(lǐng)域詞

?

2.6、網(wǎng)頁去重

1.網(wǎng)頁去重的意義

2.網(wǎng)頁去重的主要方法

3.什么是tf*idf

4.基于指紋算法的網(wǎng)頁去重

?

2.7、Lucene4.6快速索引與搜索

1.如何用lucene創(chuàng)建索引

2.如何用lucene搜索結(jié)果

3.Lucene中intfield怎么搜索

4.Lucene的結(jié)果高亮顯示

?

2.8、Lucene4.6索引的相關(guān)操作

1.創(chuàng)建索引

2.修改索引

3.刪除索引

4.索引優(yōu)化

?

2.9、Lucene4.6的query、及queryparser

1.TermQuery?

2.BooleanQuery

3.TermRangeQuery

4.NumericRangeQuery

5.PrefixQuery

6.PhraseQuery

7.MultiPhraseQuery

8.FuzzyQuery

9.WildcardQuery

10.queryparser

?

2.10、Lucene的Filter及自定義排序

1.Filter

2.Lucene自帶排序及指定權(quán)重

3.Lucene自定義排序

?

2.11、Solr快速索引與搜索

1.什么是solr

2.為什么工程中要使用solr

3.Solr的原理

4.如何在tomcat中運(yùn)行solr

5.如何利用solr進(jìn)行索引與搜索

?

2.12、Solr的查詢及Filter

1.solr的各種查詢

2.solr的Filter

3.solr的排序

4.solr的高亮

?

2.13、Solr的facet介紹

1.solr的某個域統(tǒng)計(jì)

2.solr的范圍統(tǒng)計(jì)

?

2.14、Solrcloud集群搭建

1.zookeeper簡介

2.solrcloud集群搭建

?

2.15、搜索服務(wù)的工具封裝

1.工廠模式

2.封裝搜索服務(wù)_lucene

3.封裝搜索服務(wù)_solr

4.將lucene與solr封裝成可以配置的工具，可以支持任何業(yè)務(wù)系統(tǒng)

?

二、項(xiàng)目部分：

2.16、項(xiàng)目實(shí)戰(zhàn)

1.項(xiàng)目需求分析及框架選擇

2.Struts 2.3.16介紹

3.Struts 2.3.16整合Spring 4.0.1

4.Spring 4.0.1整合hibernate 4.3.1

5.利用jquery-easyui 1.3.5 做后臺管理頁面

6.Heritrix 在工程中的運(yùn)用

7.封裝好的搜索框架在工程中的運(yùn)用

8.Flexpaper模仿百度文庫

9.文件上傳

10.相關(guān)代碼編寫

11.搜索結(jié)果優(yōu)化

12.項(xiàng)目總結(jié)