基于文本特征提取技術(shù)的在線人職匹配研究及應(yīng)用.pdf

1、隨著科技的發(fā)展以及互聯(lián)網(wǎng)的普及，招聘行業(yè)的工作模式產(chǎn)生了翻天覆地的變化。招聘應(yīng)聘的信息傳播載體正在從過去的報紙電視遷移至互聯(lián)網(wǎng)，傳播速度更快，數(shù)據(jù)規(guī)模更大，傳統(tǒng)招聘行業(yè)迫切需要通過技術(shù)手段快速定位合適的求職者，從而減少招聘流程中產(chǎn)生的時間和人力成本。通過網(wǎng)絡(luò)爬蟲，商業(yè)合作，平臺收集等多方渠道采集到了大量的人才簡歷文本數(shù)據(jù)以及大量雇主發(fā)布的職位文本數(shù)據(jù)，但如何在二者之間建立快速并準(zhǔn)確的匹配橋梁是本文的關(guān)鍵，如果僅僅通過詞語命中的方式進(jìn)行匹

2、配，會發(fā)現(xiàn)匹配精度不高，原因是匹配文本中存在大量無關(guān)干擾詞語，同時也會忽略掉那些潛在的匹配對象，比如職位中的詞語是技術(shù)，但是人才簡歷中的詞語是軟件開發(fā)，雖然兩個詞語并不相同，但可以發(fā)現(xiàn)二者的含義是在一定程度上重合的，是能夠匹配得上的。綜上所述，如何通過計算機(jī)技術(shù)實現(xiàn)人才簡歷和職位文本之間的高效精準(zhǔn)的匹配，針對招聘行業(yè)是一件非常具有研究意義的課題。
　　本文使用基于改進(jìn)TF-IDF的簡歷文本特征提取算法，使用優(yōu)化后的倒排索引技術(shù)，針

3、對該問題提出一種可行的解決方案，并運用在實際生產(chǎn)環(huán)境中。本文主要研究內(nèi)容如下：
　　(1)針對常用的文本特征提取算法進(jìn)行優(yōu)化。分析現(xiàn)在各種特征提取算法的優(yōu)劣后提出了一套基于改進(jìn)TF-IDF的簡歷文本特征提取算法。傳統(tǒng)TF-IDF算法考慮了特征項對全局的貢獻(xiàn)，能夠有效描述特征詞在全局文本中發(fā)揮的作用。但也忽略了某些特征詞在全局上作用不大，但對指定類別文檔缺尤為重要的情況。本文結(jié)合TF-IDF算法，在計算特征詞對全局文本的貢獻(xiàn)程度上加

4、入信息熵計算，進(jìn)一步描述特征詞對全局的貢獻(xiàn)，同時在計算特征項對某類文檔的貢獻(xiàn)時也加入信息熵計算,充分考慮對特定文本類別的影響，最終將改進(jìn)的TF-IDF算法運用在針對簡歷文本內(nèi)容的特征提取上。
　　(2)職位文本分類。本文應(yīng)用場景是在數(shù)據(jù)量大，數(shù)據(jù)更新迭代速度快，文本內(nèi)容頻繁更新?lián)Q代的環(huán)境下。通過分析各個分類算法優(yōu)劣，同時考慮現(xiàn)有應(yīng)用場景，提出了“基于倒排索引技術(shù)的職位文本實時分類”的分類框架。該框架通過倒排索引技術(shù)將標(biāo)注數(shù)據(jù)放入索

5、引庫中，該索引庫可以實時進(jìn)行數(shù)據(jù)的更新迭代，在搜索層面加入排序計算。待分類職位文本通過“分詞-特征提取-搜索”三個步驟，得到一批有標(biāo)注的文本匹配結(jié)果，每個結(jié)果都有對應(yīng)的匹配值，通過標(biāo)注數(shù)據(jù)的加權(quán)聚合操作，最終得到分類結(jié)果。該框架可以實時更新分類模型數(shù)據(jù)，同時也能實時進(jìn)行文本分類。
　　(3)特征相似性計算。僅僅針對關(guān)鍵詞是否相同來進(jìn)行匹配是無法解決潛在匹配對象的，本文將借鑒文本向量化技術(shù)，對特征詞進(jìn)行向量化，從而將特征詞映射到多維

6、空間中的各個坐標(biāo)上，接著再計算各個特征詞之間的余弦相似度，最終得到特征之間的相似程度，在匹配過程中，對文本特征詞進(jìn)行擴(kuò)充，達(dá)到考慮了潛在匹配對象的目的。最后搭建匹配系統(tǒng)，基于倒排索引技術(shù)采用多域匹配并且設(shè)置權(quán)重，同時分析文本的句式規(guī)則，提取重要的文本段落單獨做特征提取，還有集成相關(guān)的算法結(jié)果，最終達(dá)到提高匹配準(zhǔn)確度的效果。本文最后將搭建實際生產(chǎn)環(huán)境中的匹配系統(tǒng)。數(shù)據(jù)存儲采用集群，能夠適應(yīng)未來數(shù)據(jù)規(guī)模的增長；匹配系統(tǒng)底層倒排索引使用集群模