欧美 日韩 亚洲 在线-欧美 日韩 无码 有码 在线-欧美 另类 美腿 亚洲 无码-欧美 国产 日产 韩国 在线-99久久香蕉-99久久无码一区人妻A片竹菊

企億推信息網(wǎng)
專注網(wǎng)絡(luò)推廣服務(wù)

分享文章中關(guān)鍵詞的提取與拓展方法

在自然語言處理領(lǐng)域,處理海量文本文件的關(guān)鍵是提取用戶關(guān)心的問題。無論是長文本還是短文本,我們都可以通過幾個關(guān)鍵詞來窺視整個文本的主題。同時,無論是基于文本的推薦還是基于文本的搜索,對文本關(guān)鍵字的依賴性也很大。關(guān)鍵詞提取的準確性直接關(guān)系到推薦系統(tǒng)或搜索系統(tǒng)的終效果。

因此,關(guān)鍵字提取是文本挖掘領(lǐng)域的一個重要組成部分。從文本中提取關(guān)鍵詞有三種方法:監(jiān)督、半監(jiān)督和無監(jiān)督。監(jiān)督關(guān)鍵字提取算法是將關(guān)鍵字提取算法構(gòu)造為兩類問題來判斷文檔中的詞或短語是否為關(guān)鍵字。由于這是一個分類問題,因此有必要提供標記的訓(xùn)練預(yù)測。訓(xùn)練語料庫用于訓(xùn)練關(guān)鍵詞提取模型。根據(jù)該模型,對需要提取關(guān)鍵字的文檔的關(guān)鍵字提取算法進行了半監(jiān)督。

構(gòu)造關(guān)鍵詞提取模型只需要少量的訓(xùn)練數(shù)據(jù),然后利用模型對新文本進行檢查。關(guān)鍵字提取,手動篩選這些關(guān)鍵字,并將篩選后的關(guān)鍵字添加到培訓(xùn)集以重新培訓(xùn)模型。無監(jiān)督的方法不需要手動標記語料庫。一些方法被用來尋找文本中更重要的詞作為關(guān)鍵字并提取關(guān)鍵字。監(jiān)督文本關(guān)鍵字提取算法要求人工成本高,現(xiàn)有的文本關(guān)鍵字提取主要采用無監(jiān)督關(guān)鍵字提取,適用性強。

文本關(guān)鍵字提取的過程如下:無監(jiān)督文本關(guān)鍵字提取流程圖無監(jiān)督關(guān)鍵字提取算法可分為三類:基于統(tǒng)計特征的關(guān)鍵字提取、基于詞圖模型的關(guān)鍵字提取和基于主題模型的關(guān)鍵字提取?;诮y(tǒng)計特征的文本關(guān)鍵字提取算法基于統(tǒng)計特征的關(guān)鍵字提取算法基于統(tǒng)計特征的關(guān)鍵字提取算法是利用文檔中的統(tǒng)計信息提取關(guān)鍵字。

一般情況下,文本經(jīng)過預(yù)處理得到候選詞集,然后通過特征值量化從候選詞集中獲得關(guān)鍵詞?;诮y(tǒng)計特征的關(guān)鍵詞提取方法的關(guān)鍵是采用何種特征值量化指標。

分享文章中關(guān)鍵詞的提取與拓展方法(圖1)

目前常用的方法有三種:1、基于詞權(quán)的特征量化主要包括部分語音、詞頻、反向文檔頻率、相對詞頻、詞長等。2、基于詞位的特征量化方法是基于不同位置的句子對文獻的重要性不同的假設(shè)。通常,文章的前N個詞、后N個詞、開頭、結(jié)尾、標題和引言都是有代表性的詞。這些詞可以把整個主題表達為關(guān)鍵詞。3、基于詞關(guān)聯(lián)信息的特征量詞的關(guān)聯(lián)信息是指詞與詞、詞與文獻的關(guān)聯(lián)程度,包括互信息、命中值、貢獻度、依賴度、tf-idf值等,這里有一些常用的特征值量化指標。部分語音分詞和語法分析的結(jié)果。現(xiàn)有的關(guān)鍵詞大多是名詞或動名詞。

一般來說,名詞比言語的其他部分更能表達文章的主旨。然而,作為特征量化的指標,部分語音通常與其他指標結(jié)合使用。單詞頻率表示單詞在文本中出現(xiàn)的頻率。一般來說,我們認為一個詞在文本中出現(xiàn)的頻率越高,它就越有可能成為文章的核心詞。單詞頻率只是計算文本中出現(xiàn)的單詞數(shù)。然而,僅依靠詞頻獲得的關(guān)鍵詞具有很大的不確定性。對于長文本,此方法將產(chǎn)生大量噪聲。

一般來說,詞的位置對詞有很大的價值。例如,標題和摘要本身是作者總結(jié)的文章的主要思想,因此出現(xiàn)在這些地方的詞具有代表性,更容易成為關(guān)鍵詞。然而,由于每個作者都有不同的習(xí)慣、寫作方法和關(guān)鍵句子的位置,這也是一種非常廣泛的獲得關(guān)鍵詞的方法,通常不單獨使用?;バ畔⒑突バ畔⑹切畔⒄撝械囊粋€概念,是衡量變量相互依賴性的一個指標。相互信息不限于實值隨機變量。

未經(jīng)允許不得轉(zhuǎn)載:啟新網(wǎng)站SEO優(yōu)化 » 分享文章中關(guān)鍵詞的提取與拓展方法
分享到: 更多 (0)
加載中~
主站蜘蛛池模板: 国产精品 日韩精品 欧美 | 亚洲一级特黄 | 良家人妻无码专区九色颜射 | 9国产露脸精品国产麻豆 | 无码人妻精品国产婷婷 | 亚洲午夜精品一区二区公牛电影院 | 久久99国产精品一区二区 | 真实国产乱子伦精品一区二区三区 | 精品国产成a人在线观看 | 四虎成人影院 | 网友自拍偷拍 | 男总裁憋尿PLAY灌尿BL | 国产精品一区二区三区四区五区 | 九九大香尹人视频免费 | 精品AV国产一区二区三区 | 双腿打开揉弄高潮H苏安安秦慕深 | 天美传媒在线观看完整高清 | 果冻传媒色AV国产播放 | 99久久免费国内精品 | 成人国产三级在线播放 | 一一本之道高清视频在线观看中文字幕 | 国产69精品久久久久乱码 | 恋夜影视列表免费安卓手机版 | 潮 喷女王cytherea | 久草大 | 97人摸人人澡人人人超一碰 | 76人遣返航班上71人呈阳性 | 99热在线观看精品 | 国产成人a在一区线观看高清 | 在线 国产 欧美 专区 | 无套暴躁白丝秘书 | 青草影院天堂男人久久 | SM双性精跪趴灌憋尿调教H | 免费毛片视频网站 | 漂亮的保姆6在线观看中文 漂亮的保姆5电影免费观看完整版中文 | 极品美女久久久久久久久久久 | 亚洲成人mv| 野花4在线观看 | 亚洲国产三级在线观看 | 青青伊人影院 | 动漫美女被爆挤奶歪歪漫画 |