目次
1、義務描寫
1.項目配景
2.項目內容
3.項目意義
二、數據起源
3、模子完成
1.TFIDF完成癥結詞提取
​2.TextRank 完成癥結詞提取

 3.NMF完成癥結詞提取
4.NMF文檔聚類完成
5.LDA完成癥結詞提取
6.LDA文檔聚類完成
 4、成果剖析及可視化展現
1.時候比較
2.成果比較
​
 3.聚類成果可視化展現 
a)LDA
b)NMF
5、總結
1.基于統計的方式
2.基于主題的方式
a)NMF
b)LDA
c)基于收集圖的方式

1、義務描寫
1.項目配景
        自媒體期間，年夜數據、云盤算讓信息正在以一個爆炸式的增進進入人們的視野。用戶在信息檢索時多用文本題目停止檢索，由于信息過載、渣滓信息過量招致沒法疾速找到精準信息等題目。面臨複雜的信息，可應用癥結詞提取技巧疾速且精準地提煉文本信息。
2.項目內容
        此次項目一是基于多種模子下提取文本癥結詞，在癥結詞提取這一技巧範疇中，主流為兩年夜類方式，1.有監視方式及語料庫技巧，2.半監視方式和無監視方式，不必要練習語料，不必要人工介入，應用抽取體系完成癥結詞抽取。本次項目重點研討第二種方式，半監視與無監視方式研討。采用基于統計的tfidf方式、基于主題的nmf模子方式、LDA模子方式、基于收集圖的textRank方式
        二是基于主題模子的文檔聚類，拔取nmf模子方式、LDA模子方式。
3.項目意義
        對于癥結詞，實質是對語段癥結、重要、焦點信息的集中，被提取的癥結詞必需具有3個前提：可讀性、相干性及涵蓋性。而提取癥結詞的實質是緊縮的緊縮，精華精闢的精華精闢，癥結的癥結，減少失落主要的，支持的說明註解，實質上是對語段的精華精闢緊縮歸納綜合以到達較好的註解語段的主題，跟著機械進修的深切研討，落點于癥結詞提取，就有監視、半監視、無監視算法感化于文本癥結詞提取
二、數據起源
        數據起源于中國知網鐵路期刊模塊。經由過程技巧分區爬取到中國知網鐵路期刊模塊的題目、擇要、癥結詞，分離為車輛工程、電氣化鐵路、機車工程、特種鐵路、鐵路通訊旌旗燈號、鐵線路路工程、鐵路運輸治理工程、鐵路運輸經濟八個xlsx文件，對文件停止處置后，每份文件取前200行合并為1600條目集的data文件作為數據傳入運轉法式。
3、模子完成
1.TFIDF完成癥結詞提取
應用sklearn中的tfidf模子，導包

 停止文本預處置，采用結巴分詞

 文本預處置完成成果

 文本預處置完成后停止tfidf模子構建，由于一篇文檔的擇要過短，測驗考試調參后結果欠安，是以拔取默許參數

 成果
2.TextRank 完成癥結詞提取
文本預處置與tfidf同等，挪用jieba包完成

成果展現
 

 3.NMF完成癥結詞提取
步調：
導入數據：起首將數據經由過程pandas讀取成數據框；分詞處置：載入停用詞列表和用戶辭書，應用jieba的切確形式對每一篇擇要停止分詞處置；經由過程練習tfidf，獲得tf-idf矩陣，作為NMF模子的輸出；應用sklearn包里的NMF模子，設定輸入6個主題，每個主題輸入一個代表該主題的主題辭，終極的到6個癥結詞來透露表現該擇要。

代碼：

娛樂城 送體驗金

4.NMF文檔聚類完成
停止NMF模子進修

將獲得的文檔主題矩陣傳入KMeans聚類模子中

應用T錢連贏-SNE降維后停止可視化 

5.LDA完成癥結詞提取
步調&#xff合悅娛樂城1a;
導入數據：起首將數據經由過程pandas讀取成數據框；分詞處置：載入停用詞列表和用戶辭書，應用jieba的切確形式對每一篇擇要停止分詞處置&#xf世界盃 桌布f1b;經由過程練習tfidf，獲得tf-idf矩陣，作為LDA模子的輸出；應用sklearn包里的LDA模子，設定求解算法為online，輸入6個主題，每個主題輸入一個代表該主題的主題辭，終極的到6個癥結詞來透露表現該擇要。

代碼：

 
6.LDA文檔聚類完成
停止LDA模子進修（聚類時必要將online參數更改，緣故原由是由於online參數是感化于文本癥結詞提取相較于默許參數結果更好，但在聚類時，oneline參數結果欠好，以是彩票賓果遊戲介紹更改成默許參數。

 將獲得的文檔主題矩陣傳入KMeans聚類模子中

 應用T-SNE降維后停止可視化
 
 4、成果剖析及可視化展現
1.時候比較

可以看到tfidf耗時最短，而LDA耗時最長。
2.成果比較
棋牌電競遊戲介紹

 3.聚類成果可視化展現 
a)LDA

LDA聚類成果，類與類之間相距較疏散，且雷同的一類有的并不是在一塊集中如圖上嫩綠色的類別，出現三個地區分布。 
b)NMF

 NMF聚類成果較集中，較顯著。類與類之間較集平分布，且雷同的一類都集中在統一地區。
5、總結
1.基于統計的方式
主流的簡略統計方式是台灣娛樂城TFIDF及其改良方式。TFIDF是權衡一個詞對一篇文檔的區分水平。應用文檔中詞語的統計信息抽取文檔的癥結詞。
長處：簡略，易于完成，不必要練習數據，也不必要構建內部學問庫，泛化性強。斟酌詞的地位、詞性和聯繫關係信息特征。好比在文本中名詞作為一種界說實際實體的詞，帶有更多的癥結信息。再好比在某些場景中文本的肇端段落和開頭段落比其他部門更緊張。
缺點：純真以詞頻權衡一個詞的緊張性不敷周全，偶然緊張的詞能夠湧現的次數未幾。並且這類算法沒法表現詞的地位、詞性和聯繫關係信息等特征，更沒法反應詞匯的語義信息。IDF實質上是一種試圖克制樂音的加權。純真的以為文檔頻率小的詞越緊張，文檔頻率年夜的單詞就越無用。如許招致的題目是一些不克不及代表文本的低頻次IDF值很高；有些可以或許很好代表文本的高頻詞IDF值卻很高。重要緣故原由是TFIDF沒有斟酌特征項在文檔調集類間和類內的分布環境。沒有斟酌語義。（癥結詞提取技巧_abc50319的專欄-CSDN博客_癥運彩 投注技巧結詞抽取技巧）
2.基于主題的方式
a)NMF
將文檔-詞維度提拔到文檔-主題-詞的維度重要頭腦是：文檔是多少主題的分布；每個主題又是詞語的機率分布。主題透露表現為一個方面，一個概念，表示為相干詞的調集。主題模子是語義發掘的焦點。NMF的根本頭腦可以簡略描寫為：對于恣意給定的一個非負矩陣V，NMF算法可以或許探求到一個非負矩陣W和一個非負矩陣H，使得知足 ，從而將一個非負的矩陣分化為擺佈兩個非負矩陣的乘積。以下圖所示，個中請求分化后的矩陣H和W都必需黑白負矩陣。其與LDA的區分在于將文檔-詞語矩陣分化成兩個矩陣。
(癥結詞提取技巧_abc50319的專欄-CSDN博客_癥結詞抽取技巧)
b)LDA
將文檔-詞維度提拔到文檔-主題-詞的維度重要頭腦是：文檔是多少主題的分布；每個主題又是詞語的機率分布。主題透露表現為一個方面，一個概念，表示為相干詞的調集。主題模子是語義發掘的焦點。LSA/LSI/LDA算法最重要的主題模子是LDA（隱含狄利克雷分布），已知詞和文檔洛杉磯fc的對應關系，我們的目標是找出 主題的詞分布，文檔的主題分布。
主題模子的長處是：
(1) 可以取得文本語義類似性的關系。依據主題模子可以獲得主題的機率分布，可以經由過程機率分布盤算文本之間的類似度。
(2) 可以處理多義詞的題目。
(3) 可以往除文檔中樂音的影響。
(4) 無監視、完整主動化。無需人工財神娛樂城-3 萬點數等你拿標注，可以直接經由過程模子獲得機率分布。
(5) 說話有關。
（癥結詞提取技巧_abc50319的專欄-CSDN博客_癥結詞抽取技巧）
c)基于收集圖的方式
主流的基于收集圖的算法的是TextRank算法，基于收集圖的算法和上述算法分歧的一點是，統計剖析和基于主題的方式都必要基于一個現成的語料庫，且基于主題的模子必要經由過程年夜範圍文檔的進修，來發明文檔的隱含主題。TextRank算法可以離開語料庫的配景，僅對單篇文檔停止剖析就可以提取文檔的癥結詞。TextRank算法的根本頭腦起源于Google的PageRank算法。
（癥結詞提取技巧_abc世界杯 瑞士50319的專欄-CSDN博客_癥結詞抽取技巧）