Python LDA降維中不能輸出指定維度（n_components）的新數(shù)據(jù)集

LDA降維后的維度區(qū)間在[1,C-1]，C為特征空間的維度，與原始特征數(shù)n無(wú)關(guān)，對(duì)于二值分類，最多投影到1維，所以我估計(jì)你是因?yàn)檫@是個(gè)二分類問(wèn)題，所以只能降到一維。

成都創(chuàng)新互聯(lián)專注于馬尾企業(yè)網(wǎng)站建設(shè),響應(yīng)式網(wǎng)站,商城網(wǎng)站定制開(kāi)發(fā)。馬尾網(wǎng)站建設(shè)公司,為馬尾等地區(qū)提供建站服務(wù)。全流程按需策劃，專業(yè)設(shè)計(jì)，全程項(xiàng)目跟蹤，成都創(chuàng)新互聯(lián)專業(yè)和態(tài)度為您提供的服務(wù)

Python語(yǔ)言下的機(jī)器學(xué)習(xí)庫(kù)

Python語(yǔ)言下的機(jī)器學(xué)習(xí)庫(kù)

Python是最好的編程語(yǔ)言之一，在科學(xué)計(jì)算中用途廣泛：計(jì)算機(jī)視覺(jué)、人工智能、數(shù)學(xué)、天文等。它同樣適用于機(jī)器學(xué)習(xí)也是意料之中的事。當(dāng)然，它也有些缺點(diǎn)；其中一個(gè)是工具和庫(kù)過(guò)于分散。如果你是擁有unix思維（unix-minded）的人，你會(huì)覺(jué)得每個(gè)工具只做一件事并且把它做好是非常方便的。但是你也需要知道不同庫(kù)和工具的優(yōu)缺點(diǎn)，這樣在構(gòu)建系統(tǒng)時(shí)才能做出合理的決策。工具本身不能改善系統(tǒng)或產(chǎn)品，但是使用正確的工具，我們可以工作得更高效，生產(chǎn)率更高。因此了解正確的工具，對(duì)你的工作領(lǐng)域是非常重要的。

這篇文章的目的就是列舉并描述Python可用的最有用的機(jī)器學(xué)習(xí)工具和庫(kù)。這個(gè)列表中，我們不要求這些庫(kù)是用Python寫的，只要有Python接口就夠了。我們?cè)谧詈笠灿幸恍」?jié)關(guān)于深度學(xué)習(xí)（Deep Learning）的內(nèi)容，因?yàn)樗罱参讼喈?dāng)多的關(guān)注。

我們的目的不是列出Python中所有機(jī)器學(xué)習(xí)庫(kù)（搜索“機(jī)器學(xué)習(xí)”時(shí)Python包索引(PyPI)返回了139個(gè)結(jié)果），而是列出我們所知的有用并且維護(hù)良好的那些。另外，盡管有些模塊可以用于多種機(jī)器學(xué)習(xí)任務(wù)，我們只列出主要焦點(diǎn)在機(jī)器學(xué)習(xí)的庫(kù)。比如，雖然Scipy包含一些聚類算法，但是它的主焦點(diǎn)不是機(jī)器學(xué)習(xí)而是全面的科學(xué)計(jì)算工具集。因此我們排除了Scipy（盡管我們也使用它！）。

另一個(gè)需要提到的是，我們同樣會(huì)根據(jù)與其他科學(xué)計(jì)算庫(kù)的集成效果來(lái)評(píng)估這些庫(kù)，因?yàn)闄C(jī)器學(xué)習(xí)（有監(jiān)督的或者無(wú)監(jiān)督的）也是數(shù)據(jù)處理系統(tǒng)的一部分。如果你使用的庫(kù)與數(shù)據(jù)處理系統(tǒng)其他的庫(kù)不相配，你就要花大量時(shí)間創(chuàng)建不同庫(kù)之間的中間層。在工具集中有個(gè)很棒的庫(kù)很重要，但這個(gè)庫(kù)能與其他庫(kù)良好集成也同樣重要。

如果你擅長(zhǎng)其他語(yǔ)言，但也想使用Python包，我們也簡(jiǎn)單地描述如何與Python進(jìn)行集成來(lái)使用這篇文章列出的庫(kù)。

Scikit-LearnScikit Learn是我們?cè)贑B Insights選用的機(jī)器學(xué)習(xí)工具。我們用它進(jìn)行分類、特征選擇、特征提取和聚集。我們最愛(ài)的一點(diǎn)是它擁有易用的一致性API，并提供了很多開(kāi)箱可用的求值、診斷和交叉驗(yàn)證方法（是不是聽(tīng)起來(lái)很熟悉？Python也提供了“電池已備(譯注：指開(kāi)箱可用)”的方法）。錦上添花的是它底層使用Scipy數(shù)據(jù)結(jié)構(gòu)，與Python中其余使用Scipy、Numpy、Pandas和Matplotlib進(jìn)行科學(xué)計(jì)算的部分適應(yīng)地很好。因此，如果你想可視化分類器的性能（比如，使用精確率與反饋率(precision-recall)圖表，或者接收者操作特征(Receiver Operating Characteristics，ROC)曲線），Matplotlib可以幫助進(jìn)行快速可視化。考慮到花在清理和構(gòu)造數(shù)據(jù)的時(shí)間，使用這個(gè)庫(kù)會(huì)非常方便，因?yàn)樗梢跃o密集成到其他科學(xué)計(jì)算包上。

另外，它還包含有限的自然語(yǔ)言處理特征提取能力，以及詞袋（bag of words）、tfidf（Term Frequency Inverse Document Frequency算法）、預(yù)處理（停用詞/stop-words，自定義預(yù)處理，分析器）。此外，如果你想快速對(duì)小數(shù)據(jù)集（toy dataset）進(jìn)行不同基準(zhǔn)測(cè)試的話，它自帶的數(shù)據(jù)集模塊提供了常見(jiàn)和有用的數(shù)據(jù)集。你還可以根據(jù)這些數(shù)據(jù)集創(chuàng)建自己的小數(shù)據(jù)集，這樣在將模型應(yīng)用到真實(shí)世界中之前，你可以按照自己的目的來(lái)檢驗(yàn)?zāi)Ｐ褪欠穹掀谕?duì)參數(shù)最優(yōu)化和參數(shù)調(diào)整，它也提供了網(wǎng)格搜索和隨機(jī)搜索。如果沒(méi)有強(qiáng)大的社區(qū)支持，或者維護(hù)得不好，這些特性都不可能實(shí)現(xiàn)。我們期盼它的第一個(gè)穩(wěn)定發(fā)布版。

StatsmodelsStatsmodels是另一個(gè)聚焦在統(tǒng)計(jì)模型上的強(qiáng)大的庫(kù)，主要用于預(yù)測(cè)性和探索性分析。如果你想擬合線性模型、進(jìn)行統(tǒng)計(jì)分析，或者預(yù)測(cè)性建模，那么Statsmodels非常適合。它提供的統(tǒng)計(jì)測(cè)試相當(dāng)全面，覆蓋了大部分情況的驗(yàn)證任務(wù)。如果你是R或者S的用戶，它也提供了某些統(tǒng)計(jì)模型的R語(yǔ)法。它的模型同時(shí)也接受Numpy數(shù)組和Pandas數(shù)據(jù)幀，讓中間數(shù)據(jù)結(jié)構(gòu)成為過(guò)去！

PyMCPyMC是做貝葉斯曲線的工具。它包含貝葉斯模型、統(tǒng)計(jì)分布和模型收斂的診斷工具，也包含一些層次模型。如果想進(jìn)行貝葉斯分析，你應(yīng)該看看。

ShogunShogun是個(gè)聚焦在支持向量機(jī)（Support Vector Machines, SVM）上的機(jī)器學(xué)習(xí)工具箱，用C++編寫。它正處于積極開(kāi)發(fā)和維護(hù)中，提供了Python接口，也是文檔化最好的接口。但是，相對(duì)于Scikit-learn，我們發(fā)現(xiàn)它的API比較難用。而且，也沒(méi)提供很多開(kāi)箱可用的診斷和求值算法。但是，速度是個(gè)很大的優(yōu)勢(shì)。

GensimGensim被定義為“人們的主題建模工具（topic modeling for humans）”。它的主頁(yè)上描述，其焦點(diǎn)是狄利克雷劃分（Latent Dirichlet Allocation， LDA）及變體。不同于其他包，它支持自然語(yǔ)言處理，能將NLP和其他機(jī)器學(xué)習(xí)算法更容易組合在一起。如果你的領(lǐng)域在NLP，并想進(jìn)行聚集和基本的分類，你可以看看。目前，它們引入了Google的基于遞歸神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network）的文本表示法word2vec。這個(gè)庫(kù)只使用Python編寫。

OrangeOrange是這篇文章列舉的所有庫(kù)中唯一帶有圖形用戶界面（Graphical User Interface，GUI）的。對(duì)分類、聚集和特征選擇方法而言，它是相當(dāng)全面的，還有些交叉驗(yàn)證的方法。在某些方面比Scikit-learn還要好（分類方法、一些預(yù)處理能力），但與其他科學(xué)計(jì)算系統(tǒng)（Numpy, Scipy, Matplotlib, Pandas）的適配上比不上Scikit-learn。但是，包含GUI是個(gè)很重要的優(yōu)勢(shì)。你可以可視化交叉驗(yàn)證的結(jié)果、模型和特征選擇方法（某些功能需要安裝Graphviz）。對(duì)大多數(shù)算法，Orange都有自己的數(shù)據(jù)結(jié)構(gòu)，所以你需要將數(shù)據(jù)包裝成Orange兼容的數(shù)據(jù)結(jié)構(gòu)，這使得其學(xué)習(xí)曲線更陡。

PyMVPAPyMVPA是另一個(gè)統(tǒng)計(jì)學(xué)習(xí)庫(kù)，API上與Scikit-learn很像。包含交叉驗(yàn)證和診斷工具，但是沒(méi)有Scikit-learn全面。

深度學(xué)習(xí)盡管深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)子節(jié)，我們?cè)谶@里創(chuàng)建單獨(dú)一節(jié)的原因是，它最新吸引了Google和Facebook人才招聘部門的很多注意。

TheanoTheano是最成熟的深度學(xué)習(xí)庫(kù)。它提供了不錯(cuò)的數(shù)據(jù)結(jié)構(gòu)（張量，tensor）來(lái)表示神經(jīng)網(wǎng)絡(luò)的層，對(duì)線性代數(shù)來(lái)說(shuō)很高效，與Numpy的數(shù)組類似。需要注意的是，它的API可能不是很直觀，用戶的學(xué)習(xí)曲線會(huì)很高。有很多基于Theano的庫(kù)都在利用其數(shù)據(jù)結(jié)構(gòu)。它同時(shí)支持開(kāi)箱可用的GPU編程。

PyLearn2還有另外一個(gè)基于Theano的庫(kù)，PyLearn2，它給Theano引入了模塊化和可配置性，你可以通過(guò)不同的配置文件來(lái)創(chuàng)建神經(jīng)網(wǎng)絡(luò)，這樣嘗試不同的參數(shù)會(huì)更容易。可以說(shuō)，如果分離神經(jīng)網(wǎng)絡(luò)的參數(shù)和屬性到配置文件，它的模塊化能力更強(qiáng)大。

DecafDecaf是最近由UC Berkeley發(fā)布的深度學(xué)習(xí)庫(kù)，在Imagenet分類挑戰(zhàn)中測(cè)試發(fā)現(xiàn)，其神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)是很先進(jìn)的（state of art）。

Nolearn如果你想在深度學(xué)習(xí)中也能使用優(yōu)秀的Scikit-learn庫(kù)API，封裝了Decaf的Nolearn會(huì)讓你能夠更輕松地使用它。它是對(duì)Decaf的包裝，與Scikit-learn兼容（大部分），使得Decaf更不可思議。

OverFeatOverFeat是最近貓vs.狗（kaggle挑戰(zhàn)）的勝利者，它使用C++編寫，也包含一個(gè)Python包裝器（還有Matlab和Lua）。通過(guò)Torch庫(kù)使用GPU，所以速度很快。也贏得了ImageNet分類的檢測(cè)和本地化挑戰(zhàn)。如果你的領(lǐng)域是計(jì)算機(jī)視覺(jué)，你可能需要看看。

HebelHebel是另一個(gè)帶有GPU支持的神經(jīng)網(wǎng)絡(luò)庫(kù)，開(kāi)箱可用。你可以通過(guò)YAML文件（與Pylearn2類似）決定神經(jīng)網(wǎng)絡(luò)的屬性，提供了將神級(jí)網(wǎng)絡(luò)和代碼友好分離的方式，可以快速地運(yùn)行模型。由于開(kāi)發(fā)不久，就深度和廣度上說(shuō)，文檔很匱乏。就神經(jīng)網(wǎng)絡(luò)模型來(lái)說(shuō)，也是有局限的，因?yàn)橹恢С忠环N神經(jīng)網(wǎng)絡(luò)模型（正向反饋，feed-forward）。但是，它是用純Python編寫，將會(huì)是很友好的庫(kù)，因?yàn)榘芏鄬?shí)用函數(shù)，比如調(diào)度器和監(jiān)視器，其他庫(kù)中我們并沒(méi)有發(fā)現(xiàn)這些功能。

NeurolabNeuroLab是另一個(gè)API友好（與Matlabapi類似）的神經(jīng)網(wǎng)絡(luò)庫(kù)。與其他庫(kù)不同，它包含遞歸神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）實(shí)現(xiàn)的不同變體。如果你想使用RNN，這個(gè)庫(kù)是同類API中最好的選擇之一。

與其他語(yǔ)言集成你不了解Python但是很擅長(zhǎng)其他語(yǔ)言？不要絕望！Python（還有其他）的一個(gè)強(qiáng)項(xiàng)就是它是一個(gè)完美的膠水語(yǔ)言，你可以使用自己常用的編程語(yǔ)言，通過(guò)Python來(lái)訪問(wèn)這些庫(kù)。以下適合各種編程語(yǔ)言的包可以用于將其他語(yǔ)言與Python組合到一起：R - RPythonMatlab - matpythonJava - JythonLua - Lunatic PythonJulia - PyCall.jl

不活躍的庫(kù)這些庫(kù)超過(guò)一年沒(méi)有發(fā)布任何更新，我們列出是因?yàn)槟阌锌赡軙?huì)有用，但是這些庫(kù)不太可能會(huì)進(jìn)行BUG修復(fù)，特別是未來(lái)進(jìn)行增強(qiáng)。MDPMlPyFFnetPyBrain如果我們遺漏了你最愛(ài)的Python機(jī)器學(xué)習(xí)包，通過(guò)評(píng)論讓我們知道。我們很樂(lè)意將其添加到文章中。

python LDA主題模型

使用路透社新聞數(shù)據(jù)的一個(gè)子集：R8，包含8類新聞。

本文直接讀取清洗后的R8，清洗內(nèi)容包含：去掉特殊字符，標(biāo)點(diǎn)符號(hào)，停用詞和低頻詞，且英文文本不需要分詞。

python中的lda包怎么用

安裝

$ pip install lda --user

示例

from __future__ import division, print_function

import numpy as np

import lda

import lda.datasets

# document-term matrix

X = lda.datasets.load_reuters()

print("type(X): {}".format(type(X)))

print("shape: {}\n".format(X.shape))

print(X[:5, :5])

'''輸出：

type(X): type 'numpy.ndarray'

shape: (395L, 4258L)

[[ 1 0 1 0 0]

[ 7 0 2 0 0]

[ 0 0 0 1 10]

[ 6 0 1 0 0]

[ 0 0 0 2 14]]

'''

GGA與LDA函數(shù)的區(qū)別？

GGA是廣義密度近似，LDA是局域密度近似。對(duì)于計(jì)算能量，LDA計(jì)算所得值一般大于GGA。對(duì)于弱相互作用，以前有人說(shuō)LDA好，現(xiàn)在看來(lái)是GGA要好一些。對(duì)于不同體系還要看傳統(tǒng)選擇，參考文獻(xiàn)。

Python中用LDA計(jì)算困惑度時(shí)出現(xiàn)代碼錯(cuò)誤，這行代碼表示模型文件名的迭代公式

LDA主題模型的評(píng)價(jià)指標(biāo)是困惑度，困惑度越小，模型越好。

所以，可以跑一組實(shí)驗(yàn)，看不同迭代次數(shù)對(duì)應(yīng)的困惑度是多少，畫(huà)一條曲線，最小困惑度對(duì)應(yīng)的迭代次數(shù)即為最佳次數(shù)。

迭代次數(shù)太少，會(huì)導(dǎo)致模型尚未收斂，迭代次數(shù)太多，又會(huì)浪費(fèi)計(jì)算資源。

文章名稱：pythonlda函數(shù) pythonldle
文章起源：http://chinadenli.net/article44/dodddhe.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供小程序開(kāi)發(fā)、網(wǎng)頁(yè)設(shè)計(jì)公司、企業(yè)網(wǎng)站制作、網(wǎng)站內(nèi)鏈、、網(wǎng)站策劃

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)