python數(shù)據(jù)統(tǒng)計(jì)分析

1. 常用函數(shù)庫(kù)

目前成都創(chuàng)新互聯(lián)公司已為上1000家的企業(yè)提供了網(wǎng)站建設(shè)、域名、網(wǎng)絡(luò)空間、網(wǎng)站改版維護(hù)、企業(yè)網(wǎng)站設(shè)計(jì)、濉溪網(wǎng)站維護(hù)等服務(wù)，公司將堅(jiān)持客戶(hù)導(dǎo)向、應(yīng)用為本的策略，正道將秉承"和諧、參與、激情"的文化，與客戶(hù)和合作伙伴齊心協(xié)力一起成長(zhǎng)，共同發(fā)展。

? scipy包中的stats模塊和statsmodels包是python常用的數(shù)據(jù)分析工具，scipy.stats以前有一個(gè)models子模塊，后來(lái)被移除了。這個(gè)模塊被重寫(xiě)并成為了現(xiàn)在獨(dú)立的statsmodels包。

?scipy的stats包含一些比較基本的工具，比如：t檢驗(yàn)，正態(tài)性檢驗(yàn)，卡方檢驗(yàn)之類(lèi)，statsmodels提供了更為系統(tǒng)的統(tǒng)計(jì)模型，包括線(xiàn)性模型，時(shí)序分析，還包含數(shù)據(jù)集，做圖工具等等。

2. 小樣本數(shù)據(jù)的正態(tài)性檢驗(yàn)

(1) 用途

?夏皮羅維爾克檢驗(yàn)法 (Shapiro-Wilk) 用于檢驗(yàn)參數(shù)提供的一組小樣本數(shù)據(jù)線(xiàn)是否符合正態(tài)分布，統(tǒng)計(jì)量越大則表示數(shù)據(jù)越符合正態(tài)分布，但是在非正態(tài)分布的小樣本數(shù)據(jù)中也經(jīng)常會(huì)出現(xiàn)較大的W值。需要查表來(lái)估計(jì)其概率。由于原假設(shè)是其符合正態(tài)分布，所以當(dāng)P值小于指定顯著水平時(shí)表示其不符合正態(tài)分布。

?正態(tài)性檢驗(yàn)是數(shù)據(jù)分析的第一步，數(shù)據(jù)是否符合正態(tài)性決定了后續(xù)使用不同的分析和預(yù)測(cè)方法，當(dāng)數(shù)據(jù)不符合正態(tài)性分布時(shí)，我們可以通過(guò)不同的轉(zhuǎn)換方法把非正太態(tài)數(shù)據(jù)轉(zhuǎn)換成正態(tài)分布后再使用相應(yīng)的統(tǒng)計(jì)方法進(jìn)行下一步操作。

(2) 示例

(3) 結(jié)果分析

?返回結(jié)果 p-value=0.029035290703177452，比指定的顯著水平（一般為5%）小，則拒絕假設(shè)：x不服從正態(tài)分布。

3. 檢驗(yàn)樣本是否服務(wù)某一分布

(1) 用途

?科爾莫戈羅夫檢驗(yàn)(Kolmogorov-Smirnov test)，檢驗(yàn)樣本數(shù)據(jù)是否服從某一分布，僅適用于連續(xù)分布的檢驗(yàn)。下例中用它檢驗(yàn)正態(tài)分布。

(2) 示例

(3) 結(jié)果分析

?生成300個(gè)服從N(0,1)標(biāo)準(zhǔn)正態(tài)分布的隨機(jī)數(shù)，在使用k-s檢驗(yàn)該數(shù)據(jù)是否服從正態(tài)分布，提出假設(shè)：x從正態(tài)分布。最終返回的結(jié)果，p-value=0.9260909172362317，比指定的顯著水平（一般為5%）大，則我們不能拒絕假設(shè)：x服從正態(tài)分布。這并不是說(shuō)x服從正態(tài)分布一定是正確的，而是說(shuō)沒(méi)有充分的證據(jù)證明x不服從正態(tài)分布。因此我們的假設(shè)被接受，認(rèn)為x服從正態(tài)分布。如果p-value小于我們指定的顯著性水平，則我們可以肯定地拒絕提出的假設(shè)，認(rèn)為x肯定不服從正態(tài)分布，這個(gè)拒絕是絕對(duì)正確的。

4.方差齊性檢驗(yàn)

(1) 用途

?方差反映了一組數(shù)據(jù)與其平均值的偏離程度，方差齊性檢驗(yàn)用以檢驗(yàn)兩組或多組數(shù)據(jù)與其平均值偏離程度是否存在差異，也是很多檢驗(yàn)和算法的先決條件。

(2) 示例

(3) 結(jié)果分析

?返回結(jié)果 p-value=0.19337536323599344, 比指定的顯著水平（假設(shè)為5%）大，認(rèn)為兩組數(shù)據(jù)具有方差齊性。

5. 圖形描述相關(guān)性

(1) 用途

?最常用的兩變量相關(guān)性分析，是用作圖描述相關(guān)性，圖的橫軸是一個(gè)變量，縱軸是另一變量，畫(huà)散點(diǎn)圖，從圖中可以直觀地看到相關(guān)性的方向和強(qiáng)弱，線(xiàn)性正相關(guān)一般形成由左下到右上的圖形；負(fù)面相關(guān)則是從左上到右下的圖形，還有一些非線(xiàn)性相關(guān)也能從圖中觀察到。

(2) 示例

(3) 結(jié)果分析

?從圖中可以看到明顯的正相關(guān)趨勢(shì)。

6. 正態(tài)資料的相關(guān)分析

(1) 用途

?皮爾森相關(guān)系數(shù)（Pearson correlation coefficient）是反應(yīng)兩變量之間線(xiàn)性相關(guān)程度的統(tǒng)計(jì)量，用它來(lái)分析正態(tài)分布的兩個(gè)連續(xù)型變量之間的相關(guān)性。常用于分析自變量之間，以及自變量和因變量之間的相關(guān)性。

(2) 示例

(3) 結(jié)果分析

?返回結(jié)果的第一個(gè)值為相關(guān)系數(shù)表示線(xiàn)性相關(guān)程度，其取值范圍在[-1,1]，絕對(duì)值越接近1，說(shuō)明兩個(gè)變量的相關(guān)性越強(qiáng)，絕對(duì)值越接近0說(shuō)明兩個(gè)變量的相關(guān)性越差。當(dāng)兩個(gè)變量完全不相關(guān)時(shí)相關(guān)系數(shù)為0。第二個(gè)值為p-value，統(tǒng)計(jì)學(xué)上，一般當(dāng)p-value0.05時(shí)，可以認(rèn)為兩變量存在相關(guān)性。

7. 非正態(tài)資料的相關(guān)分析

(1) 用途

?斯皮爾曼等級(jí)相關(guān)系數(shù)(Spearman’s correlation coefficient for ranked data )，它主要用于評(píng)價(jià)順序變量間的線(xiàn)性相關(guān)關(guān)系，在計(jì)算過(guò)程中，只考慮變量值的順序（rank, 值或稱(chēng)等級(jí)），而不考慮變量值的大小。常用于計(jì)算類(lèi)型變量的相關(guān)性。

(2) 示例

(3) 結(jié)果分析

?返回結(jié)果的第一個(gè)值為相關(guān)系數(shù)表示線(xiàn)性相關(guān)程度，本例中correlation趨近于1表示正相關(guān)。第二個(gè)值為p-value，p-value越小，表示相關(guān)程度越顯著。

8. 單樣本T檢驗(yàn)

(1) 用途

?單樣本T檢驗(yàn)，用于檢驗(yàn)數(shù)據(jù)是否來(lái)自一致均值的總體，T檢驗(yàn)主要是以均值為核心的檢驗(yàn)。注意以下幾種T檢驗(yàn)都是雙側(cè)T檢驗(yàn)。

(2) 示例

(3) 結(jié)果分析

?本例中生成了2列100行的數(shù)組，ttest_1samp的第二個(gè)參數(shù)是分別對(duì)兩列估計(jì)的均值，p-value返回結(jié)果，第一列1.47820719e-06比指定的顯著水平（一般為5%）小，認(rèn)為差異顯著，拒絕假設(shè)；第二列2.83088106e-01大于指定顯著水平，不能拒絕假設(shè)：服從正態(tài)分布。

9. 兩獨(dú)立樣本T檢驗(yàn)

(1) 用途

?由于比較兩組數(shù)據(jù)是否來(lái)自于同一正態(tài)分布的總體。注意：如果要比較的兩組數(shù)據(jù)不滿(mǎn)足方差齊性， 需要在ttest_ind()函數(shù)中添加參數(shù)equal_var = False。

(2) 示例

(3) 結(jié)果分析

?返回結(jié)果的第一個(gè)值為統(tǒng)計(jì)量，第二個(gè)值為p-value，pvalue=0.19313343989106416，比指定的顯著水平（一般為5%）大，不能拒絕假設(shè)，兩組數(shù)據(jù)來(lái)自于同一總結(jié)，兩組數(shù)據(jù)之間無(wú)差異。

10. 配對(duì)樣本T檢驗(yàn)

(1) 用途

?配對(duì)樣本T檢驗(yàn)可視為單樣本T檢驗(yàn)的擴(kuò)展，檢驗(yàn)的對(duì)象由一群來(lái)自正態(tài)分布獨(dú)立樣本更改為二群配對(duì)樣本觀測(cè)值之差。它常用于比較同一受試對(duì)象處理的前后差異，或者按照某一條件進(jìn)行兩兩配對(duì)分別給與不同處理的受試對(duì)象之間是否存在差異。

(2) 示例

(3) 結(jié)果分析

?返回結(jié)果的第一個(gè)值為統(tǒng)計(jì)量，第二個(gè)值為p-value，pvalue=0.80964043445811551，比指定的顯著水平（一般為5%）大，不能拒絕假設(shè)。

11. 單因素方差分析

(1) 用途

?方差分析(Analysis of Variance，簡(jiǎn)稱(chēng)ANOVA)，又稱(chēng)F檢驗(yàn)，用于兩個(gè)及兩個(gè)以上樣本均數(shù)差別的顯著性檢驗(yàn)。方差分析主要是考慮各組之間的平均數(shù)差別。

?單因素方差分析（One-wayAnova），是檢驗(yàn)由單一因素影響的多組樣本某因變量的均值是否有顯著差異。

?當(dāng)因變量Y是數(shù)值型，自變量X是分類(lèi)值，通常的做法是按X的類(lèi)別把實(shí)例成分幾組，分析Y值在X的不同分組中是否存在差異。

(2) 示例

(3) 結(jié)果分析

?返回結(jié)果的第一個(gè)值為統(tǒng)計(jì)量，它由組間差異除以組間差異得到，上例中組間差異很大，第二個(gè)返回值p-value=6.2231520821576832e-19小于邊界值（一般為0.05）,拒絕原假設(shè), 即認(rèn)為以上三組數(shù)據(jù)存在統(tǒng)計(jì)學(xué)差異，并不能判斷是哪兩組之間存在差異 。只有兩組數(shù)據(jù)時(shí)，效果同 stats.levene 一樣。

12. 多因素方差分析

(1) 用途

?當(dāng)有兩個(gè)或者兩個(gè)以上自變量對(duì)因變量產(chǎn)生影響時(shí)，可以用多因素方差分析的方法來(lái)進(jìn)行分析。它不僅要考慮每個(gè)因素的主效應(yīng)，還要考慮因素之間的交互效應(yīng)。

(2) 示例

(3) 結(jié)果分析

?上述程序定義了公式，公式中，"~"用于隔離因變量和自變量，”+“用于分隔各個(gè)自變量， ":"表示兩個(gè)自變量交互影響。從返回結(jié)果的P值可以看出，X1和X2的值組間差異不大，而組合后的T:G的組間有明顯差異。

13. 卡方檢驗(yàn)

(1) 用途

?上面介紹的T檢驗(yàn)是參數(shù)檢驗(yàn)，卡方檢驗(yàn)是一種非參數(shù)檢驗(yàn)方法。相對(duì)來(lái)說(shuō)，非參數(shù)檢驗(yàn)對(duì)數(shù)據(jù)分布的要求比較寬松，并且也不要求太大數(shù)據(jù)量。卡方檢驗(yàn)是一種對(duì)計(jì)數(shù)資料的假設(shè)檢驗(yàn)方法，主要是比較理論頻數(shù)和實(shí)際頻數(shù)的吻合程度。常用于特征選擇，比如，檢驗(yàn)?zāi)腥撕团嗽谑欠窕加懈哐獕荷嫌袩o(wú)區(qū)別，如果有區(qū)別，則說(shuō)明性別與是否患有高血壓有關(guān)，在后續(xù)分析時(shí)就需要把性別這個(gè)分類(lèi)變量放入模型訓(xùn)練。

?基本數(shù)據(jù)有R行C列, 故通稱(chēng)RC列聯(lián)表(contingency table), 簡(jiǎn)稱(chēng)RC表，它是觀測(cè)數(shù)據(jù)按兩個(gè)或更多屬性（定性變量）分類(lèi)時(shí)所列出的頻數(shù)表。

(2) 示例

(3) 結(jié)果分析

?卡方檢驗(yàn)函數(shù)的參數(shù)是列聯(lián)表中的頻數(shù)，返回結(jié)果第一個(gè)值為統(tǒng)計(jì)量值，第二個(gè)結(jié)果為p-value值，p-value=0.54543425102570975，比指定的顯著水平（一般5%）大，不能拒絕原假設(shè)，即相關(guān)性不顯著。第三個(gè)結(jié)果是自由度，第四個(gè)結(jié)果的數(shù)組是列聯(lián)表的期望值分布。

14. 單變量統(tǒng)計(jì)分析

(1) 用途

?單變量統(tǒng)計(jì)描述是數(shù)據(jù)分析中最簡(jiǎn)單的形式，其中被分析的數(shù)據(jù)只包含一個(gè)變量，不處理原因或關(guān)系。單變量分析的主要目的是通過(guò)對(duì)數(shù)據(jù)的統(tǒng)計(jì)描述了解當(dāng)前數(shù)據(jù)的基本情況，并找出數(shù)據(jù)的分布模型。

?單變量數(shù)據(jù)統(tǒng)計(jì)描述從集中趨勢(shì)上看，指標(biāo)有：均值，中位數(shù)，分位數(shù)，眾數(shù)；從離散程度上看，指標(biāo)有：極差、四分位數(shù)、方差、標(biāo)準(zhǔn)差、協(xié)方差、變異系數(shù)，從分布上看，有偏度，峰度等。需要考慮的還有極大值，極小值（數(shù)值型變量）和頻數(shù)，構(gòu)成比（分類(lèi)或等級(jí)變量）。

?此外，還可以用統(tǒng)計(jì)圖直觀展示數(shù)據(jù)分布特征，如：柱狀圖、正方圖、箱式圖、頻率多邊形和餅狀圖。

15. 多元線(xiàn)性回歸

(1) 用途

?多元線(xiàn)性回歸模型（multivariable linear regression model ），因變量Y（計(jì)量資料）往往受到多個(gè)變量X的影響，多元線(xiàn)性回歸模型用于計(jì)算各個(gè)自變量對(duì)因變量的影響程度，可以認(rèn)為是對(duì)多維空間中的點(diǎn)做線(xiàn)性擬合。

(2) 示例

(3) 結(jié)果分析

?直接通過(guò)返回結(jié)果中各變量的P值與0.05比較，來(lái)判定對(duì)應(yīng)的解釋變量的顯著性，P0.05則認(rèn)為自變量具有統(tǒng)計(jì)學(xué)意義，從上例中可以看到收入INCOME最有顯著性。

16. 邏輯回歸

(1) 用途

?當(dāng)因變量Y為2分類(lèi)變量（或多分類(lèi)變量時(shí)）可以用相應(yīng)的logistic回歸分析各個(gè)自變量對(duì)因變量的影響程度。

(2) 示例

(3) 結(jié)果分析

?直接通過(guò)返回結(jié)果中各變量的P值與0.05比較，來(lái)判定對(duì)應(yīng)的解釋變量的顯著性，P0.05則認(rèn)為自變量具有統(tǒng)計(jì)學(xué)意義。

python count的函數(shù)用法是什么？

以下代碼的功能是 統(tǒng)計(jì)列表中重復(fù)項(xiàng)的出現(xiàn)次數(shù)

這里面就用到了 count() 函數(shù)

mylist = ['apple', 'banana', 'grape', 'banana', 'apple', 'grape', 'grape']

myset = set(mylist)

for item in myset:

print("the %s has been found %d times" % (item, mylist.count(item)))

函數(shù)COUNT在計(jì)數(shù)時(shí)，將把數(shù)值型的數(shù)字計(jì)算進(jìn)去；但是錯(cuò)誤值、空值、邏輯值、日期、文字則被忽略。

如果參數(shù)是一個(gè)數(shù)組或引用，那么只統(tǒng)計(jì)數(shù)組或引用中的數(shù)字；數(shù)組中或引用的空單元格、邏輯值、文字或錯(cuò)誤值都將忽略。如果要統(tǒng)計(jì)邏輯值、文字或錯(cuò)誤值，請(qǐng)使用函數(shù)COUNTA（COUNTIF按EXCEL的說(shuō)明也行，但常出毛病）。

排序過(guò)程

假設(shè)輸入的線(xiàn)性表L的長(zhǎng)度為n，L=L1,L2,..,Ln；線(xiàn)性表的元素屬于有限偏序集S，|S|=k且k=O(n)，S={S1,S2,..Sk}；則計(jì)數(shù)排序可以描述如下：

1、掃描整個(gè)集合S，對(duì)每一個(gè)Si∈S，找到在線(xiàn)性表L中小于等于Si的元素的個(gè)數(shù)T(Si)；

2、掃描整個(gè)線(xiàn)性表L，對(duì)L中的每一個(gè)元素Li，將Li放在輸出線(xiàn)性表的第T(Li)個(gè)位置上，并將T(Li)減1。

以上內(nèi)容參考：百度百科-計(jì)數(shù)排序

python函數(shù)統(tǒng)計(jì)字符串中字母數(shù)學(xué)其他字符的個(gè)數(shù)

代碼如下：

text = "Hello Python,Hello 2021."

letter = 0

digital = 0

other = 0

for i in text:

if i.isalpha():

letter += 1

elif i.isdigit():

digital += 1

else:

other += 1

print('字母:{} 數(shù)字:{} 其他:{}'.format(letter,digital,other))

輸出：

字母:16 數(shù)字:4 其他:4

下面是Python內(nèi)置關(guān)于判斷字符串類(lèi)型的方法介紹：

str.isalnum()

如果字符串中的所有字符都是字母或數(shù)字且至少有一個(gè)字符，則返回?True?， 否則返回?False?。 如果?c.isalpha()?，?c.isdecimal()?，?c.isdigit()?，或?c.isnumeric()?之中有一個(gè)返回?True?，則字符``c``是字母或數(shù)字。

str.isalpha()

如果字符串中的所有字符都是字母，并且至少有一個(gè)字符，返回?True?，否則返回?False?。字母字符是指那些在 Unicode 字符數(shù)據(jù)庫(kù)中定義為 "Letter" 的字符，即那些具有 "Lm"、"Lt"、"Lu"、"Ll" 或 "Lo" 之一的通用類(lèi)別屬性的字符。 注意，這與 Unicode 標(biāo)準(zhǔn)中定義的"字母"屬性不同。

str.isascii()

如果字符串為空或字符串中的所有字符都是 ASCII ，返回?True?，否則返回?False?。ASCII 字符的碼點(diǎn)范圍是 U+0000-U+007F 。

3.7 新版功能.

str.isdecimal()

如果字符串中的所有字符都是十進(jìn)制字符且該字符串至少有一個(gè)字符，則返回?True?， 否則返回?False?。十進(jìn)制字符指那些可以用來(lái)組成10進(jìn)制數(shù)字的字符，例如 U+0660 ，即阿拉伯字母數(shù)字0 。 嚴(yán)格地講，十進(jìn)制字符是 Unicode 通用類(lèi)別 "Nd" 中的一個(gè)字符。

str.isdigit()

如果字符串中的所有字符都是數(shù)字，并且至少有一個(gè)字符，返回?True?，否則返回?False?。 數(shù)字包括十進(jìn)制字符和需要特殊處理的數(shù)字，如兼容性上標(biāo)數(shù)字。這包括了不能用來(lái)組成 10 進(jìn)制數(shù)的數(shù)字，如 Kharosthi 數(shù)。 嚴(yán)格地講，數(shù)字是指屬性值為 Numeric_Type=Digit 或 Numeric_Type=Decimal 的字符。

str.isidentifier()

如果字符串是有效的標(biāo)識(shí)符，返回?True?，依據(jù)語(yǔ)言定義，?標(biāo)識(shí)符和關(guān)鍵字?節(jié)。

調(diào)用?keyword.iskeyword()?來(lái)檢測(cè)字符串?s?是否為保留標(biāo)識(shí)符，例如?def?和?class。

Python 去重，統(tǒng)計(jì)，lambda函數(shù)

df.drop_duplicates('item_name')

方法一：

df.drop_duplicates('item_name').count()

方法二：

df['item_name'].nunique()

結(jié)果：50

附：nunique()和unique()的區(qū)別：

unique()是以 數(shù)組形式（numpy.ndarray）返回列的所有唯一值（特征的所有唯一值）

nunique()即返回的是唯一值的個(gè)數(shù)

比如：df['item_name'].unique()

要求：將下表中經(jīng)驗(yàn)列將按周統(tǒng)計(jì)的轉(zhuǎn)換為經(jīng)驗(yàn)不限，保留學(xué)歷

df1['經(jīng)驗(yàn)'] = df1['經(jīng)驗(yàn)'].apply(lambda x: '經(jīng)驗(yàn)不限'+ x[-2:] if '周' in x else x)

#解釋?zhuān)簩ⅰ?天/周6個(gè)月’變成‘經(jīng)驗(yàn)不限’，然后保留學(xué)歷‘本科’

方法二：定義函數(shù)

def dataInterval(ss):

if '周' in ss:

? ? return '經(jīng)驗(yàn)不限'+ ss[-2:]

return ss

df1['經(jīng)驗(yàn)'] = df1['經(jīng)驗(yàn)'].apply(dataInterval)

python中count函數(shù)怎么用

Python count()方法用于統(tǒng)計(jì)字符串里某個(gè)字符或子字符串出現(xiàn)的次數(shù)，可選參數(shù)為在字符串搜索的開(kāi)始與結(jié)束位置。

語(yǔ)法

count()方法語(yǔ)法：

str.count(sub, start= 0,end=len(string))

參數(shù)

sub -- 搜索的子字符串

start -- 字符串開(kāi)始搜索的位置，默認(rèn)為第一個(gè)字符，第一個(gè)字符索引值為0

end -- 字符串中結(jié)束搜索的位置，字符中第一個(gè)字符的索引為0，默認(rèn)為字符串的最后一個(gè)位置。

返回值

該方法返回子字符串在字符串中出現(xiàn)的次數(shù)。

網(wǎng)頁(yè)名稱(chēng)：python中要統(tǒng)計(jì)函數(shù),python統(tǒng)計(jì)函數(shù)調(diào)用次數(shù)
瀏覽路徑：http://chinadenli.net/article20/dsgpejo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供品牌網(wǎng)站制作、App設(shè)計(jì)、域名注冊(cè)、網(wǎng)站策劃、外貿(mào)網(wǎng)站建設(shè)、軟件開(kāi)發(fā)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話(huà)：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)