Python氣象數(shù)據(jù)處理與繪圖(2)：常用數(shù)據(jù)計(jì)算方法

對(duì)于氣象繪圖來講，第一步是對(duì)數(shù)據(jù)的處理，通過各類公式，或者統(tǒng)計(jì)方法將原始數(shù)據(jù)處理為目標(biāo)數(shù)據(jù)。

目前成都創(chuàng)新互聯(lián)公司已為超過千家的企業(yè)提供了網(wǎng)站建設(shè)、域名、虛擬主機(jī)、網(wǎng)站托管維護(hù)、企業(yè)網(wǎng)站設(shè)計(jì)、晉安網(wǎng)站維護(hù)等服務(wù)，公司將堅(jiān)持客戶導(dǎo)向、應(yīng)用為本的策略，正道將秉承"和諧、參與、激情"的文化，與客戶和合作伙伴齊心協(xié)力一起成長，共同發(fā)展。

按照氣象統(tǒng)計(jì)課程的內(nèi)容，我給出了一些常用到的統(tǒng)計(jì)方法的對(duì)應(yīng)函數(shù)：

在計(jì)算氣候態(tài)，區(qū)域平均時(shí)均要使用到求均值函數(shù)，對(duì)應(yīng)NCL中的dim_average函數(shù)，在python中通常使用np.mean()函數(shù)

numpy.mean(a, axis, dtype)

假設(shè)a為[time,lat,lon]的數(shù)據(jù)，那么

需要特別注意的是，氣象數(shù)據(jù)中常有缺測，在NCL中，使用求均值函數(shù)會(huì)自動(dòng)略過，而在python中，當(dāng)任意一數(shù)與缺測(np.nan)計(jì)算的結(jié)果均為np.nan，比如求[1,2,3,4，np.nan]的平均值，結(jié)果為np.nan

因此，當(dāng)數(shù)據(jù)存在缺測數(shù)據(jù)時(shí)，通常使用np.nanmean()函數(shù)，用法同上，此時(shí)[1,2,3,4，np.nan]的平均值為(1+2+3+4)/4 = 2.5

同樣的，求某數(shù)組最大最小值時(shí)也有np.nanmax(), np.nanmin()函數(shù)來補(bǔ)充np.max(), np.min()的不足。

其他很多np的計(jì)算函數(shù)也可以通過在前邊加‘nan’來使用。

另外，

也可以直接將a中缺失值全部填充為0。

np.std(a, axis, dtype)

用法同np.mean()

在NCL中有直接求數(shù)據(jù)標(biāo)準(zhǔn)化的函數(shù)dim_standardize()

其實(shí)也就是一行的事，根據(jù)需要指定維度即可。

皮爾遜相關(guān)系數(shù)：

相關(guān)可以說是氣象科研中最常用的方法之一了，numpy函數(shù)中的np.corrcoef(x, y)就可以實(shí)現(xiàn)相關(guān)計(jì)算。但是在這里我推薦scipy.stats中的函數(shù)來計(jì)算相關(guān)系數(shù)：

這個(gè)函數(shù)缺點(diǎn)和有點(diǎn)都很明顯，優(yōu)點(diǎn)是可以直接返回相關(guān)系數(shù)R及其P值，這避免了我們進(jìn)一步計(jì)算置信度。而缺點(diǎn)則是該函數(shù)只支持兩個(gè)一維數(shù)組的計(jì)算，也就是說當(dāng)我們需要計(jì)算一個(gè)場和一個(gè)序列的相關(guān)時(shí)，我們需要循環(huán)來實(shí)現(xiàn)。

其中a[time,lat,lon]，b[time]

(NCL中為regcoef()函數(shù))

同樣推薦Scipy庫中的stats.linregress(x,y)函數(shù)：

slop: 回歸斜率

intercept：回歸截距

r_value： 相關(guān)系數(shù)

p_value： P值

std_err： 估計(jì)標(biāo)準(zhǔn)誤差

直接可以輸出P值，同樣省去了做置信度檢驗(yàn)的過程，遺憾的是仍需同相關(guān)系數(shù)一樣循環(huán)計(jì)算。

pytorch 常用函數(shù)參數(shù)詳解

1、torch.cat(inputs, dim=0) - Tensor?

參考鏈接：

[Pytorch] 詳解 torch.cat()

Pytorch學(xué)習(xí)筆記(一)：torch.cat()模塊的詳解

函數(shù)作用：cat 是 concatnate 的意思：拼接，聯(lián)系在一起。在給定維度上對(duì)輸入的 Tensor 序列進(jìn)行拼接操作。torch.cat 可以看作是 torch.split 和 torch.chunk 的反操作

參數(shù)：

inputs(sequence of Tensors)：可以是任意相同類型的 Tensor 的 python 序列

dim(int, optional)：defaults=0

dim=0: 按列進(jìn)行拼接?

dim=1: 按行進(jìn)行拼接

dim=-1: 如果行和列數(shù)都相同則按行進(jìn)行拼接，否則按照行數(shù)或列數(shù)相等的維度進(jìn)行拼接

假設(shè) a 和 b 都是 Tensor，且 a 的維度為 [2, 3]，b 的維度為 [2, 4]，則

torch.cat((a, b), dim=1) 的維度為 [2, 7]

2、torch.nn.CrossEntropyLoss()

函數(shù)作用：CrossEntropy 是交叉熵的意思，故而 CrossEntropyLoss 的作用是計(jì)算交叉熵。CrossEntropyLoss 函數(shù)是將 torch.nn.Softmax 和 torch.nn.NLLLoss 兩個(gè)函數(shù)組合在一起使用，故而傳入的預(yù)測值不需要先進(jìn)行 torch.nnSoftmax 操作。

參數(shù)：

input(N, C)：N 是 batch_size，C 則是類別數(shù)，即在定義模型輸出時(shí)，輸出節(jié)點(diǎn)個(gè)數(shù)要定義為 [N, C]。其中特別注意的是 target 的數(shù)據(jù)類型需要是浮點(diǎn)數(shù)，即 float32

target(N)：N 是 batch_size，故 target 需要是 1D 張量。其中特別注意的是 target 的數(shù)據(jù)類型需要是 long，即 int64

例子：

loss = nn.CrossEntropyLoss()

input = torch.randn(3, 5, requires_grad=True, dtype=torch.float32)

target = torch.empty(3, dtype=torch.long).random_(5)

output = loss(input, target)

output

輸出為：

tensor(1.6916, grad_fn=NllLossBackward)

python中dot函數(shù)的問題

在PyCharm里運(yùn)行正常，Python3.6.4

import?numpy?as?np

A?=?[1,?1]

B?=?np.array([1,?2])

C?=?np.sum(A*B)

D?=?np.dot(A,?B)

print(C)

print(D)

輸出：

3

3

（Python）numpy 常用操作

不放回取樣：

從列表ori中不放回地取n個(gè)數(shù)

通過這種操作，我們可以獲得一個(gè)二維列表的子集：

（如果這個(gè)二維列表是圖的鄰接矩陣，那么就是對(duì)圖進(jìn)行隨機(jī)采樣，獲得一個(gè)圖的子圖）

首先要注意，"+" 操作對(duì)于list和numpy.array是完全不同的

python 中的list，"+"代表拼接:

在numpy.array中，"+"代表矩陣相加

keepdim指的是維度不變，常在sum中使用。如：

會(huì)發(fā)現(xiàn)，keepdim之后還是二維的

這里要注意，pytorch和numpy里max()函數(shù)的返回值是不同的

pytorch:

也就是說，max(1)代表求第一維的最大值，對(duì)于二維數(shù)組來說，就是求縱向的最大值，然后，第一個(gè)返回值是最大值所形成數(shù)組，第二個(gè)返回值是最大值所在的索引。這一個(gè)技巧在機(jī)器學(xué)習(xí)的分類任務(wù)中很常用，比如我們的分類任務(wù)是把數(shù)據(jù)分成m類，那么最終我們模型的輸出是m維的，對(duì)于n個(gè)樣本就是n*m，如果要判斷我們的模型最終的分類結(jié)果，就是找n個(gè)樣本里，每個(gè)樣本m維輸出的最大值索引，代表樣本是這個(gè)類的可能性最大。我們可以方便地用這種方式找到最大值地索引：

其中test_out是模型輸出，predict_y則是分類結(jié)果

另外一點(diǎn)要注意的是，numpy與pytorch不同，numpy的max()只有一個(gè)返回值：

也就是說，numpy.max()不會(huì)返回最大值所在的索引

當(dāng)前題目：python中dim函數(shù),DIM函數(shù)
本文地址：http://chinadenli.net/article8/dseheip.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供關(guān)鍵詞優(yōu)化、微信小程序、網(wǎng)站策劃、App設(shè)計(jì)、移動(dòng)網(wǎng)站建設(shè)、全網(wǎng)營銷推廣

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)