這篇文章主要講解了“怎么用Python制作一個數據預處理小工具”，文中的講解內容簡單清晰，易于學習與理解，下面請大家跟著小編的思路慢慢深入，一起來研究和學習“怎么用Python制作一個數據預處理小工具”吧！

建網站原本是網站策劃師、網絡程序員、網頁設計師等，應用各種網絡程序開發(fā)技術和網頁設計技術配合操作的協(xié)同工作。成都創(chuàng)新互聯公司專業(yè)提供網站設計制作、成都網站設計,網頁設計,網站制作(企業(yè)站、響應式網站開發(fā)、電商門戶網站)等服務,從網站深度策劃、搜索引擎友好度優(yōu)化到用戶體驗的提升,我們力求做到極致!

在我們平常使用Python進行數據處理與分析時，在import完一大堆庫之后，就是對數據進行預覽，查看數據是否出現了缺失值、重復值等異常情況，并進行處理。

本文將結合GUI工具PySimpleGUI，來講解如何制作一款屬于自己的數據預處理小工具，讓這個過程也能夠自動化!最終效果如下

本文將分為三部分講解：

• 制作GUI界面

• 數據處理講解

• 打包與測試

主要涉及將涉及以下模塊：

• PySimpleGUI

• pandas

• matplotlib

一、GUI界面制作

思路

老規(guī)矩，先講思路再上代碼，首先還是說一下，使用PySimpleGUI還是那四個流程?

引入模塊==>創(chuàng)建元素并填充layout==> 創(chuàng)建窗體 ==>創(chuàng)建事件循環(huán)

從元素看，從圖中可以知道我們需要的元素有使用說明這個菜單欄、看上去是凹下去的數據預處理框、框內的3個單選項值、讀取文件路徑的3個元素(固定文本、輸入文本、瀏覽按鈕)、"查看、處理、關閉"三個按鈕。

從總體看，整個窗體中我們需要所有的元素呈現正中間的分布狀態(tài)。其中菜單欄在窗體邊緣靠左分布。采用行銜接式的總分布。

從事件上看，我們需要在使用說明菜單中加上使用者需要的注意事項。而文件讀取位置我們設置我們常用的2種數據存儲格式(“.xlsx”，“.xls”)的Excel格式。

讀取后，我們在數據預處理框架選擇一種處理。接著，我們可以對每一種錯誤進行彈出框查看，查看完之后對數據做最終處理。

處理的過程需要將處理好的數據覆蓋原來的數據文件。整個過程必須是持續(xù)不間斷的。這里說個tips：每次數據分析之前最好做一個備份，防止分析過程中失敗但是又找不到原來數據文件的尷尬。

代碼

看望思路后是不是有種蠢蠢欲動的感覺?!我們來實現一波，先看完整代碼，后面詳細拆解

import PySimpleGUI as sg import pandas as pd import matplotlib matplotlib.use("TkAgg") sg.ChangeLookAndFeel('GreenTan') menu_def = [['&使用說明', ['&注意']]] layout = [     [sg.Menu(menu_def, tearoff=True)],     [sg.Frame(layout=[     [sg.Radio('重復值處理', "RADIO1",size=(15,1),key="dup"),  sg.Radio('缺失值處理', "RADIO1",size=(15,1),key="mis"), sg.Radio('異常值處理', "RADIO1",default=True,key="war")]], title='數據預處理',title_color='green',title_location='n',relief=sg.RELIEF_SUNKEN, tooltip='選擇其中一種處理方式' )],     [sg.Text('文件位置', size=(8, 1), auto_size_text=False, justification='right'),      sg.InputText(enable_events=True,key="lujing"), sg.Button('瀏覽',key = 'getf')],     [sg.Button('查看',key = 'look'),sg.Submit('處理',key = 'handle'), sg.Cancel('關閉')]]  window = sg.Window('特征工程', layout, default_element_size=(40, 1), grab_anywhere=False) while True:     event, values = window.read()     if event == 'getf':         text = sg.popup_get_file('請點擊瀏覽鍵或自行填入文件絕對路徑',title = '獲取件',file_types = (("Excel Files", "*.xlsx"),("Excel Files", "*.xls"),))         sg.popup('提示', '是否確認選擇文件---', text)         window['lujing'].update(text)        if event == "look":   '''   用戶點擊查看按鈕促發(fā)的事件   '''     if event == "handle":   '''   用戶點擊處理按鈕促發(fā)的事件   '''            if event == "Cancel" or event == sg.WIN_CLOSED:         break         if event == "注意":   '''   注意事項編寫   '''

代碼解釋

其實有了思路后，你就會發(fā)現似乎一切都變得簡單了。接下來講解相關參數的作用。

首先是matplotlib.use("TkAgg")：使用matplotlib模塊并且調用這個函數的目的是在我們進行查看異常值處理(箱型圖展示)所用到，是改變圖像顯示的方式：TkAgg(一個交互式后臺)。

所謂交互式后臺就是你可以對圖像進行任意操作，區(qū)域放大縮小、值查看等功能。

之所以調用這個函數首先是因為我們使用的是GUI是要有那種交互的感覺的，其次是如果數據量較大時，箱型圖會很小，這樣子可以利于查看。

其次sg.ChangeLookAndFeel('GreenTan')：改變窗體顏色。

那么menu_def就是菜單欄，使用【“”,【“”】】這種格式來定義主菜單欄和子菜單欄。tearoff這個函數是加一條可愛的虛線間隔每個字段。

sg.Frame()：這個和sg.columns()元素的用法是一樣的，主要是用來多個子元素的，我們這里設置了relief參數來讓整個框架在觀感上顯得凹形。tooltip參數是你鼠標移動框架的位置出現的小提示框。

title_location參數的用法非常有趣，是標題字符串的位置設置，有(n，s，e，w，se等)，你很快會發(fā)現這個位置和其他元素布局位置設置不一樣，他是以地理位置坐標做子參數的。

sg.Radio：單選選項框，要將所有的單選選項框的子參數group_id都設成一樣的，這樣你才能三個選項中選一個，這里我們以"RADIO1"為group_id。

sg.Button()：整個GUI中我們使用了4個按鈕，其中有一個專有的按鈕Cancel。

sg.popup()：比較初級的彈出框，顯示提示類的關鍵信息所用到。

sg.popup_get_file()：這是一個高級的彈出框元素，是從帶有文本輸入字段和瀏覽按鈕的彈出窗口，以便用戶選擇文件。效果如下

二、數據預處理

GUI部分搞定后，接著我們講解數據處理部分，主要是針對重復值、缺失值和異常值。

數據準備

我們這里用到的是2020年10月28日A股的行情。數據部分展示：

我們可以看到這里面有重復的行、有缺失值的地方。

重復值處理

對于二維列表DataFrame來講使用Pandas模塊是最方便最象征辦公簡潔化的模塊

import pandas as pd df = df.read_excel('文件絕對路徑') imfor = df[df.duplicated()] imfor = str(imfor)

首先調用Pandas模塊并讀取文件路徑，這里我們采取絕對路徑而不采取相對路徑的原因是我們之后打包的GUI是不依靠文件的靠Python自帶的環(huán)境，所以相對路徑讀取是無法識別的。

df[df.duplicated()]這個Pandas內的函數是以二維列表形式來打印重復值對應的行。這里把df變量變?yōu)閟tr字符串形式是因為我們在后來GUI中使用彈出窗口的元素時要以字符串形式加載。

最終處理重復值的方法如下：

df = df.drop_duplicates(inplace = True)

代碼只有一行，卻能做到將整個數據表中的重復值都刪除，說明Pandas函數的強大。

至于為什么用inplace = True，是因為刪除函數不并不能改變原表格結構，所以需要將新表覆蓋原來的表格。

缺失值處理

先看代碼，其實在之前有關缺失值處理我在一年前就寫過相關文章點擊查看

import pandas as pd df = df.read_excel('文件絕對路徑') #df.isnull() imfor1 = df.isnull().sum() #df.isnull().any() imfor1 = str(imfor1)

對于有缺失值的的數據表來說，df.isnull()或者df.isna()來查看空值。這個函數的作用時判斷是否為空值，若是為空值則賦予True，否則賦予False。

這里我們使用df.isnull().sum()來統(tǒng)計每一列字段的缺失值數量。如果數據量大的話，還可以使用df.isnull().any()來查看只有缺失值的行。

解決方法，處理缺失值的方法有很多種，取均值、取中位數、刪除、取下方的值等。我們這里用取上方值的方法來填補。

df = df.fillna(method='pad')

異常值處理

所謂異常值，就是在一個數字字段里出現一個或多個不合群得數字。舉個例子，在一列都為個位數得數字列中出現了一個百位數的數字，這個百位數就是異常值。

用Python檢測異常值有兩種：箱線圖圖觀察和標準差觀察。這里我們選則箱體圖觀察。

箱線圖是用于顯示所選數據分散情況的統(tǒng)計圖，通過設定標準，將大于或小于箱體圖上下線的數值表示為異常點。

如圖，下四分分位數指的是樣本中有百分之25的數據小于這個數，記為。上四分分位數指的是樣本中有百分之25大于這個數，記為。上四分位數和下四分位數的差值的1.5倍加上上四分位數就是上邊緣，反之為下邊緣。

在Pandas中可以調用.boxplot()函數來畫箱型圖

import pandas as pd df.boxplot()

打包與效果展示

在寫完全部代碼之后，我們可以使用pyinstaller進行打包。

假定你的程序命名為yuchuli.py，在cmd窗口輸入即可完成打包。

pyinstaller -F yuchuli.py

打包后，exe在Python文件所在文件夾的dist文件夾中。我們啟動來看下效果

可以看到，我們需要的數據預處理的三個功能：重復值、缺失值、異常值都能按照指定方式進行處理!

感謝各位的閱讀，以上就是“怎么用Python制作一個數據預處理小工具”的內容了，經過本文的學習后，相信大家對怎么用Python制作一個數據預處理小工具這一問題有了更深刻的體會，具體使用情況還需要大家實踐驗證。這里是創(chuàng)新互聯，小編將為大家推送更多相關知識點的文章，歡迎關注！

標題名稱：怎么用Python制作一個數據預處理小工具
瀏覽路徑：http://chinadenli.net/article0/jiocoo.html

成都網站建設公司_創(chuàng)新互聯，為您提供、App開發(fā)、靜態(tài)網站、網站營銷、動態(tài)網站、小程序開發(fā)

廣告

聲明：本網站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯