python刪除重復(fù)數(shù)據(jù)

利用集合的不重復(fù)屬性，可以先轉(zhuǎn)換至集合，再用list()函數(shù)轉(zhuǎn)換回來即可。

我們提供的服務(wù)有：成都做網(wǎng)站、網(wǎng)站設(shè)計(jì)、微信公眾號開發(fā)、網(wǎng)站優(yōu)化、網(wǎng)站認(rèn)證、安康ssl等。為上千多家企事業(yè)單位解決了網(wǎng)站和推廣的問題。提供周到的售前咨詢和貼心的售后服務(wù)，是有科學(xué)管理、有技術(shù)的安康網(wǎng)站制作公司

比如，a是一個(gè)列表，a=list(set(a))，即可完成列表去重。

Python 去重，統(tǒng)計(jì)，lambda函數(shù)

df.drop_duplicates('item_name')

方法一：

df.drop_duplicates('item_name').count()

方法二：

df['item_name'].nunique()

結(jié)果：50

附：nunique()和unique()的區(qū)別：

unique()是以 數(shù)組形式（numpy.ndarray）返回列的所有唯一值（特征的所有唯一值）

nunique()即返回的是唯一值的個(gè)數(shù)

比如：df['item_name'].unique()

要求：將下表中經(jīng)驗(yàn)列將按周統(tǒng)計(jì)的轉(zhuǎn)換為經(jīng)驗(yàn)不限，保留學(xué)歷

df1['經(jīng)驗(yàn)'] = df1['經(jīng)驗(yàn)'].apply(lambda x: '經(jīng)驗(yàn)不限'+ x[-2:] if '周' in x else x)

#解釋：將‘5天/周6個(gè)月’變成‘經(jīng)驗(yàn)不限’，然后保留學(xué)歷‘本科’

方法二：定義函數(shù)

def dataInterval(ss):

if '周' in ss:

? ? return '經(jīng)驗(yàn)不限'+ ss[-2:]

return ss

df1['經(jīng)驗(yàn)'] = df1['經(jīng)驗(yàn)'].apply(dataInterval)

python列表怎么去掉相同的數(shù)

利用set()函數(shù)，可以將列表去重，如：

s = [1, 3, 3, 5, 7, 7, 8, 9]

set(s) #輸出為{1, 3, 5, 7, 8, 9}

list(set(s)) #輸出 [1, 3, 5, 7, 8, 9]

Python常用的幾種去重方法

case1:用集合的特性set()，去重后順序會(huì)改變

case1.1：可以通過列表中索引（index）的方法保證去重后的順序不變

case2:使用循環(huán)查找的方式，不改變順序

case3:通過刪除索引

case4:itertools.groupby

case5:fromkeys

case6:reduce方法

深入理解Python reduce函數(shù)

例如上面的例子，實(shí)現(xiàn)一個(gè)整形集合的累加。假設(shè)lst = [1,2,3,4,5],實(shí)現(xiàn)累加的方式有很多：

第一種：用sum函數(shù)。

sum(lst)

第二種：循環(huán)方式。

def customer_sum(lst):

result = 0

for x in lst:

result+=x

return result

def customer_sum(lst):

result = 0

while lst:

temp = lst.pop(0)

result+=temp

return result

if name ==" main ":

lst = [1,2,3,4,5]

print customer_sum(lst)

第三種：遞推求和

def add(lst,result):

if lst:

temp = lst.pop(0)

temp+=result

return add(lst,temp)

else:

return result

if name ==" main ":

lst = [1,2,3,4,5]

print add(lst,0)

第四種：reduce方式

lst = [1,2,3,4,5]

print reduce(lambda x,y:x+y,lst)

lst = [1,2,3,4,5]

print reduce(lambda x,y:x+y,lst,0)

def add(x,y):

return x+y

print reduce(add, lst)

def add(x,y):

return x+y

print reduce(add, lst,0)

有一個(gè)序列集合，例如[1,1,2,3,2,3,3,5,6,7,7,6,5,5,5],統(tǒng)計(jì)這個(gè)集合所有鍵的重復(fù)個(gè)數(shù)，例如1出現(xiàn)了兩次，2出現(xiàn)了兩次等。大致的思路就是用字典存儲(chǔ)，元素就是字典的key,出現(xiàn)的次數(shù)就是字典的value。方法依然很多

第一種：for循環(huán)判斷

def statistics(lst):

dic = {}

for k in lst:

if not k in dic:

dic[k] = 1

else:

dic[k] +=1

return dic

lst = [1,1,2,3,2,3,3,5,6,7,7,6,5,5,5]

print(statistics(lst))

第二種：比較取巧的，先把列表用set方式去重，然后用列表的count方法

def statistics2(lst):

m = set(lst)

dic = {}

for x in m:

dic[x] = lst.count(x)

lst = [1,1,2,3,2,3,3,5,6,7,7,6,5,5,5]

print statistics2(lst)

第三種：用reduce方式

def statistics(dic,k):

if not k in dic:

dic[k] = 1

else:

dic[k] +=1

return dic

lst = [1,1,2,3,2,3,3,5,6,7,7,6,5,5,5]

print reduce(statistics,lst,{})

或者

d = {}

d.extend(lst)

print reduce(statistics,d)

通過上面的例子發(fā)現(xiàn),凡是要對一個(gè)集合進(jìn)行操作的，并且要有一個(gè)統(tǒng)計(jì)結(jié)果的，能夠用循環(huán)或者遞歸方式解決的問題，一般情況下都可以用reduce方式實(shí)現(xiàn)。

網(wǎng)站標(biāo)題：python去重的函數(shù),python 去重函數(shù)
當(dāng)前地址：http://chinadenli.net/article12/hescgc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)頁設(shè)計(jì)公司、服務(wù)器托管、動(dòng)態(tài)網(wǎng)站、ChatGPT、Google、全網(wǎng)營銷推廣

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)