linux命令對某一列去重/統(tǒng)計(jì)

默認(rèn)情況下uniq只會檢索相鄰的重復(fù)數(shù)據(jù)從而去重。在/tmp/uniq.txt中雖然“onmpw web site” 有三條，但是其中一條是和其他兩條不相鄰的，所以只去重了一條，同理“error php function”也是這種情況。

創(chuàng)新互聯(lián)是一家專注于成都網(wǎng)站制作、成都網(wǎng)站建設(shè)與策劃設(shè)計(jì),沙市網(wǎng)站建設(shè)哪家好?創(chuàng)新互聯(lián)做網(wǎng)站,專注于網(wǎng)站建設(shè)10多年,網(wǎng)設(shè)計(jì)領(lǐng)域的專業(yè)建站公司;建站業(yè)務(wù)涵蓋:沙市等地區(qū)。沙市做網(wǎng)站價(jià)格咨詢:028-86922220

主要用到的命令有sort，uniq和cut。其中，sort主要功能是排序，uniq主要功能是實(shí)現(xiàn)相鄰文本行的去重，cut可以從文本行中提取相應(yīng)的文本列(簡單地說，就是按列操作文本行)。

uniq命令去重，只有兩行出現(xiàn)重復(fù)，而且是相鄰的兩行，如果不相鄰，即使出現(xiàn)兩行一模一樣，不會去重。

uniq 對排序好的內(nèi)容進(jìn)行去重 -c 顯示輸出中，在每行行首加上本行在文件中出現(xiàn)的次數(shù)。

linux命令grep

1、在linux中g(shù)rep命令是非常有用的，它和管道(|)配合使用，非常強(qiáng)大，用于搜索文本文件.如果想要在幾個(gè)文本文件中查找一字符串，可以使用‘grep’命令。‘grep’在文本中搜索指定的字符串。

2、Linux grep 命令用于查找文件里符合條件的字符串。grep 指令用于查找內(nèi)容包含指定的范本樣式的文件，如果發(fā)現(xiàn)某文件的內(nèi)容符合所指定的范本樣式，預(yù)設(shè) grep 指令會把含有范本樣式的那一列顯示出來。

3、grep -E word1|word2|word3 file.txt 滿足任意條件（wordword2和word3之一）將匹配。

linux去重不要排序

1、(1)排序 由于uniq命令只能對相鄰行進(jìn)行去重復(fù)操作，所以在進(jìn)行去重前，先要對文本行進(jìn)行排序，使重復(fù)行集中到一起。

2、默認(rèn)情況下uniq只會檢索相鄰的重復(fù)數(shù)據(jù)從而去重。在/tmp/uniq.txt中雖然“onmpw web site” 有三條，但是其中一條是和其他兩條不相鄰的，所以只去重了一條，同理“error php function”也是這種情況。

3、騷年，你有仔細(xì)觀察者兩個(gè)命令嗎？舉個(gè)例子：文件filea為：a b c c d b 執(zhí)行sort filea |uniq -u |wc -l，先排序，則刪除了c和b的行；執(zhí)行sort -u filea |wc -l，排序，同時(shí)刪除相同的行，則只刪除c行。

4、方法為：先通過cat命令讀取customers的內(nèi)容，然后通過管道符傳給sort命令進(jìn)行升序排序，并傳入-u參數(shù)，-u表示去除重復(fù)行，最后通過輸出重定向，將輸出內(nèi)容保存到目標(biāo)文件內(nèi)。

5、uniq 對排序好的內(nèi)容進(jìn)行去重 -c 顯示輸出中，在每行行首加上本行在文件中出現(xiàn)的次數(shù)。

6、命令行查看一個(gè)表格結(jié)構(gòu)時(shí)，因?yàn)橹票矸麑R的原因，出現(xiàn)一個(gè)錯(cuò)位的現(xiàn)象。還有 字典排序 可能和我們平時(shí)的認(rèn)知不一樣，所以 加上-n參數(shù) ， 讓數(shù)值有數(shù)學(xué)意義上的大小來排序 。

分享標(biāo)題：linux字符串去重命令 linux刪除字符串
網(wǎng)站網(wǎng)址：http://chinadenli.net/article9/deecioh.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站收錄、營銷型網(wǎng)站建設(shè)、網(wǎng)站改版、做網(wǎng)站、移動網(wǎng)站建設(shè)、用戶體驗(yàn)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)