在Linux系統(tǒng)中使用Shell實(shí)現(xiàn)多線程運(yùn)行任務(wù)（多任務(wù)并發(fā)執(zhí)行） 2022-05-30

最近，有一批任務(wù)需要把兩批的fastq合并到一起并壓縮成一個(gè)fastq文件才能繼續(xù)往下做，由于存儲(chǔ)空間有限又不能直接全部跑上，只能按樣本逐個(gè)分批跑。眾所周知，一般fastq是成對(duì)存在的，所需要對(duì)read1和read2分別合并一次，然而這次任務(wù)的fastq文件比較大，合并然后壓縮一次需要1天左右，那對(duì)于一組fastq就要2-3天，這也太耗時(shí)間了，所以我在想能不能read1和read2 同時(shí)跑上，這就可以節(jié)省一半的時(shí)間了。

創(chuàng)新互聯(lián)公司專注于安徽企業(yè)網(wǎng)站建設(shè),成都響應(yīng)式網(wǎng)站建設(shè)公司,商城網(wǎng)站開發(fā)。安徽網(wǎng)站建設(shè)公司,為安徽等地區(qū)提供建站服務(wù)。全流程定制網(wǎng)站設(shè)計(jì)，專業(yè)設(shè)計(jì)，全程項(xiàng)目跟蹤，創(chuàng)新互聯(lián)公司專業(yè)和態(tài)度為您提供的服務(wù)

平時(shí)也能遇到很多類似的任務(wù)，特別是在進(jìn)程數(shù)有限的情況下，如果這些小任務(wù)單獨(dú)占用一個(gè)進(jìn)程，而任務(wù)很多就很耗時(shí)間，如果能在一個(gè)進(jìn)程下實(shí)現(xiàn)多個(gè)線程并行執(zhí)行，就能大大提高運(yùn)行效率。關(guān)于進(jìn)程和線程的知識(shí)可以參考知乎的這篇文章【 Shell“ 多線程”，提高工作效率 】，整理的也比較有條理，能比較容易讀懂。

當(dāng)然，某些博主也寫過(guò)類似的文章，例如這篇【 shell后臺(tái)限制多并發(fā)控制后臺(tái)任務(wù)強(qiáng)度進(jìn)行文件拷貝 】但是實(shí)在是太高深莫測(cè)了，看不懂，一時(shí)半會(huì)兒也學(xué)不會(huì)。本文將示例Shell實(shí)現(xiàn)多線程的簡(jiǎn)單版本，其實(shí)不用太復(fù)雜。

其實(shí)只需要兩個(gè)步驟， 第一步是給需要并行運(yùn)行的命令行在結(jié)尾加上""，代表放到后臺(tái)運(yùn)行，第二步是在在所有并行任務(wù)的后面加上一句“wait”，意思是等所有通過(guò)“”放到后臺(tái)運(yùn)行的任務(wù)跑完后再繼續(xù)執(zhí)行后面的任務(wù) ，這些就能實(shí)現(xiàn)所有帶有“”的行并行執(zhí)行了。

看完腳本是不是覺得很簡(jiǎn)單？

上面的腳本適合并行任務(wù)少的，可以手動(dòng)加和wait，但是如果有幾十個(gè)甚至上百個(gè)的小任務(wù)就比較麻煩了。但不用擔(dān)心，可以寫個(gè)循環(huán)，批量運(yùn)行。

循環(huán)的結(jié)果也是跟上面類似的，只是多了個(gè)循環(huán)結(jié)構(gòu)。

如果需要執(zhí)行的任務(wù)只有一行，可以把大括號(hào)去掉。

關(guān)于for和while的循環(huán)可以查看之前的文章【 Shell常用循環(huán)示例（for和while批量處理）2022-05-25 】

需要注意的是多線程并行還是需要有限制的，畢竟都是在一個(gè)進(jìn)程里運(yùn)行，如果線程太多了會(huì)卡頓的，建議控制在100個(gè)以內(nèi)，當(dāng)然還有畢竟高級(jí)和復(fù)雜的方法可以實(shí)現(xiàn)限制。因?yàn)樯厦娴哪_本已經(jīng)夠我用了，沒(méi)繼續(xù)往下學(xué)，以后可以再補(bǔ)充。

linux下并發(fā)連接數(shù)限制

并發(fā)socket連接數(shù)的多少?zèng)Q定于系統(tǒng)資源的多少，沒(méi)有一個(gè)常值的．在實(shí)際開發(fā)或者linux系統(tǒng)管理中也會(huì)根據(jù)需要進(jìn)行相應(yīng)的設(shè)置．

1．一般來(lái)說(shuō)每一個(gè)網(wǎng)絡(luò)連接，都會(huì)建立相應(yīng)的socket句柄，同時(shí)每個(gè)連接也會(huì)有標(biāo)準(zhǔn)輸入輸出等基本的文件文件句柄，而且每一個(gè)socket連接都是進(jìn)行文件操作的，因此連接數(shù)決定于系統(tǒng)資源．

2．Linux上一般可以通過(guò)ulimit來(lái)進(jìn)行相應(yīng)的資源限制，默認(rèn)能打開的文件描述符自己可以查看．如下圖所示：

3．ulimit的命令格式：ulimit [-acdfHlmnpsStvw] [size]

參數(shù)說(shuō)明：

-H 設(shè)置硬資源限制.

-S 設(shè)置軟資源限制.

-a 顯示當(dāng)前所有的資源限制.

-c size:設(shè)置core文件的最大值.單位:blocks

-d size:設(shè)置數(shù)據(jù)段的最大值.單位:kbytes

-f size:設(shè)置創(chuàng)建文件的最大值.單位:blocks

-l size:設(shè)置在內(nèi)存中鎖定進(jìn)程的最大值.單位:kbytes

-m size:設(shè)置可以使用的常駐內(nèi)存的最大值.單位:kbytes

-n size:設(shè)置內(nèi)核可以同時(shí)打開的文件描述符的最大值.單位:n

-p size:設(shè)置管道緩沖區(qū)的最大值.單位:kbytes

-s size:設(shè)置堆棧的最大值.單位:kbytes

-t size:設(shè)置CPU使用時(shí)間的最大上限.單位:seconds

-v size:設(shè)置虛擬內(nèi)存的最大值.單位:kbytes

-u 程序數(shù)目 　用戶最多可開啟的程序數(shù)目

Linux設(shè)備驅(qū)動(dòng)中的并發(fā)

并發(fā)就是多個(gè)執(zhí)行單元或多個(gè)進(jìn)程并行執(zhí)行，而這多個(gè)執(zhí)行單元對(duì)資源進(jìn)行共享，比如訪問(wèn)同一個(gè)變量或同一個(gè)硬件資源，這個(gè)時(shí)候就很容易出現(xiàn)競(jìng)態(tài)(說(shuō)簡(jiǎn)單點(diǎn)就是競(jìng)爭(zhēng)同一個(gè)”女朋友”)。

為了處理并發(fā)帶來(lái)的問(wèn)題，Linux有幾種處理方法:

1. 中斷屏蔽

2. 原子操作

3. 自旋鎖

4. 信號(hào)量

5. 互斥體

6. 完成量

以上幾種處理并發(fā)的方式各有利弊，需要根據(jù)實(shí)際情況來(lái)選擇使用哪一種。

它的原理就是讓CPU不響應(yīng)中斷，一般使用這種方法的要求代碼段要比較少，不能占用大量的時(shí)間。一般在驅(qū)動(dòng)中不推薦使用這種方式。

原子量保證對(duì)一個(gè)整形數(shù)據(jù)的操作是排他性的。就是該操作絕不會(huì)在執(zhí)行完畢前被任何其他任務(wù)或事件打斷。

自旋鎖是一種典型的對(duì)臨界資源進(jìn)行互斥訪問(wèn)的手段。當(dāng)一個(gè)自旋鎖已經(jīng)被其他線程持有，而另一個(gè)線程試圖去獲取自旋鎖，這時(shí)候就會(huì)一直在那里等待(原地自旋等待)。如果遞歸調(diào)用自旋鎖，就會(huì)導(dǎo)致系統(tǒng)死鎖。

與自旋鎖不同的是，當(dāng)獲取不到信號(hào)量時(shí)，進(jìn)程不會(huì)原地打轉(zhuǎn)而是進(jìn)入休眠等待狀態(tài)。新的Linux內(nèi)核傾向于直接使用mutex作為互斥手段，信號(hào)量用作互斥不再被推薦使用。

當(dāng)進(jìn)程占用資源時(shí)間較長(zhǎng)時(shí)，用互斥體會(huì)比較好。

使用方法：

完成量的機(jī)制是實(shí)現(xiàn)一個(gè)線程發(fā)送一個(gè)信號(hào)通知另一個(gè)線程完成某個(gè)任務(wù)。一個(gè)線程調(diào)用wait_for_completion后就進(jìn)入休眠，另一個(gè)線程執(zhí)行完某個(gè)任務(wù)后就發(fā)送通知給進(jìn)入休眠的線程，然后它就執(zhí)行wait_for_completion后面的代碼。

2021-01-10：linux中，我要看某一個(gè)進(jìn)程的并發(fā)，通過(guò)什么命令去查？

ps -axjf ，這個(gè)命令會(huì)打印進(jìn)程樹，不過(guò)看的是childID，類似的命令還有top -Hp pid,當(dāng)然我理解的并發(fā)包括但不限于子進(jìn)程

最詳細(xì)的當(dāng)然還是sudo perf top -p PID -g ,直接通過(guò)采樣來(lái)看一個(gè)進(jìn)程到底干了什么，期間有那些進(jìn)程是active的，不止是子進(jìn)程,還包括進(jìn)程鎖等相關(guān)進(jìn)程，這大概是最符合你所說(shuō)的看一個(gè)進(jìn)程的并發(fā)的命令，希望對(duì)你有用吧。

linux內(nèi)核中造成并發(fā)執(zhí)行的原因是什么

linux中內(nèi)核并發(fā)機(jī)制也就是同步機(jī)制產(chǎn)生的原因,總的來(lái)說(shuō)可歸納為一下4點(diǎn):

l 中斷——中斷幾乎可以在任何時(shí)刻異步發(fā)生，也就可能隨時(shí)打斷當(dāng)前正在執(zhí)行的代碼。

2 睡眠及與用戶空間的同步——在內(nèi)核執(zhí)行的進(jìn)程可能會(huì)睡眠，這就會(huì)喚醒調(diào)度程序，從而導(dǎo)致調(diào)度一個(gè)新的用戶進(jìn)程執(zhí)行。

3 對(duì)稱多處理——兩個(gè)或多個(gè)處理器可以同時(shí)執(zhí)行代碼。

4內(nèi)核搶占——因?yàn)閮?nèi)核具有搶占性，所以內(nèi)核中的任務(wù)可能會(huì)被另一任務(wù)搶占（在2.6內(nèi)核引進(jìn)的新能力）。

Linux如何查看服務(wù)器的并發(fā)數(shù)

linux查看連接數(shù)，并發(fā)數(shù)1、查看apache當(dāng)前并發(fā)訪問(wèn)數(shù)：

netstat

-an

grep

ESTABLISHED

wc

-l對(duì)比httpd.conf中MaxClients的數(shù)字差距多少。2、查看有多少個(gè)進(jìn)程數(shù)：ps

auxgrep

httpdwc

-l3、可以使用如下參數(shù)查看數(shù)據(jù)server-status?auto#ps

-efgrep

httpdwc

-l1388統(tǒng)計(jì)httpd進(jìn)程數(shù)，連個(gè)請(qǐng)求會(huì)啟動(dòng)一個(gè)進(jìn)程，使用于Apache服務(wù)器。表示Apache能夠處理1388個(gè)并發(fā)請(qǐng)求，這個(gè)值A(chǔ)pache可根據(jù)負(fù)載情況自動(dòng)調(diào)整。#netstat

-natgrep

-i

80wc

-l4341netstat

-an會(huì)打印系統(tǒng)當(dāng)前網(wǎng)絡(luò)鏈接狀態(tài)，而grep

-i

80是用來(lái)提取與80端口有關(guān)的連接的，wc

-l進(jìn)行連接數(shù)統(tǒng)計(jì)。

最終返回的數(shù)字就是當(dāng)前所有80端口的請(qǐng)求總數(shù)。#netstat

-nagrep

ESTABLISHEDwc

-l376netstat

-an會(huì)打印系統(tǒng)當(dāng)前網(wǎng)絡(luò)鏈接狀態(tài)，而grep

ESTABLISHED

提取出已建立連接的信息。

然后wc

-l統(tǒng)計(jì)。最終返回的數(shù)字就是當(dāng)前所有80端口的已建立連接的總數(shù)。netstat

-natgrep

ESTABLISHEDwc

-

可查看所有建立連接的詳細(xì)記錄

查看Apache的并發(fā)請(qǐng)求數(shù)及其TCP連接狀態(tài)：linux命令：netstat

-n

awk

'/^tcp/

{++S[$NF]}

END

{for（a

in

S）

print

a,

S[a]}'返回結(jié)果示例：LAST_ACK

5SYN_RECV

30ESTABLISHED

1597FIN_WAIT1

51FIN_WAIT2

504TIME_WAIT

1057其中的SYN_RECV表示正在等待處理的請(qǐng)求數(shù)；ESTABLISHED表示正常數(shù)據(jù)傳輸狀態(tài)；TIME_WAIT表示處理完畢，等待超時(shí)結(jié)束的請(qǐng)求數(shù)。（這個(gè)參數(shù)還不太懂，為啥是等待超時(shí)結(jié)束，請(qǐng)大神指教）

網(wǎng)站標(biāo)題：linux命令行并發(fā) linux內(nèi)核中解決并發(fā)控制最常用的方法
文章來(lái)源：http://chinadenli.net/article28/dodipjp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供商城網(wǎng)站、自適應(yīng)網(wǎng)站、搜索引擎優(yōu)化、網(wǎng)站策劃、網(wǎng)站制作、定制開發(fā)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)