我們需要對(duì)一些文本進(jìn)行"明文加密",何為"明文加密"?
讓客戶(hù)滿(mǎn)意是我們工作的目標(biāo),不斷超越客戶(hù)的期望值來(lái)自于我們對(duì)這個(gè)行業(yè)的熱愛(ài)。我們立志把好的技術(shù)通過(guò)有效、簡(jiǎn)單的方式提供給客戶(hù),將通過(guò)不懈努力成為客戶(hù)在信息化領(lǐng)域值得信任、有價(jià)值的長(zhǎng)期合作伙伴,公司提供的服務(wù)項(xiàng)目有:域名注冊(cè)、虛擬主機(jī)、營(yíng)銷(xiāo)軟件、網(wǎng)站建設(shè)、商城網(wǎng)站維護(hù)、網(wǎng)站推廣。
從一些錯(cuò)亂的數(shù)據(jù)中,提取我們想要的數(shù)據(jù).
生成錯(cuò)亂的數(shù)據(jù)(可以隨機(jī)生成)
只需從上面的字符串提取數(shù)字即可,45.89.0.8
這里只是舉個(gè)簡(jiǎn)單例子
這樣就會(huì)該go文件同級(jí)目錄生成bin文件
并未使用binary.Read()方法
讀取到的文本
再根據(jù)自己的規(guī)則去提取該字符中你想要的數(shù)據(jù)即可.
Map是隨機(jī)存儲(chǔ)的,好像是按內(nèi)存塊的大小放數(shù)據(jù)。這樣存儲(chǔ)效率高。但檢索效率低。List是會(huì)重新劃分存儲(chǔ)空間,保證連續(xù)存儲(chǔ),存的效率低,檢索效率高。大概是這個(gè)意思,具體的,準(zhǔn)確、詳細(xì)的自己google下。
hashCode() 方法得到其 hashCode 值——每個(gè) Java 對(duì)象都有 hashCode() 方法,都可通過(guò)該方法獲得它的 hashCode 值。得到這個(gè)對(duì)象的 hashCode 值之后,系統(tǒng)會(huì)根據(jù)該 hashCode 值來(lái)決定該元素的存儲(chǔ)位置。
設(shè)置了首尾倒置函數(shù),也會(huì)出現(xiàn)這種類(lèi)似情況。還有,你要注意:map中不允許存在重復(fù)的鍵名,你也可以使用其他的方式來(lái)實(shí)現(xiàn),比如List,排序的話(huà)還得靠你自己來(lái)實(shí)現(xiàn)了。
golang 中 map的實(shí)現(xiàn)結(jié)構(gòu)為: 哈希表 + 鏈表。 其中鏈表,作用是當(dāng)發(fā)生hash沖突時(shí),拉鏈法生成的結(jié)點(diǎn)。
可以看到, []bmap 是一個(gè)hash table, 每一個(gè) bmap是我們常說(shuō)的“桶”。 經(jīng)過(guò)hash 函數(shù)計(jì)算出來(lái)相同的hash值, 放到相同的桶中。 一個(gè) bmap中可以存放 8個(gè) 元素, 如果多出8個(gè),則生成新的結(jié)點(diǎn),尾接到隊(duì)尾。
以上是只是靜態(tài)文件 src/runtime/map.go 中的定義。 實(shí)際上編譯期間會(huì)給它加料 ,動(dòng)態(tài)地創(chuàng)建一個(gè)新的結(jié)構(gòu):
上圖就是 bmap的內(nèi)存模型, HOB Hash 指的就是 top hash。 注意到 key 和 value 是各自放在一起的,并不是 key/value/key/value/... 這樣的形式。源碼里說(shuō)明這樣的好處是在某些情況下可以省略掉 padding 字段,節(jié)省內(nèi)存空間。
每個(gè) bmap設(shè)計(jì)成 最多只能放 8 個(gè) key-value 對(duì) ,如果有第 9 個(gè) key-value 落入當(dāng)前的 bmap,那就需要再構(gòu)建一個(gè) bmap,通過(guò) overflow 指針連接起來(lái)。
map創(chuàng)建方法:
我們實(shí)際上是通過(guò)調(diào)用的 makemap ,來(lái)創(chuàng)建map的。實(shí)際工作只是初始化了hmap中的各種字段,如:設(shè)置B的大小, 設(shè)置hash 種子 hash 0.
注意 :
makemap 返回是*hmap 指針, 即 map 是引用對(duì)象, 對(duì)map的操作會(huì)影響到結(jié)構(gòu)體內(nèi)部 。
使用方式
對(duì)應(yīng)的是下面兩種方法
map的key的類(lèi)型,實(shí)現(xiàn)了自己的hash 方式。每種類(lèi)型實(shí)現(xiàn)hash函數(shù)方式不一樣。
key 經(jīng)過(guò)哈希計(jì)算后得到hash值,共 64 個(gè) bit 位。 其中后B 個(gè)bit位置, 用來(lái)定位當(dāng)前元素落在哪一個(gè)桶里, 高8個(gè)bit 為當(dāng)前 hash 值的top hash。 實(shí)際上定位key的過(guò)程是一個(gè)雙重循環(huán)的過(guò)程, 外層循環(huán)遍歷 所有的overflow, 內(nèi)層循環(huán)遍歷 當(dāng)前bmap 中的 8個(gè)元素 。
舉例說(shuō)明: 如果當(dāng)前 B 的值為 5, 那么buckets 的長(zhǎng)度 為 2^5 = 32。假設(shè)有個(gè)key 經(jīng)過(guò)hash函數(shù)計(jì)算后,得到的hash結(jié)果為:
外層遍歷bucket 中的鏈表
內(nèi)層循環(huán)遍歷 bmap中的8個(gè) cell
建議先不看此部分內(nèi)容,看完后續(xù) 修改 map中元素 - 擴(kuò)容 操作后 再回頭看此部分內(nèi)容。
擴(kuò)容前的數(shù)據(jù):
等量擴(kuò)容后的數(shù)據(jù):
等量擴(kuò)容后,查找方式和原本相同, 不多做贅述。
兩倍擴(kuò)容后的數(shù)據(jù)
兩倍擴(kuò)容后,oldbuckets 的元素,可能被分配成了兩部分。查找順序如下:
此處只分析 mapaccess1 ,。 mapaccess2 相比 mapaccess1 多添加了是否找到的bool值, 有興趣可自行看一下。
使用方式:
步驟如下:
擴(kuò)容條件 :
擴(kuò)容的標(biāo)識(shí) : h.oldbuckets != nil
假設(shè)當(dāng)前定位到了新的buckets的3號(hào)桶中,首先會(huì)判斷oldbuckets中的對(duì)應(yīng)的桶有沒(méi)有被搬遷過(guò)。 如果搬遷過(guò)了,不需要看原來(lái)的桶了,直接遍歷新的buckets的3號(hào)桶。
擴(kuò)容前:
等量擴(kuò)容結(jié)果
雙倍擴(kuò)容會(huì)將old buckets上的元素分配到x, y兩個(gè)部key 1 B == 0 分配到x部分,key 1 B == 1 分配到y(tǒng)部分
注意: 當(dāng)前只對(duì)雙倍擴(kuò)容描述, 等量擴(kuò)容只是重新填充了一下元素, 相對(duì)位置沒(méi)有改變。
假設(shè)當(dāng)前map 的B == 5,原本元素經(jīng)過(guò)hash函數(shù)計(jì)算的 hash 值為:
因?yàn)殡p倍擴(kuò)容之后 B = B + 1,此時(shí)B == 6。key 1 B == 1, 即 當(dāng)前元素rehash到高位,新buckets中 y 部分. 否則 key 1 B == 0 則rehash到低位,即x 部分。
使用方式:
可以看到,每一遍歷生成迭代器的時(shí)候,會(huì)隨機(jī)選取一個(gè)bucket 以及 一個(gè)cell開(kāi)始。 從前往后遍歷,再次遍歷到起始位置時(shí),遍歷完成。
const NUM int = 100
for i := 0; i NUM; i += 1 {
rand.Seed(int64(i))
fmt.Printf("%d\t", rand.Int63n(int64(NUM)))
}
其實(shí)在循環(huán)里面這點(diǎn)時(shí)間間隔,納秒也是跟不上的。
還有,你用sleep的方法肯定是不能接受的?。?!
math/rand 中的所有整數(shù)函數(shù)都生成非負(fù)數(shù).
示例 main.go
執(zhí)行
同理,需要int64 int32類(lèi)型的隨機(jī)數(shù)只要修改隨機(jī)函數(shù)
但是需要注意 math/rand 幾個(gè)函數(shù)的取值區(qū)間!如Intn的范圍[0, n)。[0,20),20會(huì)取不到
我自己的需求這樣寫(xiě)已足夠
Goroutine調(diào)度是一個(gè)很復(fù)雜的機(jī)制,下面嘗試用簡(jiǎn)單的語(yǔ)言描述一下Goroutine調(diào)度機(jī)制,想要對(duì)其有更深入的了解可以去研讀一下源碼。
首先介紹一下GMP什么意思:
G ----------- goroutine: 即Go協(xié)程,每個(gè)go關(guān)鍵字都會(huì)創(chuàng)建一個(gè)協(xié)程。
M ---------- thread內(nèi)核級(jí)線(xiàn)程,所有的G都要放在M上才能運(yùn)行。
P ----------- processor處理器,調(diào)度G到M上,其維護(hù)了一個(gè)隊(duì)列,存儲(chǔ)了所有需要它來(lái)調(diào)度的G。
Goroutine 調(diào)度器P和 OS 調(diào)度器是通過(guò) M 結(jié)合起來(lái)的,每個(gè) M 都代表了 1 個(gè)內(nèi)核線(xiàn)程,OS 調(diào)度器負(fù)責(zé)把內(nèi)核線(xiàn)程分配到 CPU 的核上執(zhí)行
模型圖:
避免頻繁的創(chuàng)建、銷(xiāo)毀線(xiàn)程,而是對(duì)線(xiàn)程的復(fù)用。
1)work stealing機(jī)制
當(dāng)本線(xiàn)程無(wú)可運(yùn)行的G時(shí),嘗試從其他線(xiàn)程綁定的P偷取G,而不是銷(xiāo)毀線(xiàn)程。
2)hand off機(jī)制
當(dāng)本線(xiàn)程M0因?yàn)镚0進(jìn)行系統(tǒng)調(diào)用阻塞時(shí),線(xiàn)程釋放綁定的P,把P轉(zhuǎn)移給其他空閑的線(xiàn)程執(zhí)行。進(jìn)而某個(gè)空閑的M1獲取P,繼續(xù)執(zhí)行P隊(duì)列中剩下的G。而M0由于陷入系統(tǒng)調(diào)用而進(jìn)被阻塞,M1接替M0的工作,只要P不空閑,就可以保證充分利用CPU。M1的來(lái)源有可能是M的緩存池,也可能是新建的。當(dāng)G0系統(tǒng)調(diào)用結(jié)束后,根據(jù)M0是否能獲取到P,將會(huì)將G0做不同的處理:
如果有空閑的P,則獲取一個(gè)P,繼續(xù)執(zhí)行G0。
如果沒(méi)有空閑的P,則將G0放入全局隊(duì)列,等待被其他的P調(diào)度。然后M0將進(jìn)入緩存池睡眠。
如下圖
GOMAXPROCS設(shè)置P的數(shù)量,最多有GOMAXPROCS個(gè)線(xiàn)程分布在多個(gè)CPU上同時(shí)運(yùn)行
在Go中一個(gè)goroutine最多占用CPU 10ms,防止其他goroutine被餓死。
具體可以去看另一篇文章
【Golang詳解】go語(yǔ)言調(diào)度機(jī)制 搶占式調(diào)度
當(dāng)創(chuàng)建一個(gè)新的G之后優(yōu)先加入本地隊(duì)列,如果本地隊(duì)列滿(mǎn)了,會(huì)將本地隊(duì)列的G移動(dòng)到全局隊(duì)列里面,當(dāng)M執(zhí)行work stealing從其他P偷不到G時(shí),它可以從全局G隊(duì)列獲取G。
協(xié)程經(jīng)歷過(guò)程
我們創(chuàng)建一個(gè)協(xié)程 go func()經(jīng)歷過(guò)程如下圖:
說(shuō)明:
這里有兩個(gè)存儲(chǔ)G的隊(duì)列,一個(gè)是局部調(diào)度器P的本地隊(duì)列、一個(gè)是全局G隊(duì)列。新創(chuàng)建的G會(huì)先保存在P的本地隊(duì)列中,如果P的本地隊(duì)列已經(jīng)滿(mǎn)了就會(huì)保存在全局的隊(duì)列中;處理器本地隊(duì)列是一個(gè)使用數(shù)組構(gòu)成的環(huán)形鏈表,它最多可以存儲(chǔ) 256 個(gè)待執(zhí)行任務(wù)。
G只能運(yùn)行在M中,一個(gè)M必須持有一個(gè)P,M與P是1:1的關(guān)系。M會(huì)從P的本地隊(duì)列彈出一個(gè)可執(zhí)行狀態(tài)的G來(lái)執(zhí)行,如果P的本地隊(duì)列為空,就會(huì)想其他的MP組合偷取一個(gè)可執(zhí)行的G來(lái)執(zhí)行;
一個(gè)M調(diào)度G執(zhí)行的過(guò)程是一個(gè)循環(huán)機(jī)制;會(huì)一直從本地隊(duì)列或全局隊(duì)列中獲取G
上面說(shuō)到P的個(gè)數(shù)默認(rèn)等于CPU核數(shù),每個(gè)M必須持有一個(gè)P才可以執(zhí)行G,一般情況下M的個(gè)數(shù)會(huì)略大于P的個(gè)數(shù),這多出來(lái)的M將會(huì)在G產(chǎn)生系統(tǒng)調(diào)用時(shí)發(fā)揮作用。類(lèi)似線(xiàn)程池,Go也提供一個(gè)M的池子,需要時(shí)從池子中獲取,用完放回池子,不夠用時(shí)就再創(chuàng)建一個(gè)。
work-stealing調(diào)度算法:當(dāng)M執(zhí)行完了當(dāng)前P的本地隊(duì)列隊(duì)列里的所有G后,P也不會(huì)就這么在那躺尸啥都不干,它會(huì)先嘗試從全局隊(duì)列隊(duì)列尋找G來(lái)執(zhí)行,如果全局隊(duì)列為空,它會(huì)隨機(jī)挑選另外一個(gè)P,從它的隊(duì)列里中拿走一半的G到自己的隊(duì)列中執(zhí)行。
如果一切正常,調(diào)度器會(huì)以上述的那種方式順暢地運(yùn)行,但這個(gè)世界沒(méi)這么美好,總有意外發(fā)生,以下分析goroutine在兩種例外情況下的行為。
Go runtime會(huì)在下面的goroutine被阻塞的情況下運(yùn)行另外一個(gè)goroutine:
用戶(hù)態(tài)阻塞/喚醒
當(dāng)goroutine因?yàn)閏hannel操作或者network I/O而阻塞時(shí)(實(shí)際上golang已經(jīng)用netpoller實(shí)現(xiàn)了goroutine網(wǎng)絡(luò)I/O阻塞不會(huì)導(dǎo)致M被阻塞,僅阻塞G,這里僅僅是舉個(gè)栗子),對(duì)應(yīng)的G會(huì)被放置到某個(gè)wait隊(duì)列(如channel的waitq),該G的狀態(tài)由_Gruning變?yōu)開(kāi)Gwaitting,而M會(huì)跳過(guò)該G嘗試獲取并執(zhí)行下一個(gè)G,如果此時(shí)沒(méi)有可運(yùn)行的G供M運(yùn)行,那么M將解綁P,并進(jìn)入sleep狀態(tài);當(dāng)阻塞的G被另一端的G2喚醒時(shí)(比如channel的可讀/寫(xiě)通知),G被標(biāo)記為,嘗試加入G2所在P的runnext(runnext是線(xiàn)程下一個(gè)需要執(zhí)行的 Goroutine。), 然后再是P的本地隊(duì)列和全局隊(duì)列。
系統(tǒng)調(diào)用阻塞
當(dāng)M執(zhí)行某一個(gè)G時(shí)候如果發(fā)生了阻塞操作,M會(huì)阻塞,如果當(dāng)前有一些G在執(zhí)行,調(diào)度器會(huì)把這個(gè)線(xiàn)程M從P中摘除,然后再創(chuàng)建一個(gè)新的操作系統(tǒng)的線(xiàn)程(如果有空閑的線(xiàn)程可用就復(fù)用空閑線(xiàn)程)來(lái)服務(wù)于這個(gè)P。當(dāng)M系統(tǒng)調(diào)用結(jié)束時(shí)候,這個(gè)G會(huì)嘗試獲取一個(gè)空閑的P執(zhí)行,并放入到這個(gè)P的本地隊(duì)列。如果獲取不到P,那么這個(gè)線(xiàn)程M變成休眠狀態(tài), 加入到空閑線(xiàn)程中,然后這個(gè)G會(huì)被放入全局隊(duì)列中。
隊(duì)列輪轉(zhuǎn)
可見(jiàn)每個(gè)P維護(hù)著一個(gè)包含G的隊(duì)列,不考慮G進(jìn)入系統(tǒng)調(diào)用或IO操作的情況下,P周期性的將G調(diào)度到M中執(zhí)行,執(zhí)行一小段時(shí)間,將上下文保存下來(lái),然后將G放到隊(duì)列尾部,然后從隊(duì)列中重新取出一個(gè)G進(jìn)行調(diào)度。
除了每個(gè)P維護(hù)的G隊(duì)列以外,還有一個(gè)全局的隊(duì)列,每個(gè)P會(huì)周期性地查看全局隊(duì)列中是否有G待運(yùn)行并將其調(diào)度到M中執(zhí)行,全局隊(duì)列中G的來(lái)源,主要有從系統(tǒng)調(diào)用中恢復(fù)的G。之所以P會(huì)周期性地查看全局隊(duì)列,也是為了防止全局隊(duì)列中的G被餓死。
除了每個(gè)P維護(hù)的G隊(duì)列以外,還有一個(gè)全局的隊(duì)列,每個(gè)P會(huì)周期性地查看全局隊(duì)列中是否有G待運(yùn)行并將其調(diào)度到M中執(zhí)行,全局隊(duì)列中G的來(lái)源,主要有從系統(tǒng)調(diào)用中恢復(fù)的G。之所以P會(huì)周期性地查看全局隊(duì)列,也是為了防止全局隊(duì)列中的G被餓死。
M0
M0是啟動(dòng)程序后的編號(hào)為0的主線(xiàn)程,這個(gè)M對(duì)應(yīng)的實(shí)例會(huì)在全局變量rutime.m0中,不需要在heap上分配,M0負(fù)責(zé)執(zhí)行初始化操作和啟動(dòng)第一個(gè)G,在之后M0就和其他的M一樣了
G0
G0是每次啟動(dòng)一個(gè)M都會(huì)第一個(gè)創(chuàng)建的goroutine,G0僅用于負(fù)責(zé)調(diào)度G,G0不指向任何可執(zhí)行的函數(shù),每個(gè)M都會(huì)有一個(gè)自己的G0,在調(diào)度或系統(tǒng)調(diào)用時(shí)會(huì)使用G0的??臻g,全局變量的G0是M0的G0
一個(gè)G由于調(diào)度被中斷,此后如何恢復(fù)?
中斷的時(shí)候?qū)⒓拇嫫骼锏臈P畔?,保存到自己的G對(duì)象里面。當(dāng)再次輪到自己執(zhí)行時(shí),將自己保存的棧信息復(fù)制到寄存器里面,這樣就接著上次之后運(yùn)行了。
我這里只是根據(jù)自己的理解進(jìn)行了簡(jiǎn)單的介紹,想要詳細(xì)了解有關(guān)GMP的底層原理可以去看Go調(diào)度器 G-P-M 模型的設(shè)計(jì)者的文檔或直接看源碼
參考: ()
()
文章題目:go語(yǔ)言隨機(jī)提取,go生成隨機(jī)字符串
轉(zhuǎn)載注明:http://chinadenli.net/article6/heiiog.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供建站公司、ChatGPT、響應(yīng)式網(wǎng)站、用戶(hù)體驗(yàn)、移動(dòng)網(wǎng)站建設(shè)、軟件開(kāi)發(fā)
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話(huà):028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來(lái)源: 創(chuàng)新互聯(lián)
猜你還喜歡下面的內(nèi)容