這篇文章主要介紹“Hadoop RPC-Client源代碼分析”,在日常操作中,相信很多人在Hadoop RPC-Client源代碼分析問題上存在疑惑,小編查閱了各式資料,整理出簡單好用的操作方法,希望對大家解答”Hadoop RPC-Client源代碼分析”的疑惑有所幫助!接下來,請跟著小編一起來學(xué)習(xí)吧!
創(chuàng)新互聯(lián)公司-專業(yè)網(wǎng)站定制、快速模板網(wǎng)站建設(shè)、高性價比額爾古納網(wǎng)站開發(fā)、企業(yè)建站全套包干低至880元,成熟完善的模板庫,直接使用。一站式額爾古納網(wǎng)站制作公司更省心,省錢,快速模板網(wǎng)站建設(shè)找我們,業(yè)務(wù)覆蓋額爾古納地區(qū)。費(fèi)用合理售后完善,十載實(shí)體公司更值得信賴。
既然是RPC,自然就有客戶端和服務(wù)器,當(dāng)然,org.apache.hadoop.rpc 也就有了類Client 和類Server。在這里我們來仔細(xì)考
察org.apache.hadoop.rpc.Client。下面的圖包含了org.apache.hadoop.rpc.Client 中的關(guān)鍵類和關(guān)鍵方法。
由于Client 可能和多個Server 通信,典型的一次HDFS 讀,需要和NameNode 打交道,也需要和某個/某些DataNode 通信。這
就意味著某一個Client 需要維護(hù)多個連接。同時,為了減少不必要的連接,現(xiàn)在Client 的做法是拿ConnectionId(圖中最右
側(cè))來做為Connection 的ID。ConnectionId 包括一個InetSocketAddress(IP 地址+端口號或主機(jī)名+端口號)對象和一個用
戶信息對象。這就是說,同一個用戶到同一個InetSocketAddress 的通信將共享同一個連接。
連接被封裝在類Client.Connection 中,所有的RPC 調(diào)用,都是通過Connection,進(jìn)行通信。一個RPC 調(diào)用,自然有輸入?yún)?shù),
輸出參數(shù)和可能的異常,同時,為了區(qū)分在同一個Connection 上的不同調(diào)用,每個調(diào)用都有唯一的id。調(diào)用是否結(jié)束也需要
一個標(biāo)記,所有的這些都體現(xiàn)在對象Client.Call 中。Connection 對象通過一個Hash 表,維護(hù)在這個連接上的所有Call:
Java 代碼
1. private Hashtable<Integer, Call> calls = new Hashtable<Integer, Call>();
一個RPC 調(diào)用通過addCall,把請求加到Connection 里。為了能夠在這個框架上傳輸Java 的基本類型,String 和Writable 接
口的實(shí)現(xiàn)類,以及元素為以上類型的數(shù)組,我們一般把Call 需要的參數(shù)打包成為ObjectWritable 對象。
Client.Connection 會通過socket 連接服務(wù)器,連接成功后回校驗(yàn)客戶端/服務(wù)器的版本號(Client.ConnectionwriteHeader()方
法),校驗(yàn)成功后就可以通過Writable 對象來進(jìn)行請求的發(fā)送/應(yīng)答了。注意,每個Client.Connection 會起一個線程,不斷
去讀取socket,并將收到的結(jié)果解包,找出對應(yīng)的Call,設(shè)置Call 并通知結(jié)果已經(jīng)獲取。
Call 使用Obejct 的wait 和notify,把RPC 上的異步消息交互轉(zhuǎn)成同步調(diào)用。
還有一點(diǎn)需要注意,一個Client 會有多個Client.Connection,這是一個很自然的結(jié)果。
到此,關(guān)于“Hadoop RPC-Client源代碼分析”的學(xué)習(xí)就結(jié)束了,希望能夠解決大家的疑惑。理論與實(shí)踐的搭配能更好的幫助大家學(xué)習(xí),快去試試吧!若想繼續(xù)學(xué)習(xí)更多相關(guān)知識,請繼續(xù)關(guān)注創(chuàng)新互聯(lián)網(wǎng)站,小編會繼續(xù)努力為大家?guī)砀鄬?shí)用的文章!
分享文章:HadoopRPC-Client源代碼分析
URL鏈接:http://chinadenli.net/article14/giodde.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供定制網(wǎng)站、網(wǎng)站設(shè)計、網(wǎng)站維護(hù)、軟件開發(fā)、虛擬主機(jī)、外貿(mào)網(wǎng)站建設(shè)
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)