為什么選擇Netty作為基礎(chǔ)通信框架

一、什么是Netty

網(wǎng)站建設(shè)哪家好，找創(chuàng)新互聯(lián)公司！專(zhuān)注于網(wǎng)頁(yè)設(shè)計(jì)、網(wǎng)站建設(shè)、微信開(kāi)發(fā)、成都小程序開(kāi)發(fā)、集團(tuán)企業(yè)網(wǎng)站建設(shè)等服務(wù)項(xiàng)目。為回饋新老客戶(hù)創(chuàng)新互聯(lián)還提供了淮濱免費(fèi)建站歡迎大家使用！

Netty是一個(gè)高性能 事件驅(qū)動(dòng)、異步非堵塞的IO(NIO)Java開(kāi)源框架，Jboss提供，用于建立TCP等底層的連接，基于Netty可以建立高性能的Http服務(wù)器，快速開(kāi)發(fā)高性能、高可靠性的網(wǎng)絡(luò)服務(wù)器和客戶(hù)端程序。支持HTTP、 WebSocket 、Protobuf、 Binary TCP |和UDP，Netty已經(jīng)被很多高性能項(xiàng)目作為其Socket底層基礎(chǔ)，如HornetQ Infinispan Vert.x Play Framework Finangle和 Cassandra。其競(jìng)爭(zhēng)對(duì)手是：Apache MINA和 Grizzly。

也就是說(shuō)，Netty 是一個(gè)基于NIO的客戶(hù)，服務(wù)器端編程框架，使用Netty 可以確保你快速和簡(jiǎn)單的開(kāi)發(fā)出一個(gè)網(wǎng)絡(luò)應(yīng)用，例如實(shí)現(xiàn)了某種協(xié)議的客戶(hù)，服務(wù)端應(yīng)用。Netty相當(dāng)簡(jiǎn)化和流線(xiàn)化了網(wǎng)絡(luò)應(yīng)用的編程開(kāi)發(fā)過(guò)程，例如，TCP和UDP的socket服務(wù)開(kāi)發(fā)。

“快速”和“簡(jiǎn)單”并不意味著會(huì)讓你的最終應(yīng)用產(chǎn)生維護(hù)性或性能上的問(wèn)題。Netty 是一個(gè)吸收了多種協(xié)議的實(shí)現(xiàn)經(jīng)驗(yàn)，這些協(xié)議包括FTP,SMTP,HTTP，各種二進(jìn)制，文本協(xié)議，并經(jīng)過(guò)相當(dāng)精心設(shè)計(jì)的項(xiàng)目，最終，Netty 成功的找到了一種方式，在保證易于開(kāi)發(fā)的同時(shí)還保證了其應(yīng)用的性能，穩(wěn)定性和伸縮性。

二、不選擇Java原生NIO編程的原因

首先開(kāi)發(fā)出高質(zhì)量的NIO程序并不是一件簡(jiǎn)單的事情，除去NIO固有的復(fù)雜性和BUG不談，作為一個(gè)NIO服務(wù)端，還需要能夠處理網(wǎng)絡(luò)的閃斷、客戶(hù)端的重復(fù)接入、客戶(hù)端的安全認(rèn)證、消息的編解碼、半包讀寫(xiě)等情況，如果你沒(méi)有足夠的NIO編程經(jīng)驗(yàn)積累，一個(gè)NIO框架的穩(wěn)定往往需要半年甚至更長(zhǎng)的時(shí)間。更為糟糕的是，一旦在生產(chǎn)環(huán)境中發(fā)生問(wèn)題，往往會(huì)導(dǎo)致跨節(jié)點(diǎn)的服務(wù)調(diào)用中斷，嚴(yán)重的可能會(huì)導(dǎo)致整個(gè)集群環(huán)境都不可用，需要重啟服務(wù)器，這種非正常停機(jī)會(huì)帶來(lái)巨大的損失。

從可維護(hù)性角度看，由于NIO采用了異步非阻塞編程模型，而且是一個(gè)I/O線(xiàn)程處理多條鏈路，它的調(diào)試和跟蹤非常麻煩，特別是生產(chǎn)環(huán)境中的問(wèn)題，我們無(wú)法進(jìn)行有效的調(diào)試和跟蹤，往往只能靠一些日志來(lái)輔助分析，定位難度很大。

現(xiàn)在我們總結(jié)一下為什么不建議開(kāi)發(fā)者直接使用JDK的NIO類(lèi)庫(kù)進(jìn)行開(kāi)發(fā)，具體原因如下。

1）跨平臺(tái)與兼容性：NIO算是底層的APIs需依賴(lài)系統(tǒng)的IO APIs。但Java NIO發(fā)現(xiàn)在不同系統(tǒng)平臺(tái)會(huì)出現(xiàn)問(wèn)題。大量測(cè)試也耗不少時(shí)間；NIO2只支持JDK1.7+，而且沒(méi)提供DatagramSocket，故NIO2不支持UDP協(xié)議。而Netty提供統(tǒng)一接口，同一語(yǔ)句無(wú)論在JDK6.X 還是JDK7.X 都可運(yùn)行，無(wú)需關(guān)心底層架構(gòu)功能！

2）JAVA NIO的ByteBuffer構(gòu)造函數(shù)私有，無(wú)法擴(kuò)展。Netty提供了自己的ByteBuffer實(shí)現(xiàn)，通過(guò)簡(jiǎn)單APIs對(duì)其進(jìn)行構(gòu)造、使用和操作，一此解決NIO的一些限制。

3）NIO對(duì)緩沖區(qū)的聚合與分散操作可能會(huì)導(dǎo)致內(nèi)存泄漏。直到JDK1.7才解決此問(wèn)題。

4）NIO的類(lèi)庫(kù)和API繁雜，使用麻煩，你需要熟練掌握Selector、ServerSocketChannel、SocketChannel、ByteBuffer等。

5）使用JAVA NIO需要具備其他的額外技能做鋪墊，例如熟悉Java多線(xiàn)程編程。這是因?yàn)镹IO編程涉及到Reactor模式，你必須對(duì)多線(xiàn)程和網(wǎng)路編程非常熟悉，才能編寫(xiě)出高質(zhì)量的NIO程序。

6）可靠性能力補(bǔ)齊，工作量和難度都非常大。例如客戶(hù)端面臨斷連重連、網(wǎng)絡(luò)閃斷、半包讀寫(xiě)、失敗緩存、網(wǎng)絡(luò)擁塞和異常碼流的處理等問(wèn)題。

7）JDK NIO的BUG，例如臭名昭著的epoll bug，它會(huì)導(dǎo)致Selector空輪詢(xún)，最終導(dǎo)致CPU 100%。官方聲稱(chēng)在JDK 1.6版本的update18修復(fù)了該問(wèn)題，但是直到JDK 1.7版本該問(wèn)題仍舊存在，只不過(guò)該BUG發(fā)生概率降低了一些而已，它并沒(méi)有得到根本性解決。該BUG以及與該BUG相關(guān)的問(wèn)題單可以參見(jiàn)以下鏈接內(nèi)容。

異常堆棧如下。

java.lang.Thread.State: RUNNABLE

at sun.nio.ch.EPollArrayWrapper.epollWait(Native Method)

at sun.nio.ch.EPollArrayWrapper.poll(EPollArrayWrapper.java:210)

at sun.nio.ch.EPollSelectorImpl.doSelect(EPollSelectorImpl.java:65)

at sun.nio.ch.SelectorImpl.lockAndDoSelect(SelectorImpl.java:69)

- locked 0x0000000750928190 (a sun.nio.ch.Util$2)

- locked 0x00000007509281a8 (a java.util.Collections$ UnmodifiableSet)

- locked 0x0000000750946098 (a sun.nio.ch.EPollSelectorImpl)

at sun.nio.ch.SelectorImpl.select(SelectorImpl.java:80)

at net.spy.memcached.MemcachedConnection.handleIO(Memcached Connection.java:217)

at net.spy.memcached.MemcachedConnection.run(MemcachedConnection. java:836)

由于上述原因，在大多數(shù)場(chǎng)景下，不建議大家直接使用JDK的NIO類(lèi)庫(kù)，除非你精通NIO編程或者有特殊的需求。在絕大多數(shù)的業(yè)務(wù)場(chǎng)景中，我們可以使用NIO框架Netty來(lái)進(jìn)行NIO編程，它既可以作為客戶(hù)端也可以作為服務(wù)端，同時(shí)支持UDP和異步文件傳輸，功能非常強(qiáng)大。

Netty日志怎么用

Executor workerExecutor = Executors.newCachedThreadPool();

Executor bossExecutor = Executors.newCachedThreadPool();

ServerBootstrap server = new ServerBootstrap(new NioServerSocketChannelFactory(bossExecutor, workerExecutor));

server.setPipelineFactory(new ChannelPipelineFactory() {

@Override

public ChannelPipeline getPipeline() throws Exception {

ChannelPipeline p = Channels.pipeline();

p.addLast("logging", new LoggingHandler(InternalLogLevel.INFO));

p.addLast("decoder", new Decoder());

p.addLast("handler", new Netty3Handler());

return p;

}

});

server.bind(new InetSocketAddress("127.0.0.1", 9999));

Netty實(shí)戰(zhàn)6——Netty業(yè)務(wù)處理線(xiàn)程池的選擇

根據(jù)我們前面分析的,接收到消息后,為了避免在I/O線(xiàn)程里執(zhí)行耗時(shí)的操作,一般都會(huì)使用線(xiàn)程池來(lái)執(zhí)行業(yè)務(wù)處理邏輯.

那是使用Netty提供給我們的方法,傳入一個(gè)線(xiàn)程池還是使用我們自己定義的線(xiàn)程池好呢?

先來(lái)看Netty給我們提供的

即我們添加handler的時(shí)候可以傳入一個(gè)線(xiàn)程池進(jìn)去

DefaultEventExecutorGroup

它與NioEventLoop之間的區(qū)別又是什么?

其次

也就是說(shuō)使用netty提供默認(rèn)的,是綁定的.如下圖

如果采用自定義線(xiàn)程池時(shí),優(yōu)化方向就是鎖消除.

可以使用Disruptor或者使用ChannelId與業(yè)務(wù)線(xiàn)程池中的某個(gè)業(yè)務(wù)進(jìn)行綁定

鏈接：

c++ 請(qǐng)求netty服務(wù)

用while語(yǔ)句求 。

用傳統(tǒng)流程圖和N-S結(jié)構(gòu)流程圖表示算法，見(jiàn)圖：

main()

{

int i,sum=0;

i=1;

while(i=100)

{

sum=sum+i;

i++;

}

printf("%d\n",sum);

}

netty之NioEventLoop事件循環(huán)處理

NioEventLoop的事件循環(huán)處理，就是在一個(gè)死循環(huán)中處理IO事件和隊(duì)列里的任務(wù)，并且可以根據(jù)策略來(lái)平衡這兩者之間的執(zhí)行比例。

首先，先來(lái)看下selectStrategy，netty中只有一個(gè)默認(rèn)實(shí)現(xiàn)

這個(gè)策略，若是當(dāng)前有任務(wù)，那么返回selectNow()方法的返回值，若是沒(méi)有任務(wù)，則返回SelectStrategy.SELECT（-1）。

因此接下來(lái)的swtich語(yǔ)句塊中只會(huì)有一種情況，就是值為-1時(shí)，表示沒(méi)有任務(wù)。但是并不是就進(jìn)入無(wú)限的阻塞狀態(tài)select()方法中，還會(huì)判斷隊(duì)列是否有定時(shí)任務(wù)要執(zhí)行，若有，則計(jì)算到下一次定時(shí)任務(wù)的時(shí)間間隔，并傳給select()方法中，表示超時(shí)時(shí)間，這個(gè)是為了防止一直在select等待，而沒(méi)有及時(shí)的執(zhí)行定時(shí)任務(wù)。

這個(gè)超時(shí)時(shí)間還會(huì)設(shè)置到原子變量nextWakeupNanos中，這樣應(yīng)用程序就可以通過(guò)nextWakeupNanos獲取到下一次線(xiàn)程喚醒的時(shí)間。當(dāng)線(xiàn)程喚醒后，程序finally會(huì)執(zhí)行nextWakeupNanos.lazySet(AWAKE)，表示線(xiàn)程目前是喚醒狀態(tài)。這個(gè)變量的主要作用是當(dāng)線(xiàn)程阻塞在select方法時(shí)，而此時(shí)又有任務(wù)提交給這個(gè)NioEventLoop執(zhí)行時(shí)

喚醒selector時(shí)，會(huì)先判斷inEventLoop，因?yàn)槿羰莍nEventLoop，就是目前的任務(wù)正在被NioEventLoop的線(xiàn)程執(zhí)行，并沒(méi)有阻塞在selector的select方法，還有會(huì)對(duì)nextWakeupNanos的值設(shè)置為AWAKE喚醒狀態(tài)，若該變量值之前就是喚醒的，那么也不會(huì)喚醒selector。

現(xiàn)在，把流程又回到剛剛的事件循環(huán)run方法中，當(dāng)select方法返回后，要執(zhí)行selectKeys和任務(wù)時(shí)，會(huì)先判斷ioRatio這個(gè)參數(shù)，這個(gè)表示的是在當(dāng)前循環(huán)中處理IO事件的時(shí)間與任務(wù)的比例

在每次的循環(huán)最后，會(huì)判斷NioEventLoop是否shutdown了，若關(guān)閉了，則將Selector上的key都cancel，并關(guān)閉channel。

讓Netty Linux 突破100萬(wàn)的連接量

鏈接：

實(shí)現(xiàn)單機(jī)的百萬(wàn)連接，瓶頸有以下幾點(diǎn)：

1、如何模擬百萬(wàn)連接

2、突破局部文件句柄的限制

3、突破全局文件句柄的限制

在linux系統(tǒng)里面，單個(gè)進(jìn)程打開(kāi)的句柄數(shù)是非常有限的，一條TCP連接就對(duì)應(yīng)一個(gè)文件句柄，而對(duì)于我們應(yīng)用程序來(lái)說(shuō)，一個(gè)服務(wù)端默認(rèn)建立的連接數(shù)是有限制的。

下面通過(guò)優(yōu)化要突破這個(gè)連接數(shù)。

優(yōu)化

1、局部文件句柄限制

一個(gè)jvm進(jìn)程最大能夠打開(kāi)的文件數(shù).png

修改65535的這個(gè)限制

vi /etc/security/limits.conf

在文件末尾添加兩行

*hard nofile 1000000

soft nofile? 1000000

soft和hard為兩種限制方式，其中soft表示警告的限制，hard表示真正限制，nofile表示打開(kāi)的最大文件數(shù)。整體表示任何用戶(hù)一個(gè)進(jìn)程能夠打開(kāi)1000000個(gè)文件。注意語(yǔ)句簽名有

號(hào) 表示任何用戶(hù)

shutdown -r now? 重啟linux

再次查看

已經(jīng)修改生效了。

測(cè)試

最大連接數(shù)10萬(wàn)多.png

2、突破全局文件句柄的限制

cat /proc/sys/fs/file-max

file-max 表示在linux 中最終所有x線(xiàn)程能夠打開(kāi)的最大文件數(shù)

修改這個(gè)最大值：

sudo vi? /etc/sysctl.conf

在文件的末尾添加 fs.file-max=1000000

然后讓文件生效 sudo sysctl -p

這個(gè)時(shí)候再查看一下全局最大文件句柄的數(shù)已經(jīng)變成1000000了

測(cè)試

最大連接數(shù)36萬(wàn)多.png

注： 測(cè)試的服務(wù)器型號(hào)

cpu 相關(guān)配置

網(wǎng)頁(yè)題目：vb.nettyp語(yǔ)句,vbnet property
文章網(wǎng)址：http://chinadenli.net/article16/hedpdg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供靜態(tài)網(wǎng)站、面包屑導(dǎo)航、云服務(wù)器、網(wǎng)站導(dǎo)航、定制開(kāi)發(fā)、建站公司

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀(guān)點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話(huà)：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)