如何快速搭建HBase分布式NoSQL數(shù)據(jù)庫

像MongoDB, Cassandra, HBase, DynamoDB, 和

創(chuàng)新互聯(lián)建站是一家朝氣蓬勃的網(wǎng)站建設(shè)公司。公司專注于為企業(yè)提供信息化建設(shè)解決方案。從事網(wǎng)站開發(fā)，網(wǎng)站制作，網(wǎng)站設(shè)計，網(wǎng)站模板，微信公眾號開發(fā)，軟件開發(fā)，小程序開發(fā)，10余年建站對成都石雕等多個方面，擁有豐富的網(wǎng)站營銷經(jīng)驗。

Riak這些NoSQL缺乏傳統(tǒng)的原子事務(wù)機制，所謂原子事務(wù)機制是可以保證一系列寫操作要么全部完成，要么全部不會完成，不會發(fā)生只完成一系列中一兩個

寫操作;因為數(shù)據(jù)庫不提供這種事務(wù)機制支持，開發(fā)者需要自己編寫代碼來確保一系列寫操作的事務(wù)機制，比較復(fù)雜和測試。

這些NoSQL數(shù)據(jù)庫不提供事務(wù)機制原因在于其分布式特點，一系列寫操作中訪問的數(shù)據(jù)可能位于不同的分區(qū)服務(wù)器，這樣的事務(wù)就變成分布式事務(wù)，在分

布式事務(wù)中實現(xiàn)原子性需要彼此協(xié)調(diào)，而協(xié)調(diào)是耗費時間的，每臺機器在一個大事務(wù)過程中必須依次確認(rèn)，這就需要一種協(xié)議確保一個事務(wù)中沒有任何一臺機器寫操

作失敗。

阿里巴巴采用自己研發(fā)的分布式數(shù)據(jù)庫系統(tǒng)叫什么,它有哪些特點

上層的是分布式數(shù)據(jù)庫分表分庫中間件，負(fù)責(zé)和上層應(yīng)用打交道，對應(yīng)用可表現(xiàn)為一個獨立的數(shù)據(jù)庫，而屏蔽底層復(fù)雜的系統(tǒng)細(xì)節(jié)。分布式數(shù)據(jù)庫中間件除了基本的分表分庫功能，還可以豐富一下，比如講讀寫分離或者水平擴容功能集成在一起，或者比如讀寫分離本身也可以作為一個獨立的中間件。（Cobar, MyCAT, TDDL, DRDS, DDB）

增量數(shù)據(jù)訂閱和消費，用戶對數(shù)據(jù)庫操作，比如DML, DCL, DDL等，這些操作會產(chǎn)生增量數(shù)據(jù)，下層應(yīng)用可以通過監(jiān)測這些增量數(shù)據(jù)進(jìn)行相應(yīng)的處理。典型代表Canal，根據(jù)MySQL的binlog實現(xiàn)。也有針對Oracle(redolog)的增量數(shù)據(jù)訂閱與消費的中間件。（Canal, Erosa）

數(shù)據(jù)庫同步中間件涉及數(shù)據(jù)庫之間的同步操作，可以實現(xiàn)跨（同）機房同步以及異地容災(zāi)備份、分流等功能。可以涉及多種數(shù)據(jù)庫，處理之后的數(shù)據(jù)也可以以多種形式存儲。（Otter, JingoBus, DRC）

數(shù)據(jù)庫與數(shù)據(jù)庫之間會有數(shù)據(jù)遷移（同步）的動作，同款數(shù)據(jù)同步原理比較簡單，比如MySQL主備同步，只要在數(shù)據(jù)庫層進(jìn)行相應(yīng)的配置既可，但是跨數(shù)據(jù)庫同步就比較復(fù)雜了，比如Oracle-MySQL. 數(shù)據(jù)遷移一般包括三個步驟：全量復(fù)制，將原數(shù)據(jù)庫的數(shù)據(jù)全量遷移到新數(shù)據(jù)庫，在這遷移的過程中也會有新的數(shù)據(jù)產(chǎn)生；增量同步，對新產(chǎn)生的數(shù)據(jù)進(jìn)行同步，并持續(xù)一段時間以保證數(shù)據(jù)同步；原庫停寫，切換新庫。將“跨數(shù)據(jù)庫”這個含義擴大一下——“跨數(shù)據(jù)源”，比如HDFS, HBase, FTP等都可以相互同步。（yugong, DataX）

云計算架構(gòu)?

云計算架構(gòu)主要可分為四層，其中有三層是橫向的，分別是顯示層、中間件層和基礎(chǔ)設(shè)施層，通過這三層技術(shù)能夠提供非常豐富的云計算能力和友好的用戶界面，還有一層是縱向的，稱為管理層，是為了更好地管理和維護橫向的三層而存在的。下面介紹每個層次的作用和屬于這個層次的主要技術(shù)。

顯示層

這層主要是用于以友好的方式展現(xiàn)用戶所需的內(nèi)容，并會利用到下面中間件層提供的多種服務(wù)，主要有五種技術(shù)：

HTML：標(biāo)準(zhǔn)的Web頁面技術(shù)，現(xiàn)在主要以HTML4為主，但是將要推出的HTML5會在很多方面推動Web頁面的發(fā)展，比如視頻和本地存儲等方面。

JavaScript：一種用于Web頁面的動態(tài)語言，通過JavaScript，能夠極大地豐富Web頁面的功能，最流行的JS框架有jQuery和Prototype。

CSS：主要用于控制Web頁面的外觀，而且能使頁面的內(nèi)容與其表現(xiàn)形式之間進(jìn)行優(yōu)雅地分離。

Flash：業(yè)界最常用的RIA(Rich Internet Applications)技術(shù)，能夠在現(xiàn)階段提供HTML等技術(shù)所無法提供的基于Web的富應(yīng)用，而且在用戶體驗方面，非常不錯。

Silverlight：來自業(yè)界巨擎微軟的RIA技術(shù)，雖然其現(xiàn)在市場占有率稍遜于Flash，但由于其可以使用C#來進(jìn)行編程，所以對開發(fā)者非常友好。

在顯示層，大多數(shù)云計算產(chǎn)品都比較傾向HTML，、JavaScript和CSS這對黃金組合，但是Flash和Silverlight等RIA技 術(shù)也有一定的用武之地，比如VMware vCloud就采用了基于Flash的Flex技術(shù)，而微軟的云計算產(chǎn)品肯定會在今后使用到Silverlight。

中間件層

這層是承上啟下的，它在下面的基礎(chǔ)設(shè)施層所提供資源的基礎(chǔ)上提供了多種服務(wù)，比如緩存服務(wù)和REST服務(wù)等，而且這些服務(wù)即可用于支撐顯示層，也可以直接讓用戶調(diào)用，并主要有五種技術(shù)：

REST：通過REST技術(shù)，能夠非常方便和優(yōu)雅地將中間件層所支撐的部分服務(wù)提供給調(diào)用者。

多租戶：就是能讓一個單獨的應(yīng)用實例可以為多個組織服務(wù)，而且保持良好的隔離性和安全性，并且通過這種技術(shù)，能有效地降低應(yīng)用的購置和維護成本。

并行處理：為了處理海量的數(shù)據(jù)，需要利用龐大的X86集群進(jìn)行規(guī)模巨大的并行處理，Google的MapReduce是這方面的代表之作。

應(yīng)用服務(wù)器：在原有的應(yīng)用服務(wù)器的基礎(chǔ)上為云計算做了一定程度的優(yōu)化，比如用于Google App Engine的Jetty應(yīng)用服務(wù)器。

分布式緩存：通過分布式緩存技術(shù)，不僅能有效地降低對后臺服務(wù)器的壓力，而且還能加快相應(yīng)的反應(yīng)速度，最著名的分布式緩存例子莫過于Memcached。

對于很多PaaS平臺，比如用于部署Ruby應(yīng)用的Heroku云平臺，應(yīng)用服務(wù)器和分布式緩存都是必備的，同時REST技術(shù)也常用于對外的接口， 多租戶技術(shù)則主要用于SaaS應(yīng)用的后臺，比如用于支撐Salesforce的Sales Cloud等應(yīng)用的Force.com多租戶內(nèi)核，而并行處理技術(shù)常被作為單獨的服務(wù)推出，比如Amazon的Elastic MapReduce。

基礎(chǔ)設(shè)施層

這層作用是為給上面的中間件層或者用戶準(zhǔn)備其所需的計算和存儲等資源，主要有四種技術(shù)：

虛擬化：也可以理解它為基礎(chǔ)設(shè)施層的“多租戶”，因為通過虛擬化技術(shù)，能夠在一個物理服務(wù)器上生成多個虛擬 機，并且能在這些虛擬機之間能實現(xiàn)全面的隔離，這樣不僅能減低服務(wù)器的購置成本，而且還能同時降低服務(wù)器的運維成本，成熟的X86虛擬化技術(shù)有 VMware的ESX和開源的Xen。

分布式存儲：為了承載海量的數(shù)據(jù)，同時也要保證這些數(shù)據(jù)的可管理性，所以需要一整套分布式的存儲系統(tǒng)，在這方面，Google的GFS是典范之作。

關(guān)系型數(shù)據(jù)庫：基本是在原有的關(guān)系型數(shù)據(jù)庫的基礎(chǔ)上做了擴展和管理等方面的優(yōu)化，使其在云中更適應(yīng)。

NoSQL：為了滿足一些關(guān)系數(shù)據(jù)庫所無法滿足的目標(biāo)，比如支撐海量的數(shù)據(jù)等，一些公司特地設(shè)計一批不是基于關(guān)系模型的數(shù)據(jù)庫，比如Google的BigTable和Facebook的Cassandra等。

現(xiàn)在大多數(shù)的IaaS服務(wù)都是基于Xen的，比如Amazon的EC2等，但VMware也推出了基于ESX技術(shù)的vCloud，同時業(yè)界也有幾個 基于關(guān)系型數(shù)據(jù)庫的云服務(wù)，比如Amazon的RDS(Relational Database Service)和Windows Azure SDS(SQL Data Services)等。關(guān)于分布式存儲和NoSQL，它們已經(jīng)被廣泛用于云平臺的后端，比如Google App Engine的Datastore就是基于BigTable和GFS這兩個技術(shù)之上的，而Amazon則推出基于NoSQL技術(shù)的Simple DB。

管理層

這層是為橫向的三層服務(wù)的，并給這三層提供多種管理和維護等方面的技術(shù)，主要有下面這六個方面：

帳號管理：通過良好的帳號管理技術(shù)，能夠在安全的條件下方便用戶地登錄，并方便管理員對帳號的管理。

SLA監(jiān)控：對各個層次運行的虛擬機，服務(wù)和應(yīng)用等進(jìn)行性能方面的監(jiān)控，以使它們都能在滿足預(yù)先設(shè)定的SLA(Service Level Agreement)的情況下運行。

計費管理：也就是對每個用戶所消耗的資源等進(jìn)行統(tǒng)計，來準(zhǔn)確地向用戶索取費用。

安全管理：對數(shù)據(jù)，應(yīng)用和帳號等IT資源采取全面地保護，使其免受犯罪分子和惡意程序的侵害。

負(fù)載均衡：通過將流量分發(fā)給一個應(yīng)用或者服務(wù)的多個實例來應(yīng)對突發(fā)情況。 運維管理：主要是使運維操作盡可能地專業(yè)和自動化 ，從而降低云計算中心成本。

負(fù)載均衡：通過將流量分發(fā)給一個應(yīng)用或者服務(wù)的多個實例來應(yīng)對突發(fā)情況。

運維管理：主要是使運維操作盡可能地專業(yè)和自動化，從而降低云計算中心的運維成本。

現(xiàn)在的云計算產(chǎn)品在帳號管理，計費管理和負(fù)載均衡這三個方面大都表現(xiàn)地不錯，在這方面最突出的例子就是Amazon 的EC2，但可惜的是，大多數(shù)產(chǎn)品在SLA監(jiān)控，安全管理和運維管理等方面還有所欠缺。

舉例

接下來，將以Salesforce的Sales Cloud和Google的App Engine這兩個著名的云計算產(chǎn)品為例，來幫助大家理解本文所提到的云計算架構(gòu)：

Salesforce Sales Cloud

也就是之前的Salesforce CRM(客戶關(guān)系管理)，屬于云計算中的SaaS層，主要是通過在云中部署可定制化的CRM應(yīng)用，來讓企業(yè)用戶在很低初始投入的情況下使用上CRM，并且 可根據(jù)自身的流程來進(jìn)行靈活地定制，而且只需接入網(wǎng)絡(luò)就能使用。在技術(shù)層面上大致的架構(gòu)：

采用的主要技術(shù)：

顯示層：基于HTML、JavaScript和CSS這對黃金組合。

中間件層：在此層，Salesforce引入了多租戶內(nèi)核和為支撐此內(nèi)核運行而經(jīng)過定制的應(yīng)用服務(wù)器。

基礎(chǔ)設(shè)施層：雖然在后端還是使用在企業(yè)環(huán)境中很常見的Oracle數(shù)據(jù)庫，但是其為了支撐上層的多租戶內(nèi)核做了很多的優(yōu)化。

管理層：在安全管理方面，Salesforce提供了多層保護，并支持SSL加密等技術(shù)，除此之外，其還在帳號管理、計費管理和負(fù)載均衡這三方面有不錯地支持。

Google App Engine

App Engine屬于云計算中的PaaS層，其主要提供一個平臺，來讓用戶在Google強大的基礎(chǔ)設(shè)施上部署和運行應(yīng)用程序，同時App Engine會根據(jù)應(yīng)用所承受的負(fù)載來對應(yīng)用所需的資源進(jìn)行調(diào)整，并免去用戶對應(yīng)用和服務(wù)器等的維護工作，而且支持Java和Python這兩種語言。由 于App Engine屬于PaaS平臺，所以關(guān)于顯示層的技術(shù)選擇由應(yīng)用的自身需要而定，與App Engine無關(guān)，關(guān)于App Engine在技術(shù)層面上大致的架構(gòu)。

采用的主要技術(shù)：

中間件層：既有經(jīng)過定制化的應(yīng)用服務(wù)器，比如上面已經(jīng)提到過的Jetty，也提供基于Memcached的分布式緩存服務(wù)。

基礎(chǔ)設(shè)施層： 在分布式存儲GFS的基礎(chǔ)上提供了NoSQL數(shù)據(jù)庫BigTable來對應(yīng)用的數(shù)據(jù)進(jìn)行持久化。

管理層：由于App Engine是基于Google強大的分布式基礎(chǔ)設(shè)施，使其在運維管理技術(shù)方面非常出色，同時其計費管理能做到非常細(xì)粒度的API級計費，而且App Engine在帳號管理和負(fù)載均衡這兩方面都有非常好地支持。

以上內(nèi)容分析源自O(shè)Fweek物聯(lián)網(wǎng)，希望對大家有幫助。

阿里云的主要功能是什么？

阿里云致力于以在線公共服務(wù)的方式，提供安全、可靠的計算和數(shù)據(jù)處理能力，讓計算和人工智能成為普惠科技。

阿里云服務(wù)著制造、金融、政務(wù)、交通、醫(yī)療、電信、能源等眾多領(lǐng)域的領(lǐng)軍企業(yè)，包括中國聯(lián)通、12306、中石化、中石油、飛利浦、華大基因等大型企業(yè)客戶，以及微博、知乎、錘子科技等明星互聯(lián)網(wǎng)公司。在天貓雙11全球狂歡節(jié)、12306春運購票等極富挑戰(zhàn)的應(yīng)用場景中，阿里云保持著良好的運行紀(jì)錄。

阿里云在全球各地部署高效節(jié)能的綠色數(shù)據(jù)中心，利用清潔計算為萬物互聯(lián)的新世界提供源源不斷的能源動力，目前開服的區(qū)域包括中國（華北、華東、華南、香港）、新加坡、美國（美東、美西）、歐洲、中東、澳大利亞、日本。

擴展資料：

阿里云主要產(chǎn)品：

1、彈性計算：

云服務(wù)器ECS：可彈性擴展、安全、穩(wěn)定、易用的計算服務(wù)

塊存儲：可彈性擴展、高性能、高可靠的塊級隨機存儲

專有網(wǎng)絡(luò)VPC：幫您輕松構(gòu)建邏輯隔離的專有網(wǎng)絡(luò)

負(fù)載均衡：對多臺云服務(wù)器進(jìn)行流量分發(fā)的負(fù)載均衡服務(wù)

彈性伸縮：自動調(diào)整彈性計算資源的管理服務(wù)

資源編排：批量創(chuàng)建、管理、配置云計算資源

容器服務(wù)：應(yīng)用全生命周期管理的Docker服務(wù)

高性能計算HPC：加速深度學(xué)習(xí)、渲染和科學(xué)計算的GPU物理機

批量計算：簡單易用的大規(guī)模并行批處理計算服務(wù)

E-MapReduce：基于Hadoop/Spark的大數(shù)據(jù)處理分析服務(wù)

2、數(shù)據(jù)庫：

云數(shù)據(jù)庫RDS：完全兼容MySQL，SQLServer，PostgreSQL

云數(shù)據(jù)庫MongoDB版：三節(jié)點副本集保證高可用

云數(shù)據(jù)庫Redis版：兼容開源Redis協(xié)議的Key-Value類型

云數(shù)據(jù)庫Memcache版：在線緩存服務(wù)，為熱點數(shù)據(jù)的訪問提供高速響應(yīng)

PB級云數(shù)據(jù)庫PetaData：支持PB級海量數(shù)據(jù)存儲的分布式關(guān)系型數(shù)據(jù)庫

云數(shù)據(jù)庫HybridDB：基于GreenplumDatabase的MPP數(shù)據(jù)倉庫

云數(shù)據(jù)庫OceanBase：金融級高可靠、高性能、分布式自研數(shù)據(jù)庫

數(shù)據(jù)傳輸：比GoldenGate更易用，阿里異地多活基礎(chǔ)架構(gòu)

數(shù)據(jù)管理：比phpMyadmin更強大，比Navicat更易用

3、存儲：

對象存儲OSS：海量、安全和高可靠的云存儲服務(wù)

文件存儲：無限擴展、多共享、標(biāo)準(zhǔn)文件協(xié)議的文件存儲服務(wù)

歸檔存儲：海量數(shù)據(jù)的長期歸檔、備份服務(wù)

塊存儲：可彈性擴展、高性能、高可靠的塊級隨機存儲

表格存儲：高并發(fā)、低延時、無限容量的Nosql數(shù)據(jù)存儲服務(wù)

4、網(wǎng)絡(luò)：

CDN：跨運營商、跨地域全網(wǎng)覆蓋的網(wǎng)絡(luò)加速服務(wù)

專有網(wǎng)絡(luò)VPC：幫您輕松構(gòu)建邏輯隔離的專有網(wǎng)絡(luò)

高速通道：高速穩(wěn)定的VPC互聯(lián)和專線接入服務(wù)

NAT網(wǎng)關(guān)：支持NAT轉(zhuǎn)發(fā)、共享帶寬的VPC網(wǎng)關(guān)

2018年6月20日，阿里云宣布聯(lián)合三大運營商全面對外提供IPv6服務(wù)。

5、大數(shù)據(jù)：

MaxCompute：原名ODPS，是一種快速、完全托管的TB/PB級數(shù)據(jù)倉庫解決方案。

QuickBI：高效數(shù)據(jù)分析與展現(xiàn)平臺，通過對數(shù)據(jù)源的連接，和數(shù)據(jù)集的創(chuàng)建，對數(shù)據(jù)進(jìn)行即席的分析與查詢。并通過電子表格或儀表板功能，以拖拽的方式進(jìn)行數(shù)據(jù)的可視化呈現(xiàn)。

大數(shù)據(jù)開發(fā)套件：提供可視化開發(fā)界面、離線任務(wù)調(diào)度運維、快速數(shù)據(jù)集成、多人協(xié)同工作等功能，擁有強大的OpenAPI為數(shù)據(jù)應(yīng)用開發(fā)者提供良好的再創(chuàng)作生態(tài)

DataV數(shù)據(jù)可視化：專精于業(yè)務(wù)數(shù)據(jù)與地理信息融合的大數(shù)據(jù)可視化，通過圖形界面輕松搭建專業(yè)的可視化應(yīng)用，滿足您日常業(yè)務(wù)監(jiān)控、調(diào)度、會展演示等多場景使用需求

關(guān)系網(wǎng)絡(luò)分析：基于關(guān)系網(wǎng)絡(luò)的大數(shù)據(jù)可視化分析平臺，針對數(shù)據(jù)情報偵察場景賦能，如打擊虛假交易，審理保險騙賠，案件還原研判等

推薦引擎：推薦服務(wù)框架，用于實時預(yù)測用戶對物品偏好，支持A/BTest效果對比

公眾趨勢分析：利用語義分析、情感算法和機器學(xué)習(xí)，分析公眾對品牌形象、熱點事件和公共政策的認(rèn)知趨勢

企業(yè)圖譜：提供企業(yè)多維度信息查詢，方便企業(yè)構(gòu)建基于企業(yè)畫像及企業(yè)關(guān)系網(wǎng)絡(luò)的風(fēng)險控制、市場監(jiān)測等企業(yè)級服務(wù)

數(shù)據(jù)集成：穩(wěn)定高效、彈性伸縮的數(shù)據(jù)同步平臺，為阿里云各個云產(chǎn)品提供離線(批量)數(shù)據(jù)進(jìn)出通道

分析型數(shù)據(jù)庫：在毫秒級針對千億級數(shù)據(jù)進(jìn)行即時的多維分析透視和業(yè)務(wù)探索

流計算：流式大數(shù)據(jù)分析平臺，提供給用戶在云上進(jìn)行流式數(shù)據(jù)實時化分析工具

6、人工智能：

機器學(xué)習(xí)：基于阿里云分布式計算引擎的一款機器學(xué)習(xí)算法平臺，用戶通過拖拉拽的方式可視化的操作組件來進(jìn)行試驗，平臺提供了豐富的組件，包括數(shù)據(jù)預(yù)處理、特征工程、算法組件、預(yù)測與評估

語音識別與合成：基于語音識別、語音合成、自然語言理解等技術(shù)，為企業(yè)在多種實際應(yīng)用場景下，賦予產(chǎn)品“能聽、會說、懂你”式的智能人機交互體驗

人臉識別：提供圖像和視頻幀中人臉分析的在線服務(wù)，包括人臉檢測、人臉特征提取、人臉年齡估計和性別識別、人臉關(guān)鍵點定位等獨立服務(wù)模塊

印刷文字識別：將圖片中的文字識別出來，包括身份證文字識別、門店招牌識別、行駛證識別、駕駛證識別、名片識別等證件類文字識別場景

7、云安全：

服務(wù)器安全（安騎士）：由輕量級Agent和云端組成，集檢測、修復(fù)、防御為一體，提供網(wǎng)站后門查殺、通用Web軟件0day漏洞修復(fù)、安全基線巡檢、主機訪問控制等功能，保障服務(wù)器安全

DDoS高防IP：云盾DDoS高防IP是針對互聯(lián)網(wǎng)服務(wù)器（包括非阿里云主機）在遭受大流量的DDoS攻擊后導(dǎo)致服務(wù)不可用的情況下，推出的付費增值服務(wù)，用戶可以通過配置高防IP，將攻擊流量引流到高防IP，確保源站的穩(wěn)定可靠

Web應(yīng)用防火墻：網(wǎng)站必備的一款安全防護產(chǎn)品。通過分析網(wǎng)站的訪問請求、過濾異常攻擊，保護網(wǎng)站業(yè)務(wù)可用及資產(chǎn)數(shù)據(jù)安全

加密服務(wù)：滿足云上數(shù)據(jù)加密，密鑰管理、加解密運算需求的數(shù)據(jù)安全解決方案

CA證書服務(wù)：云上簽發(fā)Symantec、CFCA、GeoTrustSSL數(shù)字證書，部署簡單，輕松實現(xiàn)全站HTTPS化，防監(jiān)聽、防劫持，呈現(xiàn)給用戶可信的網(wǎng)站訪問

數(shù)據(jù)風(fēng)控：凝聚阿里多年業(yè)務(wù)風(fēng)控經(jīng)驗，專業(yè)、實時對抗垃圾注冊、刷庫撞庫、活動作弊、論壇灌水等嚴(yán)重威脅互聯(lián)網(wǎng)業(yè)務(wù)安全的風(fēng)險

綠網(wǎng)：智能識別文本、圖片、視頻等多媒體的內(nèi)容違規(guī)風(fēng)險，如涉黃，暴恐，涉政等，省去90%人力成本

安全管家：基于阿里云多年安全實踐經(jīng)驗為云上用戶提供的全方位安全技術(shù)和咨詢服務(wù)，為云上用戶建立和持續(xù)優(yōu)化云安全防御體系，保障用戶業(yè)務(wù)安全

云盾混合云：在用戶自有IDC、專有云、公共云、混合云等多種業(yè)務(wù)環(huán)境為用戶建設(shè)涵蓋網(wǎng)絡(luò)安全、應(yīng)用安全、主機安全、安全態(tài)勢感知的全方位互聯(lián)網(wǎng)安全攻防體系

態(tài)勢感知：安全大數(shù)據(jù)分析平臺，通過機器學(xué)習(xí)和結(jié)合全網(wǎng)威脅情報，發(fā)現(xiàn)傳統(tǒng)防御軟件無法覆蓋的網(wǎng)絡(luò)威脅，溯源攻擊手段、并且提供可行動的解決方案

先知：全球頂尖白帽子和安全公司幫你找漏洞，最私密的安全眾測平臺。全面體檢，提早發(fā)現(xiàn)業(yè)務(wù)漏洞及風(fēng)險，按效果付費

移動安全：為移動APP提供安全漏洞、惡意代碼、仿冒應(yīng)用等檢測服務(wù)，并可對應(yīng)用進(jìn)行安全增強，提高反破解和反逆向能力。

8、互聯(lián)網(wǎng)中間件：

企業(yè)級分布式應(yīng)用服務(wù)EDAS：以應(yīng)用為中心的中間件PaaS平臺、

消息隊列MQ：ApacheRocketMQ商業(yè)版企業(yè)級異步通信中間件

分布式關(guān)系型數(shù)據(jù)庫服務(wù)DRDS：水平拆分/讀寫分離的在線分布式數(shù)據(jù)庫服務(wù)

云服務(wù)總線CSB：企業(yè)級互聯(lián)網(wǎng)能力開放平臺

業(yè)務(wù)實施監(jiān)控服務(wù)ARMS：端到端一體化實時監(jiān)控解決方案產(chǎn)品

9、分析：

E-MapReduce：基于Hadoop/Spark的大數(shù)據(jù)處理分析服務(wù)

云數(shù)據(jù)庫HybirdDB：基于GreenplumDatabase的MPP數(shù)據(jù)倉庫

高性能計算HPC：加速深度學(xué)習(xí)、渲染和科學(xué)計算的GPU物理機

大數(shù)據(jù)計算服務(wù)MaxCompute：TB/PB級數(shù)據(jù)倉庫解決方案

分析型數(shù)據(jù)庫：海量數(shù)據(jù)實時高并發(fā)在線分析

開放搜索：結(jié)構(gòu)化數(shù)據(jù)搜索托管服務(wù)

QuickBI：通過對數(shù)據(jù)源的連接，對數(shù)據(jù)進(jìn)行即席分析和可視化呈現(xiàn)。

參考資料：

百度百科-阿里云

阿里IM技術(shù)分享(六)：閑魚億級IM消息系統(tǒng)的離線推送到達(dá)率優(yōu)化

本文由阿里閑魚技術(shù)團隊逸昂分享，原題“消息鏈路優(yōu)化之弱感知鏈路優(yōu)化”，有修訂和改動，感謝作者的分享。

閑魚的IM消息系統(tǒng)作為買家與賣家的溝通工具，增進(jìn)理解、促進(jìn)信任，對閑魚的商品成交有重要的價值，是提升用戶體驗最關(guān)鍵的環(huán)節(jié)。

然而，隨著業(yè)務(wù)體量的快速增長，當(dāng)前這套消息系統(tǒng)正面臨著諸多急待解決的問題。

以下幾個問題典型最為典型：

1） 在線消息的體驗提升；

2） 離線推送的到達(dá)率；

3） 消息玩法與消息底層系統(tǒng)的耦合過強。

經(jīng)過評估，我們認(rèn)為現(xiàn)階段離線推送的到達(dá)率問題最為關(guān)鍵，對用戶體驗影響較大。

本文將要分享的是閑魚IM消息在解決離線推送的到達(dá)率方面的技術(shù)實踐，內(nèi)容包括問題分析和技術(shù)優(yōu)化思路等 ，希望能帶給你啟發(fā)。

（本文已同步發(fā)布于： ?）

本文是系列文章的第6篇，總目錄如下：

《 阿里IM技術(shù)分享(一)：企業(yè)級IM王者——釘釘在后端架構(gòu)上的過人之處 》

《 阿里IM技術(shù)分享(二)：閑魚IM基于Flutter的移動端跨端改造實踐 》

《 阿里IM技術(shù)分享(三)：閑魚億級IM消息系統(tǒng)的架構(gòu)演進(jìn)之路 》

《 阿里IM技術(shù)分享(四)：閑魚億級IM消息系統(tǒng)的可靠投遞優(yōu)化實踐 》

《 阿里IM技術(shù)分享(五)：閑魚億級IM消息系統(tǒng)的及時性優(yōu)化實踐 》

《 阿里IM技術(shù)分享(六)：閑魚億級IM消息系統(tǒng)的離線推送到達(dá)率優(yōu)化 》（* 本文）

從數(shù)據(jù)通信鏈接的技術(shù)角度，我們根據(jù)閑魚客戶端是否在線，將整體消息鏈路大致分為強感知鏈路和弱感知鏈路。

強感知鏈路由以下子系統(tǒng)或模塊：

1） 發(fā)送方客戶端；

2） idleapi-message（閑魚的消息網(wǎng)關(guān)）；

3） heracles（閑魚的消息底層服務(wù)）；

4） accs（阿里自研的長連接通道）；

5） 接收方客戶端組成。

整條鏈路的核心指標(biāo)在于端到端延遲和消息到達(dá)率。

強感知鏈路中的雙方都是在線的，消息到達(dá)客戶端就可以保證接收方感知到。強感知鏈路的主要痛點在消息的端到端延遲。

弱感知鏈路與強感知鏈路的主要不同在于： 弱感知鏈路的接收方是離線的，需要依賴離線推送這樣的方式送達(dá)。

因此弱感知鏈路的用戶感知度不強，其核心指標(biāo)在于消息的到達(dá)率，而非延遲。

所以當(dāng)前階段，優(yōu)化弱感知鏈路的重點也就是提升離線消息的到達(dá)率。換句話說， 提升離線消息到達(dá)率問題，也就是優(yōu)化弱感知鏈路本身 。

下圖一張整個IM消息系統(tǒng)的架構(gòu)圖，感受下整體鏈路：

如上圖所示，各主要組件和子系統(tǒng)分工如下：

1） HSF是一個遠(yuǎn)程服務(wù)框架，是dubbo的內(nèi)部版本；

2） tair是阿里自研的分布式緩存框架，支持 memcached、Redis、LevelDB 等不同存儲引擎；

3） agoo是阿里的離線推送中臺，負(fù)責(zé)整合不同廠商的離線推送通道，向集團用戶提供一個統(tǒng)一的離線推送服務(wù)；

4） accs是阿里自研的長連接通道，為客戶端、服務(wù)端的實時雙向交互提供便利；

5） lindorm是阿里自研的NoSQL產(chǎn)品，與HBase有異曲同工之妙；

6） 域環(huán)是閑魚消息優(yōu)化性能的核心結(jié)構(gòu)，用來存儲用戶最新的若干條消息。

強感知鏈路和弱感知鏈路在通道選擇上是不同的：

1） 強感知鏈路使用accs這個在線通道；

2） 弱感知鏈路使用agoo這個離線通道。

通俗了說，弱感知鏈路指的就是離線消息推送系統(tǒng)。

相比較于在線消息和端內(nèi)推送（也就是上面說的強感知鏈路），離線推送難以確保被用戶感知到。

典型的情況包括：

1） 未發(fā)送到用戶設(shè)備：即推送未送達(dá)用戶設(shè)備，這種情況可以從通道的返回分析；

2） 發(fā)送到用戶設(shè)備但沒有展示到系統(tǒng)通知欄：閑魚曾遇到通道返回成功，但是用戶未看到推送的案例；

3） 展示到通知欄，并被系統(tǒng)折疊：不同安卓廠商對推送的折疊策略不同，被折疊后，需用戶主動展開才能看到內(nèi)容，觸達(dá)效果明顯變差；

4） 展示到通知欄，并被用戶忽略：離線推送的點擊率相比于在線推送更低。

針對“1）未發(fā)送到用戶設(shè)備”，原因有：

1） 離線通道的token失效；

2） 參數(shù)錯誤；

3） 用戶關(guān)閉應(yīng)用通知；

4） 用戶已卸載等。

針對“3）展示到通知欄，并被系統(tǒng)折疊”，原因有：

1） 通知的點擊率；

2） 應(yīng)用在廠商處的權(quán)重；

3） 推送的數(shù)量等。

針對“4）展示到通知欄，并被用戶忽略”，原因有：

1） 用戶不愿意查看推送；

2） 用戶看到了推送，但是對內(nèi)容不感興趣；

3） 用戶在忙別的事，無暇處理。

總之： 以上這些離線消息推送場景，對于用戶來說感知度不高，我們也便稱之為弱感知鏈路。

我們的弱感知鏈路分為3部分，即：

1） 系統(tǒng)；

2） 通道；

3） 用戶。

共包含了Hermes、agoo、廠商、設(shè)備、用戶、承接頁這幾個環(huán)節(jié)。具體如下圖所示。

從推送的產(chǎn)生到用戶最終進(jìn)入APP，共分為如下幾個步驟：

步驟1 ：Hermes是閑魚的用戶觸達(dá)系統(tǒng)，負(fù)責(zé)人群管理、內(nèi)容管理、時機把控，是整個弱感知鏈路的起點。；

步驟2 ：agoo是阿里內(nèi)部承接離線推送的中臺，是閑魚離線推送能力的基礎(chǔ)；

步驟3 ：agoo實現(xiàn)離線推送依靠的是廠商的推送通道（如：蘋果的 apns通道 、Google的fcm通道、及 國內(nèi)各廠商的自建通道 。；

步驟4 ：通過廠商的通道，推送最終出現(xiàn)在用戶的設(shè)備上，這是用戶能感知到推送的前提條件；

步驟5 ：如果用戶剛巧看到這條推送，推送的內(nèi)容也很有趣，在用戶的主動點擊下會喚起APP，打開承接頁，進(jìn)而給用戶展示個性化的商品。

經(jīng)過以上5個步驟，至此弱感知鏈路就完成了使命。

弱感知鏈路的核心問題在于：

1） 推送的消息是否投遞給了用戶；

2） 已投遞到的消息用戶是否有感知。

這對應(yīng)推送的兩個階段：

1） 推送消息是否已到達(dá)設(shè)備；

2） 用戶是否查看推送并點擊。

其中： 到達(dá)設(shè)備這個階段是最基礎(chǔ)的，也是本次優(yōu)化的核心。

我們可以將每一步的消息處理量依次平鋪，展開為一張漏斗圖，從而直觀的查看鏈路的瓶頸。

漏斗圖斜率最大的地方是優(yōu)化的重點，差異小的地方不需要優(yōu)化：

通過分析以上漏斗圖，弱感知鏈路的優(yōu)化重點在三個方面：

1） agoo受理率：是指我們發(fā)送推送請到的數(shù)量到可以通過agoo（阿里承接離線推送的中臺）轉(zhuǎn)發(fā)到廠商通道的數(shù)量之間的漏斗；

2） 廠商受理率：是指agoo中臺受理的量到廠商返回成功的量之間的漏斗；

3） Push點擊率：也就通過以上通道最終已送到到用戶終端的消息，是否最終轉(zhuǎn)化為用戶的主動“點擊”。

有了優(yōu)化方向，我們來看看優(yōu)化手段吧。

跟隨推送的視角，順著鏈路看一下我們是如何進(jìn)行優(yōu)化的。

用戶的推送，從 Hermes 站點搭乘“班車”，駛向下一站：? agoo 。

這是推送經(jīng)歷的第一站。到站一看，傻眼了，只有不到一半的推送到站下車了。這是咋回事嘞？

這就要先說說 agoo 了，調(diào)用 agoo 有兩種方式：

1） 指定設(shè)備和客戶端，agoo直接將推送投遞到相應(yīng)的設(shè)備；

2） 指定用戶和客戶端，agoo根據(jù)內(nèi)部的轉(zhuǎn)換表，找到用戶對應(yīng)的設(shè)備，再進(jìn)行投遞。

我們的系統(tǒng)不保存用戶的設(shè)備信息。因此，是按照用戶來調(diào)用agoo的。

同時： 由于沒有用戶的設(shè)備信息，并不知道用戶是 iOS 客戶端還是 Android 客戶端。工程側(cè)不得不向 iOS 和 Android 都發(fā)送一遍推送。雖然保證了到達(dá)，但是，一半的調(diào)用都是無效的。

為了解這個問題： 我們使用了agoo的設(shè)備信息。將用戶轉(zhuǎn)換設(shè)備這一階段提前到了調(diào)用 agoo 之前，先明確用戶對應(yīng)的設(shè)備，再指定設(shè)備調(diào)用 agoo，從而避免無效調(diào)用。

agoo調(diào)用方式優(yōu)化后，立刻剔除了無效調(diào)用，agoo受理率有了明顯提升。

至此： 我們總算能對 agoo 受理失敗的真正原因做一個高大上的分析了。

根據(jù)統(tǒng)計： 推送被 agoo 拒絕的主要原因是——用戶關(guān)閉了通知權(quán)限。同時，我們對 agoo 調(diào)用數(shù)據(jù)的進(jìn)一步分析發(fā)現(xiàn)——有部分用戶找不到對應(yīng)的設(shè)備。 優(yōu)化到此，我們猛然發(fā)現(xiàn)多了兩個問題。

那就繼續(xù)優(yōu)化唄：

1） 通知體驗優(yōu)化，引導(dǎo)打開通知權(quán)限；

2） 與agoo共建設(shè)備庫，解決設(shè)備轉(zhuǎn)換失敗的問題。

這兩個優(yōu)化方向又是一片新天地，我們擇日再聊。

推送到達(dá) agoo ，分機型搭乘廠商“專列”，駛向下一站：用戶設(shè)備。

這是推送經(jīng)歷的第二站。出站查票，發(fā)現(xiàn)竟然超員了。

于是乎： 我們每天有大量推送因為超過廠商設(shè)定的限額被攔截。

為什么會這樣呢？

實際上： 提供推送通道的廠商（沒錯， 各手機廠商的自家推送通道良莠不齊 ），為了保證用戶體驗，會對每個應(yīng)用能夠推送的消息總量進(jìn)行限制。

對于廠商而言，這個限制會根據(jù)推送的類型和應(yīng)用的用戶規(guī)模設(shè)定——推送主要分為產(chǎn)品類的推送和營銷類的推送。

廠商推送通道對于不同類型消息的限制是：

1） 對于產(chǎn)品類推送，廠商會保證到達(dá)；

2） 對于營銷類推送，廠商會進(jìn)行額度限制；

3） 未標(biāo)記的推送，默認(rèn)作為營銷類推送對待。

我們剛好沒有對推送進(jìn)行標(biāo)記，因此觸發(fā)了廠商的推送限制。

這對我們的用戶來說，會帶來困擾。閑魚的交易，很依賴買賣家之間的消息互動。這部分消息是需要確保到達(dá)的。

同樣： 訂單類的消息、用戶的關(guān)注，也需要保證推送給用戶。

根據(jù)主流廠商的接口協(xié)議，我們將推送的消息分為以下幾類，并進(jìn)行相應(yīng)標(biāo)記：

1） 即時通訊消息；

2） 訂單狀態(tài)變化；

3） 用戶關(guān)注內(nèi)容；

4） 營銷消息這幾類。

同時，在業(yè)務(wù)上，我們也進(jìn)行了推送的治理——將用戶關(guān)注度不高的消息，取消推送，避免打擾。

經(jīng)過這些優(yōu)化，因為超過廠商限額而被攔截的推送實現(xiàn)了清零。

通過優(yōu)化agoo受理率、廠商受理率，我們解決了推送到達(dá)量的瓶頸。但即使消息被最終送達(dá)，用戶到底點擊了沒有？這才是消息推送的根本意義所在。

于是，在日常的開發(fā)測試過程中，我們發(fā)現(xiàn)了推送的兩個體驗問題：

1） 用戶點擊Push有開屏廣告；

2） 營銷Push也有權(quán)限校驗，更換用戶登陸后無法點擊。

對于開屏廣告功能，我們增加了Push點擊跳過廣告的能力。

針對Push的權(quán)限校驗功能，閑魚根據(jù)場景做了細(xì)分：

1） 涉及個人隱私的推送，保持權(quán)限校驗不變；

2） 營銷類的推送，放開權(quán)限校驗。

以上是點擊體驗的優(yōu)化，我們還需要考慮用戶的點擊意愿。

用戶點擊量與推送的曝光量、推送素材的有趣程度相關(guān)。推送的曝光量又和推送的到達(dá)量、推送的到達(dá)時機有關(guān)。

具體的優(yōu)化手段是：

1） 在推送內(nèi)容上：我們需要優(yōu)化的是推送的時機和相應(yīng)的素材；

2） 在推送時機上：算法會根據(jù)用戶的偏好和個性化行為數(shù)據(jù)，計算每個用戶的個性化推送時間，在用戶空閑的時間推送（避免在不合適的時間打擾用戶，同時也能提升用戶看到推送的可能性）。

3） 在推送素材上：算法會根據(jù)素材的實時點擊反饋，對素材做實時賽馬。只發(fā)用戶感興趣的素材，提高用戶點擊意愿。

通過以上我們的分析和技術(shù)優(yōu)化手段，整體弱推送鏈路鏈路有了不錯的提升，離線消息的到達(dá)率相對提升了兩位數(shù)。

本篇主要和大家聊的是只是IM消息系統(tǒng)鏈路中的一環(huán)——弱感知鏈路的優(yōu)化，落地到到具體的業(yè)務(wù)也就是離線消息送達(dá)率問題。

整體IM消息系統(tǒng)，還是一個比較復(fù)雜的領(lǐng)域。

我們在消息系統(tǒng)的發(fā)展過程中，面臨著如下問題：

1） 如何進(jìn)行消息的鏈路追蹤；

2） 如何保證IM消息的快速到達(dá)（見《 閑魚億級IM消息系統(tǒng)的及時性優(yōu)化實踐 》)；

3） 如何將消息的玩法和底層能力分離；

4） 離線推送中如何通過用戶找到對應(yīng)的設(shè)備。

這些問題，我們在以前的文章中有所分享，以后也會陸續(xù)分享更多，敬請期待。

[1]? Android P正式版即將到來：后臺應(yīng)用保活、消息推送的真正噩夢

[2]? 一套高可用、易伸縮、高并發(fā)的IM群聊、單聊架構(gòu)方案設(shè)計實踐

[3]? 一套億級用戶的IM架構(gòu)技術(shù)干貨(上篇)：整體架構(gòu)、服務(wù)拆分等

[4]? 一套億級用戶的IM架構(gòu)技術(shù)干貨(下篇)：可靠性、有序性、弱網(wǎng)優(yōu)化等

[5]? 從新手到專家：如何設(shè)計一套億級消息量的分布式IM系統(tǒng)

[6]? 企業(yè)微信的IM架構(gòu)設(shè)計揭秘：消息模型、萬人群、已讀回執(zhí)、消息撤回等

[7]? 融云技術(shù)分享：全面揭秘億級IM消息的可靠投遞機制

[8]? 移動端IM中大規(guī)模群消息的推送如何保證效率、實時性？

[9]? 現(xiàn)代IM系統(tǒng)中聊天消息的同步和存儲方案探討

[10]? 新手入門一篇就夠：從零開發(fā)移動端IM

[11]? 移動端IM開發(fā)者必讀(一)：通俗易懂，理解移動網(wǎng)絡(luò)的“弱”和“慢”

[12]? 移動端IM開發(fā)者必讀(二)：史上最全移動弱網(wǎng)絡(luò)優(yōu)化方法總結(jié)

[13]? IM消息送達(dá)保證機制實現(xiàn)(一)：保證在線實時消息的可靠投遞

[14]? IM消息送達(dá)保證機制實現(xiàn)(二)：保證離線消息的可靠投遞

[15]? 零基礎(chǔ)IM開發(fā)入門(一)：什么是IM系統(tǒng)？

[16]? 零基礎(chǔ)IM開發(fā)入門(二)：什么是IM系統(tǒng)的實時性？

[17]? 零基礎(chǔ)IM開發(fā)入門(三)：什么是IM系統(tǒng)的可靠性？

[18]? 零基礎(chǔ)IM開發(fā)入門(四)：什么是IM系統(tǒng)的消息時序一致性？

（本文已同步發(fā)布于： ?）

分布式數(shù)據(jù)庫和nosql區(qū)別嗎

互聯(lián)網(wǎng)公司常用的基本集中在以下幾種，每種只舉一個比較常見或者應(yīng)用比較成功的例子吧。

1. In-Memory KV Store : Redis

in memory key-value store，同時提供了更加豐富的數(shù)據(jù)結(jié)構(gòu)和運算的能力，成功用法是替代memcached，通過checkpoint和commit log提供了快速的宕機恢復(fù)，同時支持replication提供讀可擴展和高可用。

2. Disk-Based KV Store: Leveldb

真正基于磁盤的key-value storage, 模型單一簡單，數(shù)據(jù)量不受限于內(nèi)存大小，數(shù)據(jù)落盤高可靠，Google的幾位大神出品的精品，LSM模型天然寫優(yōu)化，順序?qū)懕P的方式對于新硬件ssd再適合不過了，不足是僅提供了一個庫，需要自己封裝server端。

3. Document Store: Mongodb

分布式nosql，具備了區(qū)別mysql的最大亮點：可擴展性。mongodb 最新引人的莫過于提供了sql接口，是目前nosql里最像mysql的，只是沒有ACID的特性，發(fā)展很快，支持了索引等特性，上手容易，對于數(shù)據(jù)量遠(yuǎn)超內(nèi)存限制的場景來說，還需要慎重。

4. Column Table Store: HBase

這個富二代似乎不用贅述了，最大的優(yōu)勢是開源，對于普通的scan和基于行的get等基本查詢，性能完全不是問題，只是只提供裸的api,易用性上是短板，可擴展性方面是最強的，其次坐上了Hadoop的快車，社區(qū)發(fā)展很快，各種基于其上的開源產(chǎn)品不少，來解決諸如join、聚集運算等復(fù)雜查詢。

文章標(biāo)題：阿里分布式nosql,阿里分布式鏈路追蹤
文章分享：http://chinadenli.net/article39/dsgipph.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供響應(yīng)式網(wǎng)站、小程序開發(fā)、品牌網(wǎng)站設(shè)計、網(wǎng)頁設(shè)計公司、網(wǎng)站建設(shè)、App設(shè)計

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)