nosql數(shù)據(jù)庫有哪些

1. CouchDB

創(chuàng)新互聯(lián)建站堅信：善待客戶，將會成為終身客戶。我們能堅持多年，是因為我們一直可值得信賴。我們從不忽悠初訪客戶，我們用心做好本職工作，不忘初心，方得始終。10年網(wǎng)站建設(shè)經(jīng)驗創(chuàng)新互聯(lián)建站是成都老牌網(wǎng)站營銷服務(wù)商,為您提供網(wǎng)站設(shè)計制作、做網(wǎng)站、網(wǎng)站設(shè)計、HTML5建站、網(wǎng)站制作、成都品牌網(wǎng)站建設(shè)、小程序設(shè)計服務(wù),給眾多知名企業(yè)提供過好品質(zhì)的建站服務(wù)。

所用語言： Erlang

特點：DB一致性，易于使用

使用許可： Apache

協(xié)議： HTTP/REST

雙向數(shù)據(jù)復(fù)制，

持續(xù)進(jìn)行或臨時處理，

處理時帶沖突檢查，

因此，采用的是master-master復(fù)制（見編注2）

MVCC – 寫操作不阻塞讀操作

可保存文件之前的版本

Crash-only（可靠的）設(shè)計

需要不時地進(jìn)行數(shù)據(jù)壓縮

視圖：嵌入式 映射/減少

格式化視圖：列表顯示

支持進(jìn)行服務(wù)器端文檔驗證

支持認(rèn)證

根據(jù)變化實時更新

支持附件處理

因此， CouchApps（獨立的 js應(yīng)用程序）

需要 jQuery程序庫

最佳應(yīng)用場景：適用于數(shù)據(jù)變化較少，執(zhí)行預(yù)定義查詢，進(jìn)行數(shù)據(jù)統(tǒng)計的應(yīng)用程序。適用于需要提供數(shù)據(jù)版本支持的應(yīng)用程序。

例如： CRM、CMS系統(tǒng)。 master-master復(fù)制對于多站點部署是非常有用的。

（編注2：master-master復(fù)制：是一種數(shù)據(jù)庫同步方法，允許數(shù)據(jù)在一組計算機(jī)之間共享數(shù)據(jù)，并且可以通過小組中任意成員在組內(nèi)進(jìn)行數(shù)據(jù)更新。）

2. Redis

所用語言：C/C++

特點：運行異常快

使用許可： BSD

協(xié)議：類 Telnet

有硬盤存儲支持的內(nèi)存數(shù)據(jù)庫，

但自2.0版本以后可以將數(shù)據(jù)交換到硬盤（注意， 2.4以后版本不支持該特性！）

Master-slave復(fù)制（見編注3）

雖然采用簡單數(shù)據(jù)或以鍵值索引的哈希表，但也支持復(fù)雜操作，例如 ZREVRANGEBYSCORE。

INCR co （適合計算極限值或統(tǒng)計數(shù)據(jù)）

支持 sets（同時也支持 union/diff/inter）

支持列表（同時也支持隊列；阻塞式 pop操作）

支持哈希表（帶有多個域的對象）

支持排序 sets（高得分表，適用于范圍查詢）

Redis支持事務(wù)

支持將數(shù)據(jù)設(shè)置成過期數(shù)據(jù)（類似快速緩沖區(qū)設(shè)計）

Pub/Sub允許用戶實現(xiàn)消息機(jī)制

最佳應(yīng)用場景：適用于數(shù)據(jù)變化快且數(shù)據(jù)庫大小可遇見（適合內(nèi)存容量）的應(yīng)用程序。

例如：股票價格、數(shù)據(jù)分析、實時數(shù)據(jù)搜集、實時通訊。

（編注3：Master-slave復(fù)制：如果同一時刻只有一臺服務(wù)器處理所有的復(fù)制請求，這被稱為

Master-slave復(fù)制，通常應(yīng)用在需要提供高可用性的服務(wù)器集群。）

3. MongoDB

所用語言：C++

特點：保留了SQL一些友好的特性（查詢，索引）。

使用許可： AGPL（發(fā)起者： Apache）

協(xié)議： Custom, binary（ BSON）

Master/slave復(fù)制（支持自動錯誤恢復(fù)，使用 sets 復(fù)制）

內(nèi)建分片機(jī)制

支持 javascript表達(dá)式查詢

可在服務(wù)器端執(zhí)行任意的 javascript函數(shù)

update-in-place支持比CouchDB更好

在數(shù)據(jù)存儲時采用內(nèi)存到文件映射

對性能的關(guān)注超過對功能的要求

建議最好打開日志功能（參數(shù) –journal）

在32位操作系統(tǒng)上，數(shù)據(jù)庫大小限制在約2.5Gb

空數(shù)據(jù)庫大約占 192Mb

采用 GridFS存儲大數(shù)據(jù)或元數(shù)據(jù)（不是真正的文件系統(tǒng)）

最佳應(yīng)用場景：適用于需要動態(tài)查詢支持；需要使用索引而不是 map/reduce功能；需要對大數(shù)據(jù)庫有性能要求；需要使用

CouchDB但因為數(shù)據(jù)改變太頻繁而占滿內(nèi)存的應(yīng)用程序。

例如：你本打算采用 MySQL或 PostgreSQL，但因為它們本身自帶的預(yù)定義欄讓你望而卻步。

4. Riak

所用語言：Erlang和C，以及一些Javascript

特點：具備容錯能力

使用許可： Apache

協(xié)議： HTTP/REST或者 custom binary

可調(diào)節(jié)的分發(fā)及復(fù)制(N, R, W)

用 JavaScript or Erlang在操作前或操作后進(jìn)行驗證和安全支持。

使用JavaScript或Erlang進(jìn)行 Map/reduce

連接及連接遍歷：可作為圖形數(shù)據(jù)庫使用

索引：輸入元數(shù)據(jù)進(jìn)行搜索（1.0版本即將支持）

大數(shù)據(jù)對象支持（ Luwak）

提供“開源”和“企業(yè)”兩個版本

全文本搜索，索引，通過 Riak搜索服務(wù)器查詢（ beta版）

支持Masterless多站點復(fù)制及商業(yè)許可的 SNMP監(jiān)控

最佳應(yīng)用場景：適用于想使用類似 Cassandra（類似Dynamo）數(shù)據(jù)庫但無法處理

bloat及復(fù)雜性的情況。適用于你打算做多站點復(fù)制，但又需要對單個站點的擴(kuò)展性，可用性及出錯處理有要求的情況。

例如：銷售數(shù)據(jù)搜集，工廠控制系統(tǒng)；對宕機(jī)時間有嚴(yán)格要求；可以作為易于更新的 web服務(wù)器使用。

5. Membase

所用語言： Erlang和C

特點：兼容 Memcache，但同時兼具持久化和支持集群

使用許可： Apache 2.0

協(xié)議：分布式緩存及擴(kuò)展

非常快速（200k+/秒），通過鍵值索引數(shù)據(jù)

可持久化存儲到硬盤

所有節(jié)點都是唯一的（ master-master復(fù)制）

在內(nèi)存中同樣支持類似分布式緩存的緩存單元

寫數(shù)據(jù)時通過去除重復(fù)數(shù)據(jù)來減少 IO

提供非常好的集群管理 web界面

更新軟件時軟無需停止數(shù)據(jù)庫服務(wù)

支持連接池和多路復(fù)用的連接代理

最佳應(yīng)用場景：適用于需要低延遲數(shù)據(jù)訪問，高并發(fā)支持以及高可用性的應(yīng)用程序

例如：低延遲數(shù)據(jù)訪問比如以廣告為目標(biāo)的應(yīng)用，高并發(fā)的 web 應(yīng)用比如網(wǎng)絡(luò)游戲（例如 Zynga）

6. Neo4j

所用語言： Java

特點：基于關(guān)系的圖形數(shù)據(jù)庫

使用許可： GPL，其中一些特性使用 AGPL/商業(yè)許可

協(xié)議： HTTP/REST（或嵌入在 Java中）

可獨立使用或嵌入到 Java應(yīng)用程序

圖形的節(jié)點和邊都可以帶有元數(shù)據(jù)

很好的自帶web管理功能

使用多種算法支持路徑搜索

使用鍵值和關(guān)系進(jìn)行索引

為讀操作進(jìn)行優(yōu)化

支持事務(wù)（用 Java api）

使用 Gremlin圖形遍歷語言

支持 Groovy腳本

支持在線備份，高級監(jiān)控及高可靠性支持使用 AGPL/商業(yè)許可

最佳應(yīng)用場景：適用于圖形一類數(shù)據(jù)。這是 Neo4j與其他nosql數(shù)據(jù)庫的最顯著區(qū)別

例如：社會關(guān)系，公共交通網(wǎng)絡(luò)，地圖及網(wǎng)絡(luò)拓譜

7. Cassandra

所用語言： Java

特點：對大型表格和 Dynamo支持得最好

使用許可： Apache

協(xié)議： Custom, binary (節(jié)約型)

可調(diào)節(jié)的分發(fā)及復(fù)制(N, R, W)

支持以某個范圍的鍵值通過列查詢

類似大表格的功能：列，某個特性的列集合

寫操作比讀操作更快

基于 Apache分布式平臺盡可能地 Map/reduce

我承認(rèn)對 Cassandra有偏見，一部分是因為它本身的臃腫和復(fù)雜性，也因為 Java的問題（配置，出現(xiàn)異常，等等）

最佳應(yīng)用場景：當(dāng)使用寫操作多過讀操作（記錄日志）如果每個系統(tǒng)組建都必須用 Java編寫（沒有人因為選用

Apache的軟件被解雇）

例如：銀行業(yè)，金融業(yè)（雖然對于金融交易不是必須的，但這些產(chǎn)業(yè)對數(shù)據(jù)庫的要求會比它們更大）寫比讀更快，所以一個自然的特性就是實時數(shù)據(jù)分析

8. HBase

（配合 ghshephard使用）

所用語言： Java

特點：支持?jǐn)?shù)十億行X上百萬列

使用許可： Apache

協(xié)議：HTTP/REST （支持 Thrift，見編注4）

在 BigTable之后建模

采用分布式架構(gòu) Map/reduce

對實時查詢進(jìn)行優(yōu)化

高性能 Thrift網(wǎng)關(guān)

通過在server端掃描及過濾實現(xiàn)對查詢操作預(yù)判

支持 XML, Protobuf, 和binary的HTTP

Cascading, hive, and pig source and sink modules

基于 Jruby（ JIRB）的shell

對配置改變和較小的升級都會重新回滾

不會出現(xiàn)單點故障

堪比MySQL的隨機(jī)訪問性能

最佳應(yīng)用場景：適用于偏好BigTable:)并且需要對大數(shù)據(jù)進(jìn)行隨機(jī)、實時訪問的場合。

例如： Facebook消息數(shù)據(jù)庫（更多通用的用例即將出現(xiàn)）

編注4：Thrift

是一種接口定義語言，為多種其他語言提供定義和創(chuàng)建服務(wù)，由Facebook開發(fā)并開源。

當(dāng)然，所有的系統(tǒng)都不只具有上面列出的這些特性。這里我僅僅根據(jù)自己的觀點列出一些我認(rèn)為的重要特性。與此同時，技術(shù)進(jìn)步是飛速的，所以上述的內(nèi)容肯定需要不斷更新。我會盡我所能地更新這個列表。

有哪些nosql軟件能在windows平臺下運行

Membase Membase 是 NoSQL 家族的一個新的重量級的成員。Membase是開源項目，源代碼采用了Apache2.0的使用許可。該項目托管在GitHub.Source tarballs上，可以下載beta版本的Linux二進(jìn)制包。該產(chǎn)品主要是由North Scale的memcached核心團(tuán)隊成員開發(fā)完成，其中還包括Zynga和NHN這兩個主要貢獻(xiàn)者的工程師，這兩個組織都是很大的在線游戲和社區(qū)網(wǎng)絡(luò)空間的供應(yīng)商。 Membase容易安裝、操作，可以從單節(jié)點方便的擴(kuò)展到集群，而且為memcached（有線協(xié)議的兼容性）實現(xiàn)了即插即用功能，在應(yīng)用方面為開發(fā)者和經(jīng)營者提供了一個比較低的門檻。做為緩存解決方案，Memcached已經(jīng)在不同類型的領(lǐng)域（特別是大容量的Web應(yīng)用）有了廣泛的使用，其中 Memcached的部分基礎(chǔ)代碼被直接應(yīng)用到了Membase服務(wù)器的前端。 通過兼容多種編程語言和框架，Membase具備了很好的復(fù)用性。在安裝和配置方面，Membase提供了有效的圖形化界面和編程接口，包括可配置 的告警信息。 Membase的目標(biāo)是提供對外的線性擴(kuò)展能力，包括為了增加集群容量，可以針對統(tǒng)一的節(jié)點進(jìn)行復(fù)制。 另外，對存儲的數(shù)據(jù)進(jìn)行再分配仍然是必要的。 這方面的一個有趣的特性是NoSQL解決方案所承諾的可預(yù)測的性能，類準(zhǔn)確性的延遲和吞吐量。通過如下方式可以獲得上面提到的特性： ◆ 自動將在線數(shù)據(jù)遷移到低延遲的存儲介質(zhì)的技術(shù)（內(nèi)存，固態(tài)硬盤，磁盤） ◆ 可選的寫操作一一異步，同步（基于復(fù)制，持久化） ◆ 反向通道再平衡[未來考慮支持] ◆ 多線程低鎖爭用 ◆ 盡可能使用異步處理 ◆ 自動實現(xiàn)重復(fù)數(shù)據(jù)刪除 ◆ 動態(tài)再平衡現(xiàn)有集群 ◆ 通過把數(shù)據(jù)復(fù)制到多個集群單元和支持快速失敗轉(zhuǎn)移來提供系統(tǒng)的高可用性。 MongoDB MongoDB是一個介于關(guān)系數(shù)據(jù)庫和非關(guān)系數(shù)據(jù)庫之間的產(chǎn)品，是非關(guān)系數(shù)據(jù)庫當(dāng)中功能最豐富，最像關(guān)系數(shù)據(jù)庫的。他支持的數(shù)據(jù)結(jié)構(gòu)非常松散，是類似json的bjson格式，因此可以存儲比較復(fù)雜的數(shù)據(jù)類型。Mongo最大的特點是他支持的查詢語言非常強大，其語法有點類似于面向?qū)ο蟮牟樵冋Z言，幾乎可以實現(xiàn)類似關(guān)系數(shù)據(jù)庫單表查詢的絕大部分功能，而且還支持對數(shù)據(jù)建立索引。它的特點是高性能、易部署、易使用，存儲數(shù)據(jù)非常方便。 主要功能特性： ◆ 面向集合存儲，易存儲對象類型的數(shù)據(jù) “面向集合”（Collenction-Oriented），意思是數(shù)據(jù)被分組存儲在數(shù)據(jù)集中，被稱為一個集合（Collenction)。每個 集合在數(shù)據(jù)庫中都有一個唯一的標(biāo)識名，并且可以包含無限數(shù)目的文檔。集合的概念類似關(guān)系型數(shù)據(jù)庫（RDBMS）里的表（table），不同的是它不需要定 義任何模式（schema)。 ◆ 模式自由 模式自由（schema-free)，意味著對于存儲在mongodb數(shù)據(jù)庫中的文件，我們不需要知道它的任何結(jié)構(gòu)定義。如果需要的話，你完全可以把不同結(jié)構(gòu)的文件存儲在同一個數(shù)據(jù)庫里。 ◆支持動態(tài)查詢 ◆支持完全索引，包含內(nèi)部對象 ◆支持查詢 ◆支持復(fù)制和故障恢復(fù) ◆使用高效的二進(jìn)制數(shù)據(jù)存儲，包括大型對象（如視頻等） ◆自動處理碎片，以支持云計算層次的擴(kuò)展性 ◆支持RUBY，PYTHON，JAVA，C++，PHP等多種語言 ◆文件存儲格式為BSON（一種JSON的擴(kuò)展） BSON（Binary Serialized document Format）存儲形式是指：存儲在集合中的文檔，被存儲為鍵-值對的形式。鍵用于唯一標(biāo)識一個文檔，為字符串類型，而值則可以是各種復(fù)雜的文件類型。 ◆可通過網(wǎng)絡(luò)訪問 MongoDB服務(wù)端可運行在Linux、Windows或OS X平臺，支持32位和64位應(yīng)用，默認(rèn)端口為27017。推薦運行在64位平臺，因為MongoDB在32位模式運行時支持的最大文件尺寸為2GB。 MongoDB把數(shù)據(jù)存儲在文件中（默認(rèn)路徑為：/data/db），為提高效率使用內(nèi)存映射文件進(jìn)行管理。 Hypertable Hypertable是一個開源、高性能、可伸縮的數(shù)據(jù)庫，它采用與Google的Bigtable相似的模型。在過去數(shù)年中，Google為在PC集群 上運行的可伸縮計算基礎(chǔ)設(shè)施設(shè)計建造了三個關(guān)鍵部分。第一個關(guān)鍵的基礎(chǔ)設(shè)施是Google File System（GFS），這是一個高可用的文件系統(tǒng)，提供了一個全局的命名空間。它通過跨機(jī)器（和跨機(jī)架）的文件數(shù)據(jù)復(fù)制來達(dá)到高可用性，并因此免受傳統(tǒng) 文件存儲系統(tǒng)無法避免的許多失敗的影響，比如電源、內(nèi)存和網(wǎng)絡(luò)端口等失敗。第二個基礎(chǔ)設(shè)施是名為Map-Reduce的計算框架，它與GFS緊密協(xié)作，幫 助處理收集到的海量數(shù)據(jù)。第三個基礎(chǔ)設(shè)施是Bigtable，它是傳統(tǒng)數(shù)據(jù)庫的替代。Bigtable讓你可以通過一些主鍵來組織海量數(shù)據(jù)，并實現(xiàn)高效的 查詢。Hypertable是Bigtable的一個開源實現(xiàn)，并且根據(jù)我們的想法進(jìn)行了一些改進(jìn)。 Apache Cassandra Apache Cassandra是一套開源分布式Key-Value存儲系統(tǒng)。它最初由Facebook開發(fā)，用于儲存特別大的數(shù)據(jù)。Facebook在使用此系統(tǒng)。 主要特性： ◆ 分布式 ◆ 基于column的結(jié)構(gòu)化 ◆ 高伸展性 Cassandra的主要特點就是它不是一個數(shù)據(jù)庫，而是由一堆數(shù)據(jù)庫節(jié)點共同構(gòu)成的一個分布式網(wǎng)絡(luò)服務(wù)，對Cassandra 的一個寫操作，會被復(fù)制到其他節(jié)點上去，對Cassandra的讀操作，也會被路由到某個節(jié)點上面去讀取。對于一個Cassandra群集來說，擴(kuò)展性能 是比較簡單的事情，只管在群集里面添加節(jié)點就可以了。 Cassandra是一個混合型的非關(guān)系的數(shù)據(jù)庫，類似于Google的BigTable。其主要功能比 Dynomite（分布式的Key-Value存 儲系統(tǒng)）更豐富，但支持度卻不如文檔存儲MongoDB（介于關(guān)系數(shù)據(jù)庫和非關(guān)系數(shù)據(jù)庫之間的開源產(chǎn)品，是非關(guān)系數(shù)據(jù)庫當(dāng)中功能最豐富，最像關(guān)系數(shù)據(jù)庫 的。Cassandra最初由Facebook開發(fā)，后轉(zhuǎn)變成了開源項目。它是一個網(wǎng)絡(luò)社交云計算方面理想的數(shù)據(jù)庫。以Amazon專有的完全分布式的Dynamo為基礎(chǔ)，結(jié)合了Google BigTable基于列族（Column Family）的數(shù)據(jù)模型。P2P去中心化的存儲。很多方面都可以稱之為Dynamo 2.0。 CouchDB 所用語言： Erlang 特點：DB一致性，易于使用 使用許可： Apache 協(xié)議： HTTP/REST 雙向數(shù)據(jù)復(fù)制，持續(xù)進(jìn)行或臨時處理，處理時帶沖突檢查，因此，采用的是master-master復(fù)制 MVCC – 寫操作不阻塞讀操作 可保存文件之前的版本 Crash-only（可靠的）設(shè)計 需要不時地進(jìn)行數(shù)據(jù)壓縮 視圖：嵌入式 映射/減少 格式化視圖：列表顯示 支持進(jìn)行服務(wù)器端文檔驗證 支持認(rèn)證 根據(jù)變化實時更新 支持附件處理 因此， CouchApps（獨立的 js應(yīng)用程序） 需要 jQuery程序庫 最佳應(yīng)用場景：適用于數(shù)據(jù)變化較少，執(zhí)行預(yù)定義查詢，進(jìn)行數(shù)據(jù)統(tǒng)計的應(yīng)用程序。適用于需要提供數(shù)據(jù)版本支持的應(yīng)用程序。 例如：CRM、CMS系統(tǒng)。 master-master復(fù)制對于多站點部署是非常有用的。 和其他數(shù)據(jù)庫比較，其突出特點是： ◆ 模式靈活 ：使用Cassandra，像文檔存儲，你不必提前解決記錄中的字段。你可以在系統(tǒng)運行時隨意的添加或移除字段。這是一個驚人的效率提升，特別是在大型部 署上。 ◆ 真正的可擴(kuò)展性 ：Cassandra是純粹意義上的水平擴(kuò)展。為給集群添加更多容量，可以指向另一臺電腦。你不必重啟任何進(jìn)程，改變應(yīng)用查詢，或手動遷移任何數(shù)據(jù)。 ◆ 多數(shù)據(jù)中心識別 ：你可以調(diào)整你的節(jié)點布局來避免某一個數(shù)據(jù)中心起火，一個備用的數(shù)據(jù)中心將至少有每條記錄的完全復(fù)制。 ◆ 范圍查詢 ：如果你不喜歡全部的鍵值查詢，則可以設(shè)置鍵的范圍來查詢。 ◆ 列表數(shù)據(jù)結(jié)構(gòu) ：在混合模式可以將超級列添加到5維。對于每個用戶的索引，這是非常方便的。 ◆ 分布式寫操作 ：有可以在任何地方任何時間集中讀或?qū)懭魏螖?shù)據(jù)。并且不會有任何單點失敗。 問度娘，啥都有。

什么是NoSQL數(shù)據(jù)庫？

“NoSQL,指的是非關(guān)系型的數(shù)據(jù)庫。NoSQL有時也稱作Not Only SQL的縮寫,是對不同于傳統(tǒng)的關(guān)系型數(shù)據(jù)庫的數(shù)據(jù)庫管理系統(tǒng)的統(tǒng)稱。NoSQL用于超大規(guī)模數(shù)據(jù)的存儲。這些類型的數(shù)據(jù)存儲不需要固定的模式,無需多余操作就可以橫向擴(kuò)展。”

大數(shù)據(jù)在哪兒學(xué)比較好？

想要都進(jìn)入大數(shù)據(jù)行業(yè)的第一步，是先搞清楚大數(shù)據(jù)究竟有哪些就業(yè)方向。

大數(shù)據(jù)就業(yè)崗位

隨著大數(shù)據(jù)技術(shù)在企業(yè)界如火如荼的實踐，企業(yè)對組建大數(shù)據(jù)團(tuán)隊的迫切程度也也來越高，對與大數(shù)據(jù)相關(guān)高端人才的需求也越來越緊迫，但企業(yè)對大數(shù)據(jù)團(tuán)隊的組建和角色分配方面缺一直有不小的困惑，到底大數(shù)據(jù)團(tuán)隊里應(yīng)該擁有哪些幾類角色，如何設(shè)置崗位？同一類別的角色的專業(yè)方向又有哪些分化，不同專業(yè)的崗位對技能應(yīng)該有哪些要求？如何管理大數(shù)據(jù)團(tuán)隊成員的職業(yè)發(fā)展路徑？為此，ChinaHadoop花費了一年時間調(diào)研了先進(jìn)企業(yè)內(nèi)部設(shè)立的大數(shù)據(jù)部門或團(tuán)隊的組織結(jié)構(gòu)和職能劃分，在此基礎(chǔ)上，首次提出了企業(yè)大數(shù)據(jù)團(tuán)隊的崗位劃分，專業(yè)分類及定義，以及每個崗位所需的技能及培訓(xùn)，技能考核對應(yīng)的能力級別，我們將之統(tǒng)稱為”企業(yè)大數(shù)據(jù)人才崗位技能認(rèn)證體系“。

通過對企業(yè)大數(shù)據(jù)人才崗位進(jìn)行專業(yè)細(xì)分,崗位技能認(rèn)證等級與企業(yè)現(xiàn)有技術(shù)專業(yè)通道形成對應(yīng)關(guān)系，打通員工的職業(yè)發(fā)展通道，幫助企業(yè)逐步完善大數(shù)據(jù)團(tuán)隊的組織結(jié)構(gòu)，不斷提高團(tuán)隊技能，為各崗位及時儲備人才。

大數(shù)據(jù)團(tuán)隊的角色分類企業(yè)大數(shù)據(jù)團(tuán)隊的角色分類主要有三個大類別：大數(shù)據(jù)開發(fā)工程師、大數(shù)據(jù)運維工程師、大數(shù)據(jù)架構(gòu)師。總體而言，我們大數(shù)據(jù)人才劃分為三個大類：

一、 大數(shù)據(jù)開發(fā)工程師：圍繞大數(shù)據(jù)系平臺系統(tǒng)級的研發(fā)人員， 熟練Hadoop、Spark、Storm等主流大數(shù)據(jù)平臺的核心框架。深入掌握如何編寫MapReduce的作業(yè)及作業(yè)流的管理完成對數(shù)據(jù)的計算，并能夠使用Hadoop提供的通用算法，

熟練掌握Hadoop整個生態(tài)系統(tǒng)的組件如： Yarn，HBase、Hive、Pig等重要組件，能夠?qū)崿F(xiàn)對平臺監(jiān)控、輔助運維系統(tǒng)的開發(fā)。通過學(xué)習(xí)一系列面向開發(fā)者的Hadoop、Spark等大數(shù)據(jù)平臺開發(fā)技術(shù)，掌握設(shè)計開發(fā)大數(shù)據(jù)系統(tǒng)或平臺的工具和技能，能夠從事分布式計算框架如Hadoop、Spark群集環(huán)境的部署、開發(fā)和管理工作，如性能改進(jìn)、功能擴(kuò)展、故障分析等。

二、 大數(shù)據(jù)運維工程師：了解Hadoop、Spark、Storm等主流大數(shù)據(jù)平臺的核心框架，熟悉Hadoop的核心組件：HDFS、MapReduce、Yarn；具備大數(shù)據(jù)集群環(huán)境的資源配置，如網(wǎng)絡(luò)要求、硬件配置、系統(tǒng)搭建。熟悉各種大數(shù)據(jù)平臺的部署方式，集群搭建，故障診斷、日常維護(hù)、性能優(yōu)化，同時負(fù)責(zé)平臺上的數(shù)據(jù)采集、數(shù)據(jù)清洗、數(shù)據(jù)存儲，數(shù)據(jù)維護(hù)及優(yōu)化。熟練使用Flume、Sqoop等工具將外部數(shù)據(jù)加載進(jìn)入大數(shù)據(jù)平臺，通過管理工具分配集群資源實現(xiàn)多用戶協(xié)同使用集群資源。

三、 大數(shù)據(jù)架構(gòu)師：這一角色的要求是綜合型的，對各種開源和商用的大數(shù)據(jù)系統(tǒng)平臺和產(chǎn)品的特點非常熟悉，能基于Hadoop、Spark、 NoSQL、 Storm流式計算、分布式存儲等主流大數(shù)據(jù)技術(shù)進(jìn)行平臺架構(gòu)設(shè)計，負(fù)責(zé)企業(yè)選用軟件產(chǎn)品的技術(shù)選型，具體項目中的數(shù)據(jù)庫設(shè)計及實現(xiàn)工作，協(xié)助開發(fā)人員完成數(shù)據(jù)庫部分的程序 ，能解決公司軟件產(chǎn)品或者項目開發(fā)和運維中與數(shù)據(jù)庫相關(guān)的問題； 及時解決項目開發(fā)或產(chǎn)品研發(fā)中的技術(shù)難題，對設(shè)計系統(tǒng)的最終性能和穩(wěn)定性負(fù)責(zé)。

崗位能力級別定義：1. 初級：具備基本的大數(shù)據(jù)技術(shù)的基礎(chǔ)知識，可以將其視為大數(shù)據(jù)認(rèn)證的初學(xué)或者入門等級。2. 高級：大數(shù)據(jù)認(rèn)證的高級或者熟練等級，表明該人才具備大數(shù)據(jù)某一專業(yè)方向的基本知識和熟練技能。3. 專家：具有業(yè)界公認(rèn)的專業(yè)大數(shù)據(jù)技術(shù)知識和豐富工作經(jīng)驗。

這里簡單介紹幾種我認(rèn)為用的比較多的技術(shù)

一、Hadoop

可以說，hadoop幾乎已經(jīng)是大數(shù)據(jù)代名詞。無論是是否贊成，hadoop已經(jīng)是大部分企業(yè)的大數(shù)據(jù)標(biāo)準(zhǔn)。得益于Hadoop生態(tài)圈，從現(xiàn)在來看，還沒有什么技術(shù)能夠動搖hadoop的地位。

這一塊可以按照一下內(nèi)容來學(xué)習(xí)：

1、Hadoop產(chǎn)生背景 2、Hadoop在大數(shù)據(jù)、云計算中的位置和關(guān)系 3、國內(nèi)外Hadoop應(yīng)用案例介紹 4、國內(nèi)Hadoop的就業(yè)情況分析及課程大綱介紹 5、分布式系統(tǒng)概述 6、Hadoop生態(tài)圈以及各組成部分的簡介

二、分布式文件系統(tǒng)HDFS

HDFS全稱 Hadoop Distributed File System ，它是一個高度容錯性的系統(tǒng)，適合部署在廉價的機(jī)器上，同時能提供高吞吐量的數(shù)據(jù)訪問，非常適合大規(guī)模數(shù)據(jù)集上的應(yīng)用。為了實現(xiàn)流式讀取文件系統(tǒng)數(shù)據(jù)的目的，HDFS放寬了一部分POSIX約束。

1、分布式文件系統(tǒng)HDFS簡介 2、HDFS的系統(tǒng)組成介紹 3、HDFS的組成部分詳解 4、副本存放策略及路由規(guī)則 5、NameNode Federation 6、命令行接口 7、Java接口 8、客戶端與HDFS的數(shù)據(jù)流講解 9、HDFS的可用性（HA）

三、初級MapReduce

這是你成為Hadoop開發(fā)人員的基礎(chǔ)課程。

MapReduce提供了以下的主要功能:

1)數(shù)據(jù)劃分和計算任務(wù)調(diào)度:

2)數(shù)據(jù)/代碼互定位:

3)系統(tǒng)優(yōu)化:

4)出錯檢測和恢復(fù):

這種編程模型主要用于大規(guī)模數(shù)據(jù)集(大于1TB)的并行運算。

1、如何理解map、reduce計算模型 2、剖析偽分布式下MapReduce作業(yè)的執(zhí)行過程 3、Yarn模型 4、序列化 5、MapReduce的類型與格式 6、MapReduce開發(fā)環(huán)境搭建 7、MapReduce應(yīng)用開發(fā) 8、熟悉MapReduce算法原理

四、高級MapReduce

這一塊主要是高級Hadoop開發(fā)的技能，都是MapReduce為什么我要分開寫呢？因為我真的不覺得誰能直接上手就把MapReduce搞得清清楚楚。

1、使用壓縮分隔減少輸入規(guī)模 2、利用Combiner減少中間數(shù)據(jù) 3、編寫Partitioner優(yōu)化負(fù)載均衡 4、如何自定義排序規(guī)則 5、如何自定義分組規(guī)則 6、MapReduce優(yōu)化

五、Hadoop集群與管理

這里會涉及到一些比較高級的數(shù)據(jù)庫管理知識，乍看之下都是操作性的內(nèi)容，但是做成容易，做好非常難。

1、Hadoop集群的搭建 2、Hadoop集群的監(jiān)控 3、Hadoop集群的管理 4、集群下運行MapReduce程序

六、ZooKeeper基礎(chǔ)知識

ZooKeeper的目標(biāo)就是封裝好復(fù)雜易出錯的關(guān)鍵服務(wù)，將簡單易用的接口和性能高效、功能穩(wěn)定的系統(tǒng)提供給用戶。

1、ZooKeeper體現(xiàn)結(jié)構(gòu) 2、ZooKeeper集群的安裝 3、操作ZooKeeper

七、HBase基礎(chǔ)知識

HBase – Hadoop Database，是一個高可靠性、高性能、面向列、可伸縮的分布式存儲系統(tǒng)，利用HBase技術(shù)可在廉價PC Server上搭建起大規(guī)模結(jié)構(gòu)化存儲集群。

與FUJITSU Cliq等商用大數(shù)據(jù)產(chǎn)品不同，HBase是Google Bigtable的開源實現(xiàn)，類似Google Bigtable利用GFS作為其文件存儲系統(tǒng)，HBase利用Hadoop HDFS作為其文件存儲系統(tǒng)；Google運行MapReduce來處理Bigtable中的海量數(shù)據(jù)，HBase同樣利用Hadoop MapReduce來處理HBase中的海量數(shù)據(jù)；Google Bigtable利用 Chubby作為協(xié)同服務(wù)，HBase利用Zookeeper作為對應(yīng)。

1、HBase定義 2、HBase與RDBMS的對比 3、數(shù)據(jù)模型 4、系統(tǒng)架構(gòu) 5、HBase上的MapReduce 6、表的設(shè)計

八、HBase集群及其管理

1、集群的搭建過程 2、集群的監(jiān)控 3、集群的管理

十、Pig基礎(chǔ)知識

Pig是進(jìn)行Hadoop計算的另一種框架，是一個高級過程語言，適合于使用 Hadoop 和 MapReduce 平臺來查詢大型半結(jié)構(gòu)化數(shù)據(jù)集。通過允許對分布式數(shù)據(jù)集進(jìn)行類似 SQL 的查詢，Pig 可以簡化 Hadoop 的使用。

1、Pig概述 2、安裝Pig 3、使用Pig完成手機(jī)流量統(tǒng)計業(yè)務(wù)

十一、Hive

hive是基于Hadoop的一個數(shù)據(jù)倉庫工具，可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫表，并提供簡單的sql查詢功能，可以將sql語句轉(zhuǎn)換為MapReduce任務(wù)進(jìn)行運行。 其優(yōu)點是學(xué)習(xí)成本低，可以通過類SQL語句快速實現(xiàn)簡單的MapReduce統(tǒng)計，不必開發(fā)專門的MapReduce應(yīng)用。

1、數(shù)據(jù)倉庫基礎(chǔ)知識 2、Hive定義 3、Hive體系結(jié)構(gòu)簡介 4、Hive集群 5、客戶端簡介 6、HiveQL定義 7、HiveQL與SQL的比較 8、數(shù)據(jù)類型 9、表與表分區(qū)概念 10、表的操作與CLI客戶端 11、數(shù)據(jù)導(dǎo)入與CLI客戶端 12、查詢數(shù)據(jù)與CLI客戶端 13、數(shù)據(jù)的連接與CLI客戶端 14、用戶自定義函數(shù)（UDF）

十二、Sqoop

Sqoop(發(fā)音：skup)是一款開源的工具，主要用于在Hadoop(Hive)與傳統(tǒng)的數(shù)據(jù)庫(mysql、postgresql...)間進(jìn)行數(shù)據(jù)的傳遞，可以將一個關(guān)系型數(shù)據(jù)庫（例如 ： MySQL ,Oracle ,Postgres等）中的數(shù)據(jù)導(dǎo)進(jìn)到Hadoop的HDFS中，也可以將HDFS的數(shù)據(jù)導(dǎo)進(jìn)到關(guān)系型數(shù)據(jù)庫中。

1、配置Sqoop 2、使用Sqoop把數(shù)據(jù)從MySQL導(dǎo)入到HDFS中 3、使用Sqoop把數(shù)據(jù)從HDFS導(dǎo)出到MySQL中

十三、Storm

Storm為分布式實時計算提供了一組通用原語，可被用于“流處理”之中，實時處理消息并更新數(shù)據(jù)庫。這是管理隊列及工作者集群的另一種方式。 Storm也可被用于“連續(xù)計算”（continuous computation），對數(shù)據(jù)流做連續(xù)查詢，在計算時就將結(jié)果以流的形式輸出給用戶。它還可被用于“分布式RPC”，以并行的方式運行昂貴的運算。

1、Storm基礎(chǔ)知識：包括Storm的基本概念和Storm應(yīng)用 場景，體系結(jié)構(gòu)與基本原理，Storm和Hadoop的對比 2、Storm集群搭建：詳細(xì)講述Storm集群的安裝和安裝時常見問題 3、Storm組件介紹: spout、bolt、stream groupings等 4、Storm消息可靠性：消息失敗的重發(fā) 5、Hadoop 2.0和Storm的整合：Storm on YARN 6、Storm編程實戰(zhàn)

網(wǎng)站欄目：nosql認(rèn)證機(jī)構(gòu),noa是什么認(rèn)證公司
網(wǎng)頁地址：http://chinadenli.net/article21/dseescd.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供定制網(wǎng)站、企業(yè)網(wǎng)站制作、全網(wǎng)營銷推廣、搜索引擎優(yōu)化、網(wǎng)站維護(hù)、網(wǎng)站內(nèi)鏈

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)