常用的etl工具有哪些

1、DataPipeline

站在用戶的角度思考問(wèn)題，與客戶深入溝通，找到甘井子網(wǎng)站設(shè)計(jì)與甘井子網(wǎng)站推廣的解決方案，憑借多年的經(jīng)驗(yàn)，讓設(shè)計(jì)與互聯(lián)網(wǎng)技術(shù)結(jié)合，創(chuàng)造個(gè)性化、用戶體驗(yàn)好的作品，建站類(lèi)型包括：網(wǎng)站制作、成都網(wǎng)站設(shè)計(jì)、企業(yè)官網(wǎng)、英文網(wǎng)站、手機(jī)端網(wǎng)站、網(wǎng)站推廣、國(guó)際域名空間、網(wǎng)站空間、企業(yè)郵箱。業(yè)務(wù)覆蓋甘井子地區(qū)。

DataPipeline 隸屬于北京數(shù)見(jiàn)科技有限公司，是一家企業(yè)級(jí)批流一體數(shù)據(jù)融合服務(wù)商和解決方案提供商，國(guó)內(nèi)實(shí)時(shí)數(shù)據(jù)管道技術(shù)的倡導(dǎo)者。

通過(guò)平臺(tái)和技術(shù)為企業(yè)客戶解決數(shù)據(jù)準(zhǔn)備過(guò)程中的各種痛點(diǎn)，幫助客戶更敏捷、更高效、更簡(jiǎn)單地實(shí)現(xiàn)復(fù)雜異構(gòu)數(shù)據(jù)源到目的地的實(shí)時(shí)數(shù)據(jù)融合和數(shù)據(jù)管理等綜合服務(wù)。

從而打破傳統(tǒng) ETL 給客戶靈活數(shù)據(jù)應(yīng)用帶來(lái)的束縛，讓數(shù)據(jù)準(zhǔn)備過(guò)程不再成為數(shù)據(jù)消費(fèi)的瓶頸。

2、Kettle

Kettle是一款國(guó)外開(kāi)源的ETL工具，純java編寫(xiě)，可以在Windows、Linux、Unix上運(yùn)行，數(shù)據(jù)抽取高效穩(wěn)定。

Kettle 中文名稱叫水壺，該項(xiàng)目的主程序員MATT 希望把各種數(shù)據(jù)放到一個(gè)壺里，然后以一種指定的格式流出。

3、Talend

Talend 是數(shù)據(jù)集成解決方案領(lǐng)域的領(lǐng)袖企業(yè)，為公共云和私有云以及本地環(huán)境提供一體化的數(shù)據(jù)集成平臺(tái)。Talend的使命是致力于幫助客戶優(yōu)化數(shù)據(jù)，提高數(shù)據(jù)可靠性，把企業(yè)數(shù)據(jù)更快地轉(zhuǎn)化為商業(yè)價(jià)值。

以此為使命，Talend的解決方案將數(shù)據(jù)從傳統(tǒng)基礎(chǔ)架構(gòu)中解放出來(lái)，提高客戶在業(yè)務(wù)中的洞察力，讓客戶更早實(shí)現(xiàn)業(yè)務(wù)價(jià)值。

4、Informatica

Informatica是全球領(lǐng)先的數(shù)據(jù)管理軟件提供商。

在如下Gartner魔力象限位于領(lǐng)導(dǎo)者地位：數(shù)據(jù)集成工具魔力象限、數(shù)據(jù)質(zhì)量工具魔力象限、元數(shù)據(jù)管理解決方案魔力象限、主數(shù)據(jù)管理解決方案魔力象限、企業(yè)級(jí)集成平臺(tái)即服務(wù)（EiPaaS）魔力象限。

5、DataStage

IBM? InfoSphere? Information Server 是一種數(shù)據(jù)集成軟件平臺(tái)，能夠幫助企業(yè)從散布在各個(gè)系統(tǒng)中的復(fù)雜異構(gòu)信息獲得更多價(jià)值。InfoSphere Information Server提供了一個(gè)統(tǒng)一的平臺(tái)， 使公司能夠了解、清理、變換和交付值得信賴且上下文豐富的信息。

IBM? InfoSphere? DataStage? and QualityStage? 提供了圖形框架，您可使用該框架來(lái)設(shè)計(jì)和運(yùn)行用于變換和清理、加載數(shù)據(jù)的作業(yè)。

參考資料：DataPipeline官網(wǎng)-關(guān)于我們

參考資料：百度百科-Kettle

參考資料：百度百科-Talend

參考資料：百度百科-Informatica

參考資料：百度百科-DataStage

哪些技術(shù)屬于大數(shù)據(jù)的關(guān)鍵技術(shù)

隨著大數(shù)據(jù)分析市場(chǎng)快速滲透到各行各業(yè)，哪些大數(shù)據(jù)技術(shù)是剛需?哪些技術(shù)有極大的潛在價(jià)值?根據(jù)弗雷斯特研究公司發(fā)布的指數(shù)，這里給出最熱的十個(gè)大數(shù)據(jù)技術(shù)。

預(yù)測(cè)分析：預(yù)測(cè)分析是一種統(tǒng)計(jì)或數(shù)據(jù)挖掘解決方案，包含可在結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)中使用以確定未來(lái)結(jié)果的算法和技術(shù)?？蔀轭A(yù)測(cè)、優(yōu)化、預(yù)報(bào)和模擬等許多其他用途而部署。隨著現(xiàn)在硬件和軟件解決方案的成熟，許多公司利用大數(shù)據(jù)技術(shù)來(lái)收集海量數(shù)據(jù)、訓(xùn)練模型、優(yōu)化模型，并發(fā)布預(yù)測(cè)模型來(lái)提高業(yè)務(wù)水平或者避免風(fēng)險(xiǎn);當(dāng)前最流行的預(yù)測(cè)分析工具當(dāng)屬I(mǎi)BM公司的SPSS,SPSS這個(gè)軟件大家都已經(jīng)很熟悉了，它集數(shù)據(jù)錄入、整理、分析功能于一身。用戶可以根據(jù)實(shí)際需要和計(jì)算機(jī)的功能選擇模塊，SPSS的分析結(jié)果清晰、直觀、易學(xué)易用，而且可以直接讀取EXCEL及DBF數(shù)據(jù)文件，現(xiàn)已推廣到多種各種操作系統(tǒng)的計(jì)算機(jī)上。

NoSQL數(shù)據(jù)庫(kù)：非關(guān)系型數(shù)據(jù)庫(kù)包括Key-value型(Redis)數(shù)據(jù)庫(kù)、文檔型(MonogoDB)數(shù)據(jù)庫(kù)、圖型(Neo4j)數(shù)據(jù)庫(kù);雖然NoSQL流行語(yǔ)火起來(lái)才短短一年的時(shí)間，但是不可否認(rèn)，現(xiàn)在已經(jīng)開(kāi)始了第二代運(yùn)動(dòng)。盡管早期的堆棧代碼只能算是一種實(shí)驗(yàn)，然而現(xiàn)在的系統(tǒng)已經(jīng)更加的成熟、穩(wěn)定。

搜索和認(rèn)知商業(yè)：當(dāng)今時(shí)代大數(shù)據(jù)與分析已經(jīng)發(fā)展到一個(gè)新的高度，那就是認(rèn)知時(shí)代，認(rèn)知時(shí)代不再是簡(jiǎn)單的數(shù)據(jù)分析與展示，它更多的是上升到一個(gè)利用數(shù)據(jù)來(lái)支撐人機(jī)交互的一種模式，例如前段時(shí)間的圍棋大戰(zhàn)，就是一個(gè)很好的應(yīng)用、現(xiàn)已經(jīng)逐步推廣到機(jī)器人的應(yīng)用上面，也就是下一個(gè)經(jīng)濟(jì)爆發(fā)點(diǎn)——人工智能，互聯(lián)網(wǎng)人都比較熟悉國(guó)內(nèi)的BAT，以及國(guó)外的apple、google、facebook、IBM、微軟、亞馬遜等等;可以大致看一下他們的商業(yè)布局，未來(lái)全是往人工智能方向發(fā)展，當(dāng)然目前在認(rèn)知商業(yè)這一塊IBM當(dāng)屬領(lǐng)頭羊，特別是當(dāng)前主推的watson這個(gè)產(chǎn)品，以及取得了非常棒的效果。

流式分析：目前流式計(jì)算是業(yè)界研究的一個(gè)熱點(diǎn)，最近Twitter、LinkedIn等公司相繼開(kāi)源了流式計(jì)算系統(tǒng)Storm、Kafka等，加上Yahoo!之前開(kāi)源的S4，流式計(jì)算研究在互聯(lián)網(wǎng)領(lǐng)域持續(xù)升溫，流式分析可以對(duì)多個(gè)高吞吐量的數(shù)據(jù)源進(jìn)行實(shí)時(shí)的清洗、聚合和分析;對(duì)存在于社交網(wǎng)站、博客、電子郵件、視頻、新聞、電話記錄、傳輸數(shù)據(jù)、電子感應(yīng)器之中的數(shù)字格式的信息流進(jìn)行快速處理并反饋的需求。目前大數(shù)據(jù)流分析平臺(tái)有很多、如開(kāi)源的spark，以及ibm的 streams 。

內(nèi)存數(shù)據(jù)結(jié)構(gòu)：通過(guò)動(dòng)態(tài)隨機(jī)內(nèi)存訪問(wèn)(DRAM)、Flash和SSD等分布式存儲(chǔ)系統(tǒng)提供海量數(shù)據(jù)的低延時(shí)訪問(wèn)和處理;

分布式存儲(chǔ)系統(tǒng)：分布式存儲(chǔ)是指存儲(chǔ)節(jié)點(diǎn)大于一個(gè)、數(shù)據(jù)保存多副本以及高性能的計(jì)算網(wǎng)絡(luò);利用多臺(tái)存儲(chǔ)服務(wù)器分擔(dān)存儲(chǔ)負(fù)荷，利用位置服務(wù)器定位存儲(chǔ)信息，它不但提高了系統(tǒng)的可靠性、可用性和存取效率，還易于擴(kuò)展。當(dāng)前開(kāi)源的HDFS還是非常不錯(cuò)，有需要的朋友可以深入了解一下。

數(shù)據(jù)可視化：數(shù)據(jù)可視化技術(shù)是指對(duì)各類(lèi)型數(shù)據(jù)源(包括hadoop上的海量數(shù)據(jù)以及實(shí)時(shí)和接近實(shí)時(shí)的分布式數(shù)據(jù))進(jìn)行顯示;當(dāng)前國(guó)內(nèi)外數(shù)據(jù)分析展示的產(chǎn)品很多，如果是企業(yè)單位以及政府單位建議使用 cognos ，安全、穩(wěn)定、功能強(qiáng)大、支持大數(shù)據(jù)、非常不錯(cuò)的選擇。

數(shù)據(jù)整合：通過(guò)亞馬遜彈性MR(EMR)、Hive、Pig、Spark、MapReduce、Couchbase、Hadoop和MongoDB等軟件進(jìn)行業(yè)務(wù)數(shù)據(jù)整合;

數(shù)據(jù)預(yù)處理：數(shù)據(jù)整合是指對(duì)數(shù)據(jù)源進(jìn)行清洗、裁剪，并共享多樣化數(shù)據(jù)來(lái)加快數(shù)據(jù)分析;

數(shù)據(jù)校驗(yàn)：對(duì)分布式存儲(chǔ)系統(tǒng)和數(shù)據(jù)庫(kù)上的海量、高頻率數(shù)據(jù)集進(jìn)行數(shù)據(jù)校驗(yàn)，去除非法數(shù)據(jù)，補(bǔ)全缺失。

數(shù)據(jù)整合、處理、校驗(yàn)在目前已經(jīng)統(tǒng)稱為 ETL ，ETL過(guò)程可以把結(jié)構(gòu)化數(shù)據(jù)以及非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行清洗、抽取、轉(zhuǎn)換成你需要的數(shù)據(jù)、同時(shí)還可以保障數(shù)據(jù)的安全性以及完整性、關(guān)于ETL的產(chǎn)品推薦使用 datastage就行、對(duì)于任何數(shù)據(jù)源都可以完美處理。

ETL工程師要學(xué)什么？

技術(shù)方面：需要學(xué)習(xí)使用數(shù)據(jù)源、目標(biāo)端工具的基本使用（如 oracle MySQL hive等）;需要學(xué)習(xí)etl工具的安裝配置常用錯(cuò)誤解決（如 kettle DataStage infa sqoop datax等）

理論方面：懂得數(shù)倉(cāng)分層架構(gòu)，維度建模等。

從ETL的字面來(lái)看，它主要包含三大階段，分別是數(shù)據(jù)抽取、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)加載。

1.數(shù)據(jù)抽取

這個(gè)階段的主要目標(biāo)是匯總多種數(shù)據(jù)源，為下一步的轉(zhuǎn)換做準(zhǔn)備。

2.數(shù)據(jù)轉(zhuǎn)換

這個(gè)階段是ETL的核心環(huán)節(jié)，也是最復(fù)雜的環(huán)節(jié)。它的主要目標(biāo)是將抽取到的各種數(shù)據(jù)，進(jìn)行數(shù)據(jù)的清洗、格式的轉(zhuǎn)換、缺失值填補(bǔ)、剔除重復(fù)等操作，最終得到一份格式統(tǒng)一、高度結(jié)構(gòu)化、數(shù)據(jù)質(zhì)量高、兼容性好的數(shù)據(jù)，為后續(xù)的分析決策提供可靠的數(shù)據(jù)支持。

3.數(shù)據(jù)加載

這個(gè)階段的主要目標(biāo)是把數(shù)據(jù)加載至目的地，比如數(shù)據(jù)倉(cāng)庫(kù)中。通常的做法是，將處理好的數(shù)據(jù)寫(xiě)成特定格式（如parquet、csv等）的文件，然后再把文件掛載到指定的表分區(qū)上。也有些表的數(shù)據(jù)量很小，不會(huì)采用分區(qū)表，而是直接生成最終的數(shù)據(jù)表。

了解了ETL這部分的工作主要做什么，接下來(lái)再來(lái)說(shuō)作為ETL工程師需要具備哪些技能，這些也就是需要學(xué)習(xí)的重點(diǎn)——

1、精通SQL語(yǔ)言，具備存儲(chǔ)過(guò)程開(kāi)發(fā)能力，能熟練進(jìn)行SQL查詢優(yōu)化；

2、熟悉Hive數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)，了解數(shù)據(jù)倉(cāng)庫(kù)模型及思想、維度建模思想，了解數(shù)據(jù)倉(cāng)庫(kù)；

3、熟悉Hadoop、Spark、Flink、Kafka等相關(guān)技術(shù)；

4、熟練Python、Java中至少一種語(yǔ)言；

5、熟悉Mysql、Nosql等常見(jiàn)數(shù)據(jù)庫(kù)。

大數(shù)據(jù)處理的五大關(guān)鍵技術(shù)及其應(yīng)用

作者 | 網(wǎng)絡(luò)大數(shù)據(jù)

來(lái)源 | 產(chǎn)業(yè)智能官

數(shù)據(jù)處理是對(duì)紛繁復(fù)雜的海量數(shù)據(jù)價(jià)值的提煉，而其中最有價(jià)值的地方在于預(yù)測(cè)性分析，即可以通過(guò)數(shù)據(jù)可視化、統(tǒng)計(jì)模式識(shí)別、數(shù)據(jù)描述等數(shù)據(jù)挖掘形式幫助數(shù)據(jù)科學(xué)家更好的理解數(shù)據(jù)，根據(jù)數(shù)據(jù)挖掘的結(jié)果得出預(yù)測(cè)性決策。其中主要工作環(huán)節(jié)包括：

大數(shù)據(jù)采集 大數(shù)據(jù)預(yù)處理 大數(shù)據(jù)存儲(chǔ)及管理 大數(shù)據(jù)分析及挖掘 大數(shù)據(jù)展現(xiàn)和應(yīng)用(大數(shù)據(jù)檢索、大數(shù)據(jù)可視化、大數(shù)據(jù)應(yīng)用、大數(shù)據(jù)安全等)。

一、大數(shù)據(jù)采集技術(shù)

數(shù)據(jù)是指通過(guò)RFID射頻數(shù)據(jù)、傳感器數(shù)據(jù)、社交網(wǎng)絡(luò)交互數(shù)據(jù)及移動(dòng)互聯(lián)網(wǎng)數(shù)據(jù)等方式獲得的各種類(lèi)型的結(jié)構(gòu)化、半結(jié)構(gòu)化(或稱之為弱結(jié)構(gòu)化)及非結(jié)構(gòu)化的海量數(shù)據(jù)，是大數(shù)據(jù)知識(shí)服務(wù)模型的根本。重點(diǎn)要突破分布式高速高可靠數(shù)據(jù)爬取或采集、高速數(shù)據(jù)全映像等大數(shù)據(jù)收集技術(shù);突破高速數(shù)據(jù)解析、轉(zhuǎn)換與裝載等大數(shù)據(jù)整合技術(shù);設(shè)計(jì)質(zhì)量評(píng)估模型，開(kāi)發(fā)數(shù)據(jù)質(zhì)量技術(shù)。

大數(shù)據(jù)采集一般分為：

大數(shù)據(jù)智能感知層：主要包括數(shù)據(jù)傳感體系、網(wǎng)絡(luò)通信體系、傳感適配體系、智能識(shí)別體系及軟硬件資源接入系統(tǒng)，實(shí)現(xiàn)對(duì)結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化的海量數(shù)據(jù)的智能化識(shí)別、定位、跟蹤、接入、傳輸、信號(hào)轉(zhuǎn)換、監(jiān)控、初步處理和管理等。必須著重攻克針對(duì)大數(shù)據(jù)源的智能識(shí)別、感知、適配、傳輸、接入等技術(shù)。

基礎(chǔ)支撐層：提供大數(shù)據(jù)服務(wù)平臺(tái)所需的虛擬服務(wù)器，結(jié)構(gòu)化、半結(jié)構(gòu)化及非結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)庫(kù)及物聯(lián)網(wǎng)絡(luò)資源等基礎(chǔ)支撐環(huán)境。重點(diǎn)攻克分布式虛擬存儲(chǔ)技術(shù)，大數(shù)據(jù)獲取、存儲(chǔ)、組織、分析和決策操作的可視化接口技術(shù)，大數(shù)據(jù)的網(wǎng)絡(luò)傳輸與壓縮技術(shù)，大數(shù)據(jù)隱私保護(hù)技術(shù)等。

二、大數(shù)據(jù)預(yù)處理技術(shù)

完成對(duì)已接收數(shù)據(jù)的辨析、抽取、清洗等操作。

抽?。阂颢@取的數(shù)據(jù)可能具有多種結(jié)構(gòu)和類(lèi)型，數(shù)據(jù)抽取過(guò)程可以幫助我們將這些復(fù)雜的數(shù)據(jù)轉(zhuǎn)化為單一的或者便于處理的構(gòu)型，以達(dá)到快速分析處理的目的。

清洗：對(duì)于大數(shù)據(jù)，并不全是有價(jià)值的，有些數(shù)據(jù)并不是我們所關(guān)心的內(nèi)容，而另一些數(shù)據(jù)則是完全錯(cuò)誤的干擾項(xiàng)，因此要對(duì)數(shù)據(jù)通過(guò)過(guò)濾“去噪”從而提取出有效數(shù)據(jù)。

三、大數(shù)據(jù)存儲(chǔ)及管理技術(shù)

大數(shù)據(jù)存儲(chǔ)與管理要用存儲(chǔ)器把采集到的數(shù)據(jù)存儲(chǔ)起來(lái)，建立相應(yīng)的數(shù)據(jù)庫(kù)，并進(jìn)行管理和調(diào)用。重點(diǎn)解決復(fù)雜結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化大數(shù)據(jù)管理與處理技術(shù)。主要解決大數(shù)據(jù)的可存儲(chǔ)、可表示、可處理、可靠性及有效傳輸?shù)葞讉€(gè)關(guān)鍵問(wèn)題。開(kāi)發(fā)可靠的分布式文件系統(tǒng)(DFS)、能效優(yōu)化的存儲(chǔ)、計(jì)算融入存儲(chǔ)、大數(shù)據(jù)的去冗余及高效低成本的大數(shù)據(jù)存儲(chǔ)技術(shù);突破分布式非關(guān)系型大數(shù)據(jù)管理與處理技術(shù)，異構(gòu)數(shù)據(jù)的數(shù)據(jù)融合技術(shù)，數(shù)據(jù)組織技術(shù)，研究大數(shù)據(jù)建模技術(shù);突破大數(shù)據(jù)索引技術(shù);突破大數(shù)據(jù)移動(dòng)、備份、復(fù)制等技術(shù);開(kāi)發(fā)大數(shù)據(jù)可視化技術(shù)。

開(kāi)發(fā)新型數(shù)據(jù)庫(kù)技術(shù)，數(shù)據(jù)庫(kù)分為關(guān)系型數(shù)據(jù)庫(kù)、非關(guān)系型數(shù)據(jù)庫(kù)以及數(shù)據(jù)庫(kù)緩存系統(tǒng)。其中，非關(guān)系型數(shù)據(jù)庫(kù)主要指的是NoSQL數(shù)據(jù)庫(kù)，分為：鍵值數(shù)據(jù)庫(kù)、列存數(shù)據(jù)庫(kù)、圖存數(shù)據(jù)庫(kù)以及文檔數(shù)據(jù)庫(kù)等類(lèi)型。關(guān)系型數(shù)據(jù)庫(kù)包含了傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)系統(tǒng)以及NewSQL數(shù)據(jù)庫(kù)。

開(kāi)發(fā)大數(shù)據(jù)安全技術(shù)：改進(jìn)數(shù)據(jù)銷(xiāo)毀、透明加解密、分布式訪問(wèn)控制、數(shù)據(jù)審計(jì)等技術(shù);突破隱私保護(hù)和推理控制、數(shù)據(jù)真?zhèn)巫R(shí)別和取證、數(shù)據(jù)持有完整性驗(yàn)證等技術(shù)。

四、大數(shù)據(jù)分析及挖掘技術(shù)

大數(shù)據(jù)分析技術(shù)：改進(jìn)已有數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)技術(shù);開(kāi)發(fā)數(shù)據(jù)網(wǎng)絡(luò)挖掘、特異群組挖掘、圖挖掘等新型數(shù)據(jù)挖掘技術(shù);突破基于對(duì)象的數(shù)據(jù)連接、相似性連接等大數(shù)據(jù)融合技術(shù);突破用戶興趣分析、網(wǎng)絡(luò)行為分析、情感語(yǔ)義分析等面向領(lǐng)域的大數(shù)據(jù)挖掘技術(shù)。

數(shù)據(jù)挖掘就是從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的實(shí)際應(yīng)用數(shù)據(jù)中，提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識(shí)的過(guò)程。

數(shù)據(jù)挖掘涉及的技術(shù)方法很多，有多種分類(lèi)法。根據(jù)挖掘任務(wù)可分為分類(lèi)或預(yù)測(cè)模型發(fā)現(xiàn)、數(shù)據(jù)總結(jié)、聚類(lèi)、關(guān)聯(lián)規(guī)則發(fā)現(xiàn)、序列模式發(fā)現(xiàn)、依賴關(guān)系或依賴模型發(fā)現(xiàn)、異常和趨勢(shì)發(fā)現(xiàn)等等;根據(jù)挖掘?qū)ο罂煞譃殛P(guān)系數(shù)據(jù)庫(kù)、面向?qū)ο髷?shù)據(jù)庫(kù)、空間數(shù)據(jù)庫(kù)、時(shí)態(tài)數(shù)據(jù)庫(kù)、文本數(shù)據(jù)源、多媒體數(shù)據(jù)庫(kù)、異質(zhì)數(shù)據(jù)庫(kù)、遺產(chǎn)數(shù)據(jù)庫(kù)以及環(huán)球網(wǎng)Web;根據(jù)挖掘方法分，可粗分為:機(jī)器學(xué)習(xí)方法、統(tǒng)計(jì)方法、神經(jīng)網(wǎng)絡(luò)方法和數(shù)據(jù)庫(kù)方法。

機(jī)器學(xué)習(xí)中，可細(xì)分為歸納學(xué)習(xí)方法(決策樹(shù)、規(guī)則歸納等)、基于范例學(xué)習(xí)、遺傳算法等。統(tǒng)計(jì)方法中，可細(xì)分為:回歸分析(多元回歸、自回歸等)、判別分析(貝葉斯判別、費(fèi)歇爾判別、非參數(shù)判別等)、聚類(lèi)分析(系統(tǒng)聚類(lèi)、動(dòng)態(tài)聚類(lèi)等)、探索性分析(主元分析法、相關(guān)分析法等)等。神經(jīng)網(wǎng)絡(luò)方法中，可細(xì)分為:前向神經(jīng)網(wǎng)絡(luò)(BP算法等)、自組織神經(jīng)網(wǎng)絡(luò)(自組織特征映射、競(jìng)爭(zhēng)學(xué)習(xí)等)等。數(shù)據(jù)庫(kù)方法主要是多維數(shù)據(jù)分析或OLAP方法，另外還有面向?qū)傩缘臍w納方法。

數(shù)據(jù)挖掘主要過(guò)程是：根據(jù)分析挖掘目標(biāo)，從數(shù)據(jù)庫(kù)中把數(shù)據(jù)提取出來(lái)，然后經(jīng)過(guò)ETL組織成適合分析挖掘算法使用寬表，然后利用數(shù)據(jù)挖掘軟件進(jìn)行挖掘。傳統(tǒng)的數(shù)據(jù)挖掘軟件，一般只能支持在單機(jī)上進(jìn)行小規(guī)模數(shù)據(jù)處理,受此限制傳統(tǒng)數(shù)據(jù)分析挖掘一般會(huì)采用抽樣方式來(lái)減少數(shù)據(jù)分析規(guī)模。

數(shù)據(jù)挖掘的計(jì)算復(fù)雜度和靈活度遠(yuǎn)遠(yuǎn)超過(guò)前兩類(lèi)需求。一是由于數(shù)據(jù)挖掘問(wèn)題開(kāi)放性，導(dǎo)致數(shù)據(jù)挖掘會(huì)涉及大量衍生變量計(jì)算，衍生變量多變導(dǎo)致數(shù)據(jù)預(yù)處理計(jì)算復(fù)雜性;二是很多數(shù)據(jù)挖掘算法本身就比較復(fù)雜，計(jì)算量就很大，特別是大量機(jī)器學(xué)習(xí)算法，都是迭代計(jì)算，需要通過(guò)多次迭代來(lái)求最優(yōu)解，例如K-means聚類(lèi)算法、PageRank算法等。

從挖掘任務(wù)和挖掘方法的角度，著重突破：

可視化分析。數(shù)據(jù)可視化無(wú)論對(duì)于普通用戶或是數(shù)據(jù)分析專(zhuān)家，都是最基本的功能。數(shù)據(jù)圖像化可以讓數(shù)據(jù)自己說(shuō)話，讓用戶直觀的感受到結(jié)果。 數(shù)據(jù)挖掘算法。圖像化是將機(jī)器語(yǔ)言翻譯給人看，而數(shù)據(jù)挖掘就是機(jī)器的母語(yǔ)。分割、集群、孤立點(diǎn)分析還有各種各樣五花八門(mén)的算法讓我們精煉數(shù)據(jù)，挖掘價(jià)值。這些算法一定要能夠應(yīng)付大數(shù)據(jù)的量，同時(shí)還具有很高的處理速度。 預(yù)測(cè)性分析。預(yù)測(cè)性分析可以讓分析師根據(jù)圖像化分析和數(shù)據(jù)挖掘的結(jié)果做出一些前瞻性判斷。 語(yǔ)義引擎。語(yǔ)義引擎需要設(shè)計(jì)到有足夠的人工智能以足以從數(shù)據(jù)中主動(dòng)地提取信息。語(yǔ)言處理技術(shù)包括機(jī)器翻譯、情感分析、輿情分析、智能輸入、問(wèn)答系統(tǒng)等。 數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理。數(shù)據(jù)質(zhì)量與管理是管理的最佳實(shí)踐，透過(guò)標(biāo)準(zhǔn)化流程和機(jī)器對(duì)數(shù)據(jù)進(jìn)行處理可以確保獲得一個(gè)預(yù)設(shè)質(zhì)量的分析結(jié)果。

預(yù)測(cè)分析成功的7個(gè)秘訣

預(yù)測(cè)未來(lái)一直是一個(gè)冒險(xiǎn)的命題。幸運(yùn)的是，預(yù)測(cè)分析技術(shù)的出現(xiàn)使得用戶能夠基于歷史數(shù)據(jù)和分析技術(shù)(如統(tǒng)計(jì)建模和機(jī)器學(xué)習(xí))預(yù)測(cè)未來(lái)的結(jié)果，這使得預(yù)測(cè)結(jié)果和趨勢(shì)變得比過(guò)去幾年更加可靠。

盡管如此，與任何新興技術(shù)一樣，想要充分發(fā)揮預(yù)測(cè)分析的潛力也是很難的。而可能使挑戰(zhàn)變得更加復(fù)雜的是，由不完善的策略或預(yù)測(cè)分析工具的誤用導(dǎo)致的不準(zhǔn)確或誤導(dǎo)性的結(jié)果可能在幾周、幾個(gè)月甚至幾年內(nèi)才會(huì)顯現(xiàn)出來(lái)。

預(yù)測(cè)分析有可能徹底改變?cè)S多的行業(yè)和業(yè)務(wù)，包括零售、制造、供應(yīng)鏈、網(wǎng)絡(luò)管理、金融服務(wù)和醫(yī)療保健。AI網(wǎng)絡(luò)技術(shù)公司Mist Systems的聯(lián)合創(chuàng)始人、首席技術(shù)官Bob fridy預(yù)測(cè):“深度學(xué)習(xí)和預(yù)測(cè)性AI分析技術(shù)將會(huì)改變我們社會(huì)的所有部分，就像十年來(lái)互聯(lián)網(wǎng)和蜂窩技術(shù)所帶來(lái)的轉(zhuǎn)變一樣?！?。

這里有七個(gè)建議，旨在幫助您的組織充分利用其預(yù)測(cè)分析計(jì)劃。

1.能夠訪問(wèn)高質(zhì)量、易于理解的數(shù)據(jù)

預(yù)測(cè)分析應(yīng)用程序需要大量數(shù)據(jù)，并依賴于通過(guò)反饋循環(huán)提供的信息來(lái)不斷改進(jìn)。全球IT解決方案和服務(wù)提供商Infotech的首席數(shù)據(jù)和分析官Soumendra Mohanty評(píng)論道:“數(shù)據(jù)和預(yù)測(cè)分析之間是相互促進(jìn)的關(guān)系?！?/p>

了解流入預(yù)測(cè)分析模型的數(shù)據(jù)類(lèi)型非常重要?！耙粋€(gè)人身上會(huì)有什么樣的數(shù)據(jù)?” Eric Feigl - Ding問(wèn)道，他是流行病學(xué)家、營(yíng)養(yǎng)學(xué)家和健康經(jīng)濟(jì)學(xué)家，目前是哈佛陳氏公共衛(wèi)生學(xué)院的訪問(wèn)科學(xué)家?！笆敲刻於荚贔acebook和谷歌上收集的實(shí)時(shí)數(shù)據(jù)，還是難以訪問(wèn)的醫(yī)療記錄所需的醫(yī)療數(shù)據(jù)?”為了做出準(zhǔn)確的預(yù)測(cè)，模型需要被設(shè)計(jì)成能夠處理它所吸收的特定類(lèi)型的數(shù)據(jù)。

簡(jiǎn)單地將大量數(shù)據(jù)扔向計(jì)算資源的預(yù)測(cè)建模工作注定會(huì)失敗?！坝捎诖嬖诖罅繑?shù)據(jù)，而其中大部分?jǐn)?shù)據(jù)可能與特定問(wèn)題無(wú)關(guān)，只是在給定樣本中可能存在相關(guān)關(guān)系，”FactSet投資組合管理和交易解決方案副總裁兼研究主管Henri Waelbroeck解釋道，F(xiàn)actSet是一家金融數(shù)據(jù)和軟件公司?！叭绻涣私猱a(chǎn)生數(shù)據(jù)的過(guò)程，一個(gè)在有偏見(jiàn)的數(shù)據(jù)上訓(xùn)練的模型可能是完全錯(cuò)誤的?！?/p>

2.找到合適的模式

SAP高級(jí)分析產(chǎn)品經(jīng)理Richard Mooney指出，每個(gè)人都癡迷于算法，但是算法必須和輸入到算法中的數(shù)據(jù)一樣好?！叭绻也坏竭m合的模式，那么他們就毫無(wú)用處，”他寫(xiě)道?！按蠖鄶?shù)數(shù)據(jù)集都有其隱藏的模式?！?/p>

模式通常以兩種方式隱藏:

模式位于兩列之間的關(guān)系中。例如，可以通過(guò)即將進(jìn)行的交易的截止日期信息與相關(guān)的電子郵件開(kāi)盤(pán)價(jià)數(shù)據(jù)進(jìn)行比較來(lái)發(fā)現(xiàn)一種模式。Mooney說(shuō):“如果交易即將結(jié)束，電子郵件的公開(kāi)率應(yīng)該會(huì)大幅提高，因?yàn)橘I(mǎi)方會(huì)有很多人需要閱讀并審查合同?！?/p>

模式顯示了變量隨時(shí)間變化的關(guān)系?！耙陨厦娴睦訛槔?，了解客戶打開(kāi)了200次電子郵件并不像知道他們?cè)谏现艽蜷_(kāi)了175次那樣有用，”Mooney說(shuō)。

3 .專(zhuān)注于可管理的任務(wù)，這些任務(wù)可能會(huì)帶來(lái)積極的投資回報(bào)

紐約理工學(xué)院的分析和商業(yè)智能主任Michael Urmeneta稱:“如今，人們很想把機(jī)器學(xué)習(xí)算法應(yīng)用到海量數(shù)據(jù)上，以期獲得更深刻的見(jiàn)解?！彼f(shuō)，這種方法的問(wèn)題在于，它就像試圖一次治愈所有形式的癌癥一樣。Urmeneta解釋說(shuō):“這會(huì)導(dǎo)致問(wèn)題太大，數(shù)據(jù)太亂——沒(méi)有足夠的資金和足夠的支持。這樣是不可能獲得成功的?！?/p>

而當(dāng)任務(wù)相對(duì)集中時(shí)，成功的可能性就會(huì)大得多。Urmeneta指出:“如果有問(wèn)題的話，我們很可能會(huì)接觸到那些能夠理解復(fù)雜關(guān)系的專(zhuān)家” ?！斑@樣，我們就很可能會(huì)有更清晰或更好理解的數(shù)據(jù)來(lái)進(jìn)行處理?！?/p>

4.使用正確的方法來(lái)完成工作

好消息是，幾乎有無(wú)數(shù)的方法可以用來(lái)生成精確的預(yù)測(cè)分析。然而，這也是個(gè)壞消息。芝加哥大學(xué)NORC (前國(guó)家意見(jiàn)研究中心)的行為、經(jīng)濟(jì)分析和決策實(shí)踐主任Angela Fontes說(shuō):“每天都有新的、熱門(mén)的分析方法出現(xiàn)，使用新方法很容易讓人興奮”?！叭欢?，根據(jù)我的經(jīng)驗(yàn)，最成功的項(xiàng)目是那些真正深入思考分析結(jié)果并讓其指導(dǎo)他們選擇方法的項(xiàng)目——即使最合適的方法并不是最性感、最新的方法?！?/p>

羅切斯特理工學(xué)院計(jì)算機(jī)工程系主任、副教授shanchie Jay Yang建議說(shuō):“用戶必須謹(jǐn)慎選擇適合他們需求的方法”?！氨仨殦碛幸环N高效且可解釋的技術(shù)，一種可以利用序列數(shù)據(jù)、時(shí)間數(shù)據(jù)的統(tǒng)計(jì)特性，然后將其外推到最有可能的未來(lái)，”Yang說(shuō)。

5.用精確定義的目標(biāo)構(gòu)建模型

這似乎是顯而易見(jiàn)的，但許多預(yù)測(cè)分析項(xiàng)目開(kāi)始時(shí)的目標(biāo)是構(gòu)建一個(gè)宏偉的模型，卻沒(méi)有一個(gè)明確的最終使用計(jì)劃?！坝泻芏嗪馨舻哪Ｐ蛷膩?lái)沒(méi)有被人使用過(guò)，因?yàn)闆](méi)有人知道如何使用這些模型來(lái)實(shí)現(xiàn)或提供價(jià)值，”汽車(chē)、保險(xiǎn)和碰撞修復(fù)行業(yè)的SaaS提供商CCC信息服務(wù)公司的產(chǎn)品管理高級(jí)副總裁Jason Verlen評(píng)論道。

對(duì)此，F(xiàn)ontes也表示同意?！笆褂谜_的工具肯定會(huì)確保我們從分析中得到想要的結(jié)果……”因?yàn)檫@迫使我們必須對(duì)自己的目標(biāo)非常清楚，”她解釋道?！叭绻覀儾磺宄治龅哪繕?biāo)，就永遠(yuǎn)也不可能真正得到我們想要的東西?！?/p>

6.在IT和相關(guān)業(yè)務(wù)部門(mén)之間建立密切的合作關(guān)系

在業(yè)務(wù)和技術(shù)組織之間建立牢固的合作伙伴關(guān)系是至關(guān)重要的?？蛻趔w驗(yàn)技術(shù)提供商Genesys的人工智能產(chǎn)品管理副總裁Paul lasserr說(shuō):“你應(yīng)該能夠理解新技術(shù)如何應(yīng)對(duì)業(yè)務(wù)挑戰(zhàn)或改善現(xiàn)有的業(yè)務(wù)環(huán)境?！比缓?，一旦設(shè)置了目標(biāo)，就可以在一個(gè)限定范圍的應(yīng)用程序中測(cè)試模型，以確定解決方案是否真正提供了所需的價(jià)值。

7.不要被設(shè)計(jì)不良的模型誤導(dǎo)

模型是由人設(shè)計(jì)的，所以它們經(jīng)常包含著潛在的缺陷。錯(cuò)誤的模型或使用不正確或不當(dāng)?shù)臄?shù)據(jù)構(gòu)建的模型很容易產(chǎn)生誤導(dǎo)，在極端情況下，甚至?xí)a(chǎn)生完全錯(cuò)誤的預(yù)測(cè)。

沒(méi)有實(shí)現(xiàn)適當(dāng)隨機(jī)化的選擇偏差會(huì)混淆預(yù)測(cè)。例如，在一項(xiàng)假設(shè)的減肥研究中，可能有50%的參與者選擇退出后續(xù)的體重測(cè)量。然而，那些中途退出的人與留下來(lái)的人有著不同的體重軌跡。這使得分析變得復(fù)雜，因?yàn)樵谶@樣的研究中，那些堅(jiān)持參加這個(gè)項(xiàng)目的人通常是那些真正減肥的人。另一方面，戒煙者通常是那些很少或根本沒(méi)有減肥經(jīng)歷的人。因此，雖然減肥在整個(gè)世界都是具有因果性和可預(yù)測(cè)性的，但在一個(gè)有50%退出率的有限數(shù)據(jù)庫(kù)中，實(shí)際的減肥結(jié)果可能會(huì)被隱藏起來(lái)。

六、大數(shù)據(jù)展現(xiàn)與應(yīng)用技術(shù)

大數(shù)據(jù)技術(shù)能夠?qū)㈦[藏于海量數(shù)據(jù)中的信息和知識(shí)挖掘出來(lái)，為人類(lèi)的社會(huì)經(jīng)濟(jì)活動(dòng)提供依據(jù)，從而提高各個(gè)領(lǐng)域的運(yùn)行效率，大大提高整個(gè)社會(huì)經(jīng)濟(jì)的集約化程度。

在我國(guó)，大數(shù)據(jù)將重點(diǎn)應(yīng)用于以下三大領(lǐng)域：商業(yè)智能 、政府決策、公共服務(wù)。例如：商業(yè)智能技術(shù)，政府決策技術(shù)，電信數(shù)據(jù)信息處理與挖掘技術(shù)，電網(wǎng)數(shù)據(jù)信息處理與挖掘技術(shù)，氣象信息分析技術(shù)，環(huán)境監(jiān)測(cè)技術(shù)，警務(wù)云應(yīng)用系統(tǒng)(道路監(jiān)控、視頻監(jiān)控、網(wǎng)絡(luò)監(jiān)控、智能交通、反電信詐騙、指揮調(diào)度等公安信息系統(tǒng))，大規(guī)?；蛐蛄蟹治霰葘?duì)技術(shù)，Web信息挖掘技術(shù)，多媒體數(shù)據(jù)并行化處理技術(shù)，影視制作渲染技術(shù)，其他各種行業(yè)的云計(jì)算和海量數(shù)據(jù)處理應(yīng)用技術(shù)等。

newsql和nosql的區(qū)別和聯(lián)系

在大數(shù)據(jù)時(shí)代，“多種架構(gòu)支持多類(lèi)應(yīng)用”成為數(shù)據(jù)庫(kù)行業(yè)應(yīng)對(duì)大數(shù)據(jù)的基本思路，數(shù)據(jù)庫(kù)行業(yè)出現(xiàn)互為補(bǔ)充的三大陣營(yíng)，適用于事務(wù)處理應(yīng)用的OldSQL、適用于數(shù)據(jù)分析應(yīng)用的NewSQL和適用于互聯(lián)網(wǎng)應(yīng)用的NoSQL。但在一些復(fù)雜的應(yīng)用場(chǎng)景中，單一數(shù)據(jù)庫(kù)架構(gòu)都不能完全滿足應(yīng)用場(chǎng)景對(duì)海量結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)管理、復(fù)雜分析、關(guān)聯(lián)查詢、實(shí)時(shí)性處理和控制建設(shè)成本等多方面的需要，因此不同架構(gòu)數(shù)據(jù)庫(kù)混合部署應(yīng)用成為滿足復(fù)雜應(yīng)用的必然選擇。不同架構(gòu)數(shù)據(jù)庫(kù)混合使用的模式可以概括為：OldSQL+NewSQL、OldSQL+NoSQL、NewSQL+NoSQL三種主要模式。下面通過(guò)三個(gè)案例對(duì)不同架構(gòu)數(shù)據(jù)庫(kù)的混合應(yīng)用部署進(jìn)行介紹。

OldSQL+NewSQL 在數(shù)據(jù)中心類(lèi)應(yīng)用中混合部署

采用OldSQL+NewSQL模式構(gòu)建數(shù)據(jù)中心，在充分發(fā)揮OldSQL數(shù)據(jù)庫(kù)的事務(wù)處理能力的同時(shí)，借助NewSQL在實(shí)時(shí)性、復(fù)雜分析、即席查詢等方面的獨(dú)特優(yōu)勢(shì)，以及面對(duì)海量數(shù)據(jù)時(shí)較強(qiáng)的擴(kuò)展能力，滿足數(shù)據(jù)中心對(duì)當(dāng)前“熱”數(shù)據(jù)事務(wù)型處理和海量歷史“冷”數(shù)據(jù)分析兩方面的需求。OldSQL+NewSQL模式在數(shù)據(jù)中心類(lèi)應(yīng)用中的互補(bǔ)作用體現(xiàn)在，OldSQL彌補(bǔ)了NewSQL不適合事務(wù)處理的不足，NewSQL彌補(bǔ)了OldSQL在海量數(shù)據(jù)存儲(chǔ)能力和處理性能方面的缺陷。

商業(yè)銀行數(shù)據(jù)中心采用OldSQL+NewSQL混合部署方式搭建，OldSQL數(shù)據(jù)庫(kù)滿足各業(yè)務(wù)系統(tǒng)數(shù)據(jù)的歸檔備份和事務(wù)型應(yīng)用，NewSQL MPP數(shù)據(jù)庫(kù)集群對(duì)即席查詢、多維分析等應(yīng)用提供高性能支持，并且通過(guò)MPP集群架構(gòu)實(shí)現(xiàn)應(yīng)對(duì)海量數(shù)據(jù)存儲(chǔ)的擴(kuò)展能力。

商業(yè)銀行數(shù)據(jù)中心存儲(chǔ)架構(gòu)

與傳統(tǒng)的OldSQL模式相比，商業(yè)銀行數(shù)據(jù)中心采用OldSQL+NewSQL混合搭建模式，數(shù)據(jù)加載性能提升3倍以上，即席查詢和統(tǒng)計(jì)分析性能提升6倍以上。NewSQL MPP的高可擴(kuò)展性能夠應(yīng)對(duì)新的業(yè)務(wù)需求，可隨著數(shù)據(jù)量的增長(zhǎng)采用集群方式構(gòu)建存儲(chǔ)容量更大的數(shù)據(jù)中心。

OldSQL+NoSQL 在互聯(lián)網(wǎng)大數(shù)據(jù)應(yīng)用中混合部署

在互聯(lián)網(wǎng)大數(shù)據(jù)應(yīng)用中采用OldSQL+NoSQL混合模式，能夠很好的解決互聯(lián)網(wǎng)大數(shù)據(jù)應(yīng)用對(duì)海量結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行存儲(chǔ)和快速處理的需求。在諸如大型電子商務(wù)平臺(tái)、大型SNS平臺(tái)等互聯(lián)網(wǎng)大數(shù)據(jù)應(yīng)用場(chǎng)景中，OldSQL在應(yīng)用中負(fù)責(zé)高價(jià)值密度結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)和事務(wù)型處理，NoSQL在應(yīng)用中負(fù)責(zé)存儲(chǔ)和處理海量非結(jié)構(gòu)化的數(shù)據(jù)和低價(jià)值密度結(jié)構(gòu)化數(shù)據(jù)。OldSQL+NoSQL模式在互聯(lián)網(wǎng)大數(shù)據(jù)應(yīng)用中的互補(bǔ)作用體現(xiàn)在，OldSQL彌補(bǔ)了NoSQL在ACID特性和復(fù)雜關(guān)聯(lián)運(yùn)算方面的不足，NoSQL彌補(bǔ)了OldSQL在海量數(shù)據(jù)存儲(chǔ)和非結(jié)構(gòu)化數(shù)據(jù)處理方面的缺陷。

數(shù)據(jù)魔方是淘寶網(wǎng)的一款數(shù)據(jù)產(chǎn)品，主要提供行業(yè)數(shù)據(jù)分析、店鋪數(shù)據(jù)分析。淘寶數(shù)據(jù)產(chǎn)品在存儲(chǔ)層采用OldSQL+NoSQL混合模式，由基于MySQL的分布式關(guān)系型數(shù)據(jù)庫(kù)集群MyFOX和基于HBase的NoSQL存儲(chǔ)集群Prom組成。由于OldSQL強(qiáng)大的語(yǔ)義和關(guān)系表達(dá)能力，在應(yīng)用中仍然占據(jù)著重要地位，目前存儲(chǔ)在MyFOX中的統(tǒng)計(jì)結(jié)果數(shù)據(jù)已經(jīng)達(dá)到10TB，占據(jù)著數(shù)據(jù)魔方總數(shù)據(jù)量的95%以上。另一方面，NoSQL作為SQL的有益補(bǔ)充，解決了OldSQL數(shù)據(jù)庫(kù)無(wú)法解決的全屬性選擇器等問(wèn)題。

淘寶海量數(shù)據(jù)產(chǎn)品技術(shù)架構(gòu)

基于OldSQL+NoSQL混合架構(gòu)的特點(diǎn)，數(shù)據(jù)魔方目前已經(jīng)能夠提供壓縮前80TB的數(shù)據(jù)存儲(chǔ)空間，支持每天4000萬(wàn)的查詢請(qǐng)求，平均響應(yīng)時(shí)間在28毫秒，足以滿足未來(lái)一段時(shí)間內(nèi)的業(yè)務(wù)增長(zhǎng)需求。

NewSQL+NoSQL 在行業(yè)大數(shù)據(jù)應(yīng)用中混合部署

行業(yè)大數(shù)據(jù)與互聯(lián)網(wǎng)大數(shù)據(jù)的區(qū)別在于行業(yè)大數(shù)據(jù)的價(jià)值密度更高，并且對(duì)結(jié)構(gòu)化數(shù)據(jù)的實(shí)時(shí)處理、復(fù)雜的多表關(guān)聯(lián)分析、即席查詢、數(shù)據(jù)強(qiáng)一致性等都比互聯(lián)網(wǎng)大數(shù)據(jù)有更高的要求。行業(yè)大數(shù)據(jù)應(yīng)用場(chǎng)景主要是分析類(lèi)應(yīng)用，如：電信、金融、政務(wù)、能源等行業(yè)的決策輔助、預(yù)測(cè)預(yù)警、統(tǒng)計(jì)分析、經(jīng)營(yíng)分析等。

在行業(yè)大數(shù)據(jù)應(yīng)用中采用NewSQL+NoSQL混合模式，充分利用NewSQL在結(jié)構(gòu)化數(shù)據(jù)分析處理方面的優(yōu)勢(shì)，以及NoSQL在非結(jié)構(gòu)數(shù)據(jù)處理方面的優(yōu)勢(shì)，實(shí)現(xiàn)NewSQL與NoSQL的功能互補(bǔ)，解決行業(yè)大數(shù)據(jù)應(yīng)用對(duì)高價(jià)值結(jié)構(gòu)化數(shù)據(jù)的實(shí)時(shí)處理、復(fù)雜的多表關(guān)聯(lián)分析、即席查詢、數(shù)據(jù)強(qiáng)一致性等要求，以及對(duì)海量非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)和精確查詢的要求。在應(yīng)用中，NewSQL承擔(dān)高價(jià)值密度結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)和分析處理工作，NoSQL承擔(dān)存儲(chǔ)和處理海量非結(jié)構(gòu)化數(shù)據(jù)和不需要關(guān)聯(lián)分析、Ad-hoc查詢較少的低價(jià)值密度結(jié)構(gòu)化數(shù)據(jù)的工作。

當(dāng)前電信運(yùn)營(yíng)商在集中化BI系統(tǒng)建設(shè)過(guò)程中面臨著數(shù)據(jù)規(guī)模大、數(shù)據(jù)處理類(lèi)型多等問(wèn)題，并且需要應(yīng)對(duì)大量的固定應(yīng)用，以及占統(tǒng)計(jì)總數(shù)80%以上的突發(fā)性臨時(shí)統(tǒng)計(jì)(ad-hoc)需求。在集中化BI系統(tǒng)的建設(shè)中采用NewSQL+NoSQL混搭的模式，充分利用NewSQL在復(fù)雜分析、即席查詢等方面處理性能的優(yōu)勢(shì)，及NoSQL在非結(jié)構(gòu)化數(shù)據(jù)處理和海量數(shù)據(jù)存儲(chǔ)方面的優(yōu)勢(shì)，實(shí)現(xiàn)高效低成本。

集中化BI系統(tǒng)數(shù)據(jù)存儲(chǔ)架構(gòu)

集中化BI系統(tǒng)按照數(shù)據(jù)類(lèi)型和處理方式的不同，將結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)分別存儲(chǔ)在不同的系統(tǒng)中：非結(jié)構(gòu)化數(shù)據(jù)在Hadoop平臺(tái)上存儲(chǔ)與處理;結(jié)構(gòu)化、不需要關(guān)聯(lián)分析、Ad-hoc查詢較少的數(shù)據(jù)保存在NoSQL數(shù)據(jù)庫(kù)或Hadoop平臺(tái);結(jié)構(gòu)化、需要關(guān)聯(lián)分析或經(jīng)常ad-hoc查詢的數(shù)據(jù)，保存在NewSQL MPP數(shù)據(jù)庫(kù)中，短期高價(jià)值數(shù)據(jù)放在高性能平臺(tái)，中長(zhǎng)期放在低成本產(chǎn)品中。

結(jié)語(yǔ)

當(dāng)前信息化應(yīng)用的多樣性、復(fù)雜性，以及三種數(shù)據(jù)庫(kù)架構(gòu)各自所具有的優(yōu)勢(shì)和局限性，造成任何一種架構(gòu)的數(shù)據(jù)庫(kù)都不能完全滿足應(yīng)用需求，因此不同架構(gòu)數(shù)據(jù)庫(kù)混合使用，從而彌補(bǔ)其他架構(gòu)的不足成為必然選擇。根據(jù)應(yīng)用場(chǎng)景采用不同架構(gòu)數(shù)據(jù)庫(kù)進(jìn)行組合搭配，充分發(fā)揮每種架構(gòu)數(shù)據(jù)庫(kù)的特點(diǎn)和優(yōu)勢(shì)，并且與其他架構(gòu)數(shù)據(jù)庫(kù)形成互補(bǔ)，完全涵蓋應(yīng)用需求，保證數(shù)據(jù)資源的最優(yōu)化利用，將成為未來(lái)一段時(shí)期內(nèi)信息化應(yīng)用主要采用的解決方式。

目前在國(guó)內(nèi)市場(chǎng)上，OldSQL主要為Oracle、IBM等國(guó)外數(shù)據(jù)庫(kù)廠商所壟斷，達(dá)夢(mèng)、金倉(cāng)等國(guó)產(chǎn)廠商仍處于追趕狀態(tài);南大通用憑借國(guó)產(chǎn)新型數(shù)據(jù)庫(kù)GBase 8a異軍突起，與EMC的Greenplum和HP的Vertica躋身NewSQL市場(chǎng)三強(qiáng);NoSQL方面用戶則大多采用Hadoop開(kāi)源方案。

大數(shù)據(jù)的特點(diǎn)和作用是什么？

我們正處在科技高速發(fā)展的時(shí)代，如今互聯(lián)網(wǎng)已經(jīng)與我們的生活息息相關(guān)，我們每天在互聯(lián)網(wǎng)產(chǎn)生大量的數(shù)據(jù)，這些數(shù)據(jù)散落在網(wǎng)絡(luò)中看似沒(méi)有怎么作用，但是這些數(shù)據(jù)經(jīng)過(guò)系統(tǒng)的處理整合起來(lái)確實(shí)非常有價(jià)值的。

一、?發(fā)展大數(shù)據(jù)技術(shù)可以提高生產(chǎn)力

大數(shù)據(jù)技術(shù)在企業(yè)已經(jīng)成為投入使用很成功的案例，很多應(yīng)用程序開(kāi)發(fā)商和大型公司都運(yùn)用大數(shù)據(jù)技術(shù)擴(kuò)展大數(shù)據(jù)項(xiàng)目。大數(shù)據(jù)技術(shù)在運(yùn)用時(shí)可以通過(guò)數(shù)據(jù)挖掘知道最需要的數(shù)據(jù)是哪些，通過(guò)這些數(shù)據(jù)獲取更多的生產(chǎn)力，提高生產(chǎn)能力，為企業(yè)帶來(lái)更多的商業(yè)價(jià)值。目前有很多企業(yè)通過(guò)數(shù)據(jù)挖掘分析解決問(wèn)題，相對(duì)來(lái)說(shuō)大數(shù)據(jù)分析比著傳統(tǒng)的數(shù)據(jù)分析速度更快，更能獲取可“回收利用”的信息流量，提高行業(yè)內(nèi)的生產(chǎn)力。

二、?發(fā)展大數(shù)據(jù)技術(shù)可以改善營(yíng)銷(xiāo)決策

近幾年的數(shù)據(jù)量暴增，數(shù)據(jù)盈利也很可能成為未來(lái)收入的主要來(lái)源，大數(shù)據(jù)技術(shù)在海量數(shù)據(jù)的分析中，尋求到最合適的企業(yè)營(yíng)銷(xiāo)策略，通過(guò)數(shù)據(jù)分析給企業(yè)帶來(lái)更明智的策略。

大數(shù)據(jù)工程師通過(guò)對(duì)客戶的數(shù)據(jù)精湛分析，分析行業(yè)內(nèi)的流行趨勢(shì)并且定制出更適合的產(chǎn)品或者服務(wù)，通過(guò)對(duì)定價(jià)的檢測(cè)和分析對(duì)客戶忠誠(chéng)度有效評(píng)估，一系列的運(yùn)用大數(shù)據(jù)及時(shí)改善營(yíng)銷(xiāo)決策，給企業(yè)帶來(lái)有價(jià)值的數(shù)據(jù)決策。

三、?發(fā)展大數(shù)據(jù)技術(shù)的未來(lái)優(yōu)勢(shì)

大數(shù)據(jù)行業(yè)的興起，許多開(kāi)發(fā)企業(yè)都意識(shí)到，想要在行業(yè)內(nèi)不斷的發(fā)展就要運(yùn)用大數(shù)據(jù)技術(shù)，提升自身企業(yè)的品牌價(jià)值，在行業(yè)比拼中尋求更多的競(jìng)爭(zhēng)優(yōu)勢(shì)，微軟亞馬遜等大型跨國(guó)公司目前都在采用大數(shù)據(jù)解決問(wèn)題，為消費(fèi)者提供更好的服務(wù)。

目前有很多行業(yè)和企業(yè)都嘗到大數(shù)據(jù)技術(shù)的甜頭了，未來(lái)會(huì)有越來(lái)越多運(yùn)用大數(shù)據(jù)技術(shù)的產(chǎn)業(yè)，以現(xiàn)在大數(shù)據(jù)發(fā)展的速度來(lái)看，2020年大數(shù)據(jù)的市場(chǎng)規(guī)模將達(dá)到2030億美元，很多企業(yè)都在期盼大數(shù)據(jù)項(xiàng)目可以運(yùn)用的范圍更廣闊，然后通過(guò)運(yùn)用產(chǎn)生更大的利益空間。

大數(shù)據(jù)技術(shù)能為行業(yè)提高生產(chǎn)力、改善營(yíng)銷(xiāo)決策，給企業(yè)帶來(lái)更好的發(fā)展前景，目前大數(shù)據(jù)技術(shù)發(fā)展雖然在初級(jí)階段，但是發(fā)展勢(shì)頭很猛，未來(lái)也會(huì)有更多的行業(yè)領(lǐng)域涉足大數(shù)據(jù)技術(shù)運(yùn)用，大數(shù)據(jù)技術(shù)未來(lái)發(fā)展形式一片大好!

當(dāng)下，大數(shù)據(jù)方面的就業(yè)主要有三大方向：一是數(shù)據(jù)分析類(lèi)大數(shù)據(jù)人才，二是系統(tǒng)研發(fā)類(lèi)大數(shù)據(jù)人才，三是應(yīng)用開(kāi)發(fā)類(lèi)大數(shù)據(jù)人才。他們的基礎(chǔ)崗位分別是大數(shù)據(jù)系統(tǒng)研發(fā)工程師、大數(shù)據(jù)應(yīng)用開(kāi)發(fā)工程師、大數(shù)據(jù)分析師，如果想系統(tǒng)的學(xué)習(xí)編程的可以來(lái)我這看看。

對(duì)于求職者來(lái)說(shuō)，大數(shù)據(jù)只是所從事事業(yè)的一個(gè)方向，而職業(yè)崗位則是決定做什么事?大數(shù)據(jù)從業(yè)者/求職者可以根據(jù)自身所學(xué)技術(shù)及興趣特征，選擇一個(gè)適合自己的大數(shù)據(jù)相關(guān)崗位。下面為大家介紹十種與大數(shù)據(jù)相關(guān)的熱門(mén)崗位。

一、ETL研發(fā)

企業(yè)數(shù)據(jù)種類(lèi)與來(lái)源的不斷增加，對(duì)數(shù)據(jù)進(jìn)行整合與處理變得越來(lái)越困難，企業(yè)迫切需要一種有數(shù)據(jù)整合能力的人才。ETL開(kāi)發(fā)者這是在此需求基礎(chǔ)下而誕生的一個(gè)職業(yè)崗位。ETL人才在大數(shù)據(jù)時(shí)代炙手可熱的原因之一是：在企業(yè)大數(shù)據(jù)應(yīng)用的早期階段，Hadoop只是窮人的ETL。

二、Hadoop開(kāi)發(fā)

隨著數(shù)據(jù)規(guī)模不斷增大，傳統(tǒng)BI的數(shù)據(jù)處理成本過(guò)高企業(yè)負(fù)擔(dān)加重。而Hadoop廉價(jià)的數(shù)據(jù)處理能力被重新挖掘，企業(yè)需求持續(xù)增長(zhǎng)。并成為大數(shù)據(jù)人才必須掌握的一種技術(shù)。

三、可視化工具開(kāi)發(fā)

可視化開(kāi)發(fā)就是在可視化工具提供的圖形用戶界面上，通過(guò)操作界面元素，有可視化開(kāi)發(fā)工具自動(dòng)生成相關(guān)應(yīng)用軟件，輕松跨越多個(gè)資源和層次連接所有數(shù)據(jù)。過(guò)去，數(shù)據(jù)可視化屬于商業(yè)智能開(kāi)發(fā)者類(lèi)別，但是隨著Hadoop的崛起，數(shù)據(jù)可視化已經(jīng)成了一項(xiàng)獨(dú)立的專(zhuān)業(yè)技能和崗位。

四、信息架構(gòu)開(kāi)發(fā)

大數(shù)據(jù)重新激發(fā)了主數(shù)據(jù)管理的熱潮。充分開(kāi)發(fā)利用企業(yè)數(shù)據(jù)并支持決策需要非常專(zhuān)業(yè)的技能。信息架構(gòu)師必須了解如何定義和存檔關(guān)鍵元素，確保以最有效的方式進(jìn)行數(shù)據(jù)管理和利用。信息架構(gòu)師的關(guān)鍵技能包括主數(shù)據(jù)管理、業(yè)務(wù)知識(shí)和數(shù)據(jù)建模等。

五、數(shù)據(jù)倉(cāng)庫(kù)研究

為方便企業(yè)決策，出于分析性報(bào)告和決策支持的目的而創(chuàng)建的數(shù)據(jù)倉(cāng)庫(kù)研究崗位是一種所有類(lèi)型數(shù)據(jù)的戰(zhàn)略集合。為企業(yè)提供業(yè)務(wù)智能服務(wù)，指導(dǎo)業(yè)務(wù)流程改進(jìn)和監(jiān)視時(shí)間、成本、質(zhì)量和控制。

六、OLAP開(kāi)發(fā)

OLAP在線聯(lián)機(jī)分析開(kāi)發(fā)者，負(fù)責(zé)將數(shù)據(jù)從關(guān)系型或非關(guān)系型數(shù)據(jù)源中抽取出來(lái)建立模型，然后創(chuàng)建數(shù)據(jù)訪問(wèn)的用戶界面，提供高性能的預(yù)定義查詢功能。

七、數(shù)據(jù)科學(xué)研究

數(shù)據(jù)科學(xué)家是一個(gè)全新的工種，能夠?qū)⑵髽I(yè)的數(shù)據(jù)和技術(shù)轉(zhuǎn)化為企業(yè)的商業(yè)價(jià)值。隨著數(shù)據(jù)學(xué)的進(jìn)展，越來(lái)越多的實(shí)際工作將會(huì)直接針對(duì)數(shù)據(jù)進(jìn)行，這將使人類(lèi)認(rèn)識(shí)數(shù)據(jù)，從而認(rèn)識(shí)自然和行為。

八、數(shù)據(jù)預(yù)測(cè)分析

營(yíng)銷(xiāo)部門(mén)經(jīng)常使用預(yù)測(cè)分析預(yù)測(cè)用戶行為或鎖定目標(biāo)用戶。預(yù)測(cè)分析開(kāi)發(fā)者有些場(chǎng)景看上有有些類(lèi)似數(shù)據(jù)科學(xué)家，即在企業(yè)歷史數(shù)據(jù)的基礎(chǔ)上通過(guò)假設(shè)來(lái)測(cè)試閾值并預(yù)測(cè)未來(lái)的表現(xiàn)。

九、企業(yè)數(shù)據(jù)管理

企業(yè)要提高數(shù)據(jù)質(zhì)量必須考慮進(jìn)行數(shù)據(jù)管理，并需要為此設(shè)立數(shù)據(jù)管家職位，這一職位的人員需要能夠利用各種技術(shù)工具匯集企業(yè)周?chē)拇罅繑?shù)據(jù)，并將數(shù)據(jù)清洗和規(guī)范化，將數(shù)據(jù)導(dǎo)入數(shù)據(jù)倉(cāng)庫(kù)中，成為一個(gè)可用的版本。

十、數(shù)據(jù)安全研究

數(shù)據(jù)安全這一職位，主要負(fù)責(zé)企業(yè)內(nèi)部大型服務(wù)器、存儲(chǔ)、數(shù)據(jù)安全管理工作，并對(duì)網(wǎng)絡(luò)、信息安全項(xiàng)目進(jìn)行規(guī)劃、設(shè)計(jì)和實(shí)施。成都加米谷大數(shù)據(jù)培訓(xùn)機(jī)構(gòu)，專(zhuān)注于大數(shù)據(jù)人才培養(yǎng)。

希望對(duì)您有所幫助！~

網(wǎng)頁(yè)題目：nosqletl的簡(jiǎn)單介紹
網(wǎng)站地址：http://chinadenli.net/article2/hdoioc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供企業(yè)建站、App開(kāi)發(fā)、云服務(wù)器、企業(yè)網(wǎng)站制作、建站公司、域名注冊(cè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)