1、首先你得搞清楚建設(shè)數(shù)倉的目的是什么

我們提供的服務(wù)有:成都網(wǎng)站建設(shè)、網(wǎng)站設(shè)計(jì)、微信公眾號(hào)開發(fā)、網(wǎng)站優(yōu)化、網(wǎng)站認(rèn)證、肅寧ssl等。為上千多家企事業(yè)單位解決了網(wǎng)站和推廣的問題。提供周到的售前咨詢和貼心的售后服務(wù),是有科學(xué)管理、有技術(shù)的肅寧網(wǎng)站制作公司
是偏向于整合各系統(tǒng)數(shù)據(jù),為數(shù)據(jù)分析決策服務(wù),還是偏向于快速的完成分析決策需求?
如果是前者,那么在數(shù)據(jù)倉庫建模的時(shí)候一般會(huì)選擇ER建模方法;
如果是后者,一般會(huì)選擇維度建模方法。
ER建模:即實(shí)體關(guān)系建模,由數(shù)據(jù)倉庫之父BIll Inmon提出,核心思想是從全企業(yè)的高度去設(shè)計(jì)三范式模型,用實(shí)體關(guān)系描述企業(yè)服務(wù)。主張的是自上而下的架構(gòu),將不同的OLTP數(shù)據(jù)集中到面向主題的數(shù)據(jù)倉庫中。
維度建模:由Kimball提出,核心思想是從分析決策的需求出發(fā)構(gòu)建模型。這種模型由事實(shí)表和維表組成,即星型模型和雪花模型。Kimball倡導(dǎo)自下而上的架構(gòu),可以針對(duì)獨(dú)立部門建立數(shù)據(jù)集市,再遞增的構(gòu)建,匯總成數(shù)據(jù)倉庫。
2、其次你得進(jìn)行深入的業(yè)務(wù)調(diào)研和數(shù)據(jù)調(diào)研
業(yè)務(wù)調(diào)研:深入的業(yè)務(wù)調(diào)研能使你更加明確數(shù)倉建設(shè)的目的;同時(shí)也利于后續(xù)的建模設(shè)計(jì),隨著調(diào)研的開展,如何將實(shí)體業(yè)務(wù)抽象為數(shù)倉模型會(huì)更加明朗。
數(shù)據(jù)調(diào)研:各部門或各科室的數(shù)據(jù)現(xiàn)狀了解,包括數(shù)據(jù)分類、數(shù)據(jù)存儲(chǔ)方式、數(shù)據(jù)量、具體的數(shù)據(jù)內(nèi)容等等。這對(duì)后續(xù)的主數(shù)據(jù)串聯(lián)或者維度一致性處理等等都是必須的基礎(chǔ)。
3、然后是數(shù)據(jù)倉庫工具選型
傳統(tǒng)型數(shù)據(jù)倉庫:一般會(huì)選擇第三方廠家的數(shù)據(jù)庫和配套ETL工具。因?yàn)橛械谌街С郑鄬?duì)有保障;但缺點(diǎn)也很明顯,受約束以及成本較高。
NoSQL型數(shù)據(jù)倉庫:一般是基于hadoop生態(tài)的數(shù)據(jù)倉庫。hadoop生態(tài)已經(jīng)非常強(qiáng)大,可以找到各種開源組件去支持?jǐn)?shù)據(jù)倉庫。缺點(diǎn)是需要招聘專門人士去摸索,并且相對(duì)會(huì)存在一些未知隱患。
4、最后是設(shè)計(jì)與實(shí)施
設(shè)計(jì):包括數(shù)據(jù)架構(gòu)中的數(shù)據(jù)層次劃分以及具體的模型設(shè)計(jì);也包括程序架構(gòu)中的數(shù)據(jù)質(zhì)量管理、元數(shù)據(jù)管理、調(diào)度管理等;
實(shí)施:規(guī)范化的項(xiàng)目管理實(shí)施,但同時(shí)也需記住一點(diǎn),數(shù)據(jù)倉庫不是一個(gè)項(xiàng)目,它是一個(gè)過程。
一、專業(yè)技能
熟練的使用Java語言進(jìn)行面向?qū)ο蟪绦蛟O(shè)計(jì),有良好的編程習(xí)慣,熟悉常用的JavaAPI,包括集合框架、多線程(并發(fā)編程)、I/O(NIO)、Socket、JDBC、XML、反射等。
熟悉基于JSP和Servlet的JavaWeb開發(fā),對(duì)Servlet和JSP的工作原理和生命周期有深入了解,熟練的使用JSTL和EL編寫無腳本動(dòng)態(tài)頁面,有使用監(jiān)聽器、過濾器等Web組件以及MVC架構(gòu)模式進(jìn)行JavaWeb項(xiàng)目開發(fā)經(jīng)驗(yàn)。
對(duì)Spring的IoC容器和AOP原理有深入了解,熟練的運(yùn)用Spring框架管理各種Web組件及其依賴關(guān)系,熟練的使用Spring進(jìn)行事務(wù)、日志、安全性等的管理,有使用SpringMVC作為表示層技術(shù)以及使用Spring提供的持久化支持進(jìn)行Web項(xiàng)目開發(fā)的經(jīng)驗(yàn),熟悉Spring對(duì)其他框架的整合。
熟練的使用Hibernate、MyBatis等ORM框架,熟悉Hibernate和MyBatis的核心API,對(duì)Hibernate的關(guān)聯(lián)映射、繼承映射、組件映射、緩存機(jī)制、事務(wù)管理以及性能調(diào)優(yōu)等有深入的理解。
熟練的使用HTML、CSS和JavaScript進(jìn)行Web前端開發(fā),熟悉jQuery和Bootstrap,對(duì)Ajax技術(shù)在Web項(xiàng)目中的應(yīng)用有深入理解,有使用前端MVC框架(AngularJS)和JavaScript模板引擎(HandleBars)進(jìn)行項(xiàng)目開發(fā)的經(jīng)驗(yàn)。
熟悉常用的關(guān)系型數(shù)據(jù)庫產(chǎn)品(MySQL、Oracle),熟練的使用SQL和PL/SQL進(jìn)行數(shù)據(jù)庫編程。
熟悉面向?qū)ο蟮脑O(shè)計(jì)原則,對(duì)GoF設(shè)計(jì)模式和企業(yè)應(yīng)用架構(gòu)模式有深入的了解和實(shí)際開發(fā)的相關(guān)經(jīng)驗(yàn),熟練的使用UML進(jìn)行面向?qū)ο蟮姆治龊驮O(shè)計(jì),有TDD(測試驅(qū)動(dòng)開發(fā))和DDD(領(lǐng)域驅(qū)動(dòng)設(shè)計(jì))的經(jīng)驗(yàn)。
熟悉Apache、NginX、Tomcat、WildFly、Weblogic等Web服務(wù)器和應(yīng)用服務(wù)器的使用,熟悉多種服務(wù)器整合、集群和負(fù)載均衡的配置。
熟練的使用產(chǎn)品原型工具Axure,熟練的使用設(shè)計(jì)建模工具PowerDesigner和Enterprise Architect,熟練的使用Java開發(fā)環(huán)境Eclipse和IntelliJ,熟練的使用前端開發(fā)環(huán)境WebStorm,熟練的使用軟件版本控制工具SVN和Git,熟練的使用項(xiàng)目構(gòu)建和管理工具M(jìn)aven和Gradle。
說明: ?上面羅列的這些東西并不是每一項(xiàng)你都要爛熟于心,根據(jù)企業(yè)招聘的具體要求可以做相應(yīng)的有針對(duì)性的準(zhǔn)備。但是前6項(xiàng)應(yīng)該是最低要求,是作為一個(gè)Java軟件工程師必須要具備的專業(yè)技能。
二、項(xiàng)目經(jīng)驗(yàn)
項(xiàng)目介紹
本系統(tǒng)是X委托Y開發(fā)的用于Z的系統(tǒng),系統(tǒng)包括A、B、C、D等模塊。系統(tǒng)使用了Java企業(yè)級(jí)開發(fā)的開源框架E以及前端技術(shù)F。表示層運(yùn)用了G架構(gòu),使用H作為視圖I作為控制器并實(shí)現(xiàn)了REST風(fēng)格的請(qǐng)求;業(yè)務(wù)邏輯層運(yùn)用了J模式,并通過K實(shí)現(xiàn)事務(wù)、日志和安全性等功能,通過L實(shí)現(xiàn)緩存服務(wù);持久層使用了M封裝CRUD操作,底層使用N實(shí)現(xiàn)數(shù)據(jù)存取。整個(gè)項(xiàng)目采用了P開發(fā)模型。 ?說明: ?E通常指spring(Java企業(yè)級(jí)開發(fā)的一站式選擇); ?F最有可能是jQuery庫及其插件或者是Bootstrap框架,當(dāng)然如果要構(gòu)建單頁應(yīng)用(SPA)最佳的方案是前端MVC框架(如AngularJS)和JavaScript模板引擎(如HandleBars);G顯然是MVC(模型-視圖-控制),最有可能的實(shí)現(xiàn)框架是spring MVC,除此之外還有Struts 2、JSF以及Apache為JSF提供的MyFaces實(shí)現(xiàn); ?H是JSP,JSP作為MVC中的V,也可使用模板引擎(如Freemarker和Velocity)來生成視圖還可以是各種文檔或報(bào)表(如Excel和PDF等); ?I是Servlet或者自定義的控制器,他們是MVC中的C,當(dāng)然Spring MVC中提供了作為前端控制器的DispatcherServlet; ?J通常是事務(wù)腳本; ?K應(yīng)該是AOP(面向切面編程)技術(shù); ?L目前廣泛使用的有memcached和Redis; ?M的選擇方案很多,最有可能的是hibernate和MyBatis,也可以兩種技術(shù)同時(shí)運(yùn)用,但通常是將增刪改交給hibernate來處理,而復(fù)雜的查詢則由MyBatis完成,此外TopLink、jOOQ也是優(yōu)秀的持久層解決方案; ?N底層的數(shù)據(jù)存取傳統(tǒng)上是使用關(guān)系型數(shù)據(jù)庫,可以是MySQL、Oracle、SQLServer、DB2等,隨著大數(shù)據(jù)時(shí)代的來臨,也可以采用NoSQL(如MongoDB、MemBase、BigTable等)和其他大數(shù)據(jù)存取方案(如GFS、HDFS等); ?P是項(xiàng)目的開發(fā)模型,可以是瀑布模型、快速原型模型、增量模型、螺旋模型、噴泉模型、RAD模型等。
項(xiàng)目開發(fā)流程
1、可行性分析:可行性分析報(bào)告、項(xiàng)目開發(fā)計(jì)劃書;
2、需求分析:需求規(guī)格說明書OOAD(用例圖、時(shí)序圖、活動(dòng)圖);
界面原型:幫助理解需求、業(yè)務(wù)層設(shè)計(jì)時(shí)推導(dǎo)事務(wù)腳本;
3、設(shè)計(jì):概要設(shè)計(jì)說明書、詳細(xì)設(shè)計(jì)說明書;
*抽取業(yè)務(wù)實(shí)體(領(lǐng)域?qū)ο螅侯悎D、E-R圖(概念設(shè)計(jì)階段);
分層架構(gòu):確定各層的技術(shù)實(shí)現(xiàn)方案(具體到使用的框架、數(shù)據(jù)庫服務(wù)器、應(yīng)用服務(wù)器等);
*業(yè)務(wù)層設(shè)計(jì):事務(wù)腳本模式(事務(wù):用戶發(fā)送一次請(qǐng)求就是一個(gè)事務(wù);
腳本:一個(gè)方法或一個(gè)函數(shù);
*事務(wù)腳本:把一次請(qǐng)求封裝為一個(gè)方法或一個(gè)函數(shù);事務(wù)腳本模式:一個(gè)事務(wù)開始于腳本的打開,終止于腳本的關(guān)閉);
*業(yè)務(wù)層涉及的對(duì)象有三種類型:事務(wù)腳本類(封裝了業(yè)務(wù)的流程)、數(shù)據(jù)訪問對(duì)象(DAO,封裝了持久化操作)、數(shù)據(jù)傳輸對(duì)象(DTO,封裝了失血/貧血領(lǐng)域?qū)ο螅咧g的關(guān)系是事務(wù)腳本類組合(聚合)數(shù)據(jù)訪問對(duì)象,這二者都依賴了數(shù)據(jù)傳輸對(duì)象正向工程(UML類圖生成Java代碼)和逆向工程(Java代碼生成UML類圖)數(shù)據(jù)庫物理設(shè)計(jì)(ER圖轉(zhuǎn)換成表間關(guān)系圖、建庫和建表、使用工具插入測試數(shù)據(jù));
3、編碼;
4、測試:測試報(bào)告、缺陷報(bào)告;
*單元測試:對(duì)軟件中的最小可測試單元進(jìn)行檢查和驗(yàn)證,在Java中是對(duì)類中的方法進(jìn)行測試,可以使用JUnit工具來實(shí)施;
*集成測試:集成測試也叫組裝測試或聯(lián)合測試。在單元測試的基礎(chǔ)上,將所有模塊按照設(shè)計(jì)要求組裝成為子系統(tǒng)進(jìn)行測試;
*系統(tǒng)測試:將已經(jīng)確認(rèn)的軟件、硬件、外設(shè)、網(wǎng)絡(luò)等元素結(jié)合在一起,進(jìn)行信息系統(tǒng)的各種組裝測試和確認(rèn)測試,系統(tǒng)測試是針對(duì)整個(gè)產(chǎn)品系統(tǒng)進(jìn)行的測試,目的是驗(yàn)證系統(tǒng)是否滿足了需求規(guī)格的定義,找出與需求規(guī)格不符或與之矛盾的地方,從而提出更加完善的方案;
*驗(yàn)收測試:在軟件產(chǎn)品完成了單元測試、集成測試和系統(tǒng)測試之后,產(chǎn)品發(fā)布之前所進(jìn)行的軟件測試活動(dòng)。它是技術(shù)測試的最后一個(gè)階段,也稱為交付測試。驗(yàn)收測試的目的是確保軟件準(zhǔn)備就緒,并且可以讓最終用戶將其用于執(zhí)行軟件的既定功能和任務(wù);
5、交付和維護(hù):用戶手冊(cè)、操作手冊(cè);
三、項(xiàng)目管理
版本控制:CVS/SVN/Git
自動(dòng)構(gòu)建:Ant/Maven/Ivy/Gradle
持續(xù)集成:Hudson/Jenkins
四、系統(tǒng)架構(gòu)
負(fù)載均衡服務(wù)器:F5、A10;
應(yīng)用服務(wù)器: HTTP服務(wù)器:Apache、NginX(HTTP、反向代理、郵件代理服務(wù)器);
Servlet容器:Tomcat、Resin
EJB容器:WildFly(JBoss Application Server)、GlassFish、Weblogic、Websphere;
數(shù)據(jù)庫服務(wù)器:MySQL、Eclipse、Oracle;
五、第三方工具(插件)應(yīng)用
圖表工具:基于jQuery的圖表插件(如jQchart、Flot、Charted等)、Chart.js、Highcharts等。
報(bào)表工具:Pentaho Reporting、iReport、DynamicReports等。
文檔處理:POI、iText等。
工作流引擎:jBPM、OpenWFE、Snaker、SWAMP等。
作業(yè)調(diào)度:Quartz、JobServer、Oddjob等。
緩存服務(wù):EhCache、memcached、SwarmCache等。
消息隊(duì)列:Open-MQ、ZeroMQ、ActiveMQ等。
安全框架:Shiro、PicketBox等。
搜索引擎:IndexTank、Lucene、ElasticSearch等。
Ajax框架:jQuery、ExtJS、DWR等。
UI插件:EasyUI、MiniUI等。
富文本框:UEditor、CKEditor等。
六、面試提問
項(xiàng)目是為哪個(gè)公司開發(fā)的?項(xiàng)目的投入是多少?
有多少人參與了項(xiàng)目開發(fā)?整個(gè)團(tuán)隊(duì)中,測試人員、開發(fā)人員、項(xiàng)目經(jīng)理比例是多少?
項(xiàng)目開發(fā)了多長時(shí)間?項(xiàng)目總的代碼量有多少?你的代碼量有多少?
項(xiàng)目采用了怎樣的開發(fā)模型或開發(fā)流程?項(xiàng)目的架構(gòu)是怎樣的?項(xiàng)目的技術(shù)選型是怎樣的?
你在項(xiàng)目中擔(dān)了怎樣的職責(zé)?是否經(jīng)常開會(huì)或加班?項(xiàng)目完成后有哪些收獲或是經(jīng)驗(yàn)教訓(xùn)?
項(xiàng)目中最困難的部分是什么?如何解決團(tuán)隊(duì)開發(fā)時(shí)遇到的各種沖突?
七、面試時(shí)可以反問面試官的問題
我注意到你們使用了X技術(shù),請(qǐng)問你們是如何解決Y問題的?
為什么你們的產(chǎn)品使用了X技術(shù)而不是Y技術(shù)?據(jù)我所知,X技術(shù)雖然有A、B、C等好處,但也存在D和E問題,而Y技術(shù)可以解決D和E問題。
我對(duì)您說的X技術(shù)不是太熟悉,但我感覺它是一個(gè)不錯(cuò)的解決方案,您能多講講它的工作原理嗎?
你們團(tuán)隊(duì)是如何進(jìn)行項(xiàng)目規(guī)劃的?一周會(huì)有幾次例會(huì)?每周的代碼量大概是多少?
就X問題我能想到的解決方案目前就只有Y了,請(qǐng)問您會(huì)怎么解決這個(gè)問題?
八、S.A.R.法則
S.A.R法則是指先描述問題的場景,然后解釋你采取的行動(dòng),最后陳述結(jié)果。
九、面談原則
聲音適中、口齒清楚、面帶微笑、個(gè)人形象精神,講禮貌。
主動(dòng)跟面試官聊他感興趣的話題,讓面試官滿意。
主動(dòng)的大膽的跟面試官聊自己熟悉有經(jīng)驗(yàn)的內(nèi)容:項(xiàng)目、技術(shù)點(diǎn)等,做到揚(yáng)長避短。
一定要表達(dá)自己非常想得到這個(gè)崗位,自己很愿意學(xué)習(xí)不懂的技術(shù)。
根據(jù)自己的實(shí)際水平提出合理的待遇要求。
十、自我評(píng)價(jià)
學(xué)習(xí)能力(搞IT行業(yè)的人需要不斷的了解新的技術(shù)、工具和方法)
團(tuán)隊(duì)意識(shí)(相比個(gè)人英雄主義,IT行業(yè)更倡導(dǎo)團(tuán)隊(duì)合作)
抗壓能力(很多IT企業(yè)的工作強(qiáng)度相對(duì)來說還是比較大的)
特點(diǎn):
它們可以處理超大量的數(shù)據(jù)。
它們運(yùn)行在便宜的PC服務(wù)器集群上。
PC集群擴(kuò)充起來非常方便并且成本很低,避免了“sharding”操作的復(fù)雜性和成本。
它們擊碎了性能瓶頸。
NoSQL的支持者稱,通過NoSQL架構(gòu)可以省去將Web或Java應(yīng)用和數(shù)據(jù)轉(zhuǎn)換成SQL友好格式的時(shí)間,執(zhí)行速度變得更快。
“SQL并非適用于所有的程序代碼,” 對(duì)于那些繁重的重復(fù)操作的數(shù)據(jù),SQL值得花錢。但是當(dāng)數(shù)據(jù)庫結(jié)構(gòu)非常簡單時(shí),SQL可能沒有太大用處。
沒有過多的操作。
雖然NoSQL的支持者也承認(rèn)關(guān)系數(shù)據(jù)庫提供了無可比擬的功能集合,而且在數(shù)據(jù)完整性上也發(fā)揮絕對(duì)穩(wěn)定,他們同時(shí)也表示,企業(yè)的具體需求可能沒有那么多。
Bootstrap支持
因?yàn)镹oSQL項(xiàng)目都是開源的,因此它們?nèi)狈?yīng)商提供的正式支持。這一點(diǎn)它們與大多數(shù)開源項(xiàng)目一樣,不得不從社區(qū)中尋求支持。
優(yōu)點(diǎn):
易擴(kuò)展
NoSQL數(shù)據(jù)庫種類繁多,但是一個(gè)共同的特點(diǎn)都是去掉關(guān)系數(shù)據(jù)庫的關(guān)系型特性。數(shù)據(jù)之間無關(guān)系,這樣就非常容易擴(kuò)展。也無形之間,在架構(gòu)的層面上帶來了可擴(kuò)展的能力。
大數(shù)據(jù)量,高性能
NoSQL數(shù)據(jù)庫都具有非常高的讀寫性能,尤其在大數(shù)據(jù)量下,同樣表現(xiàn)優(yōu)秀。這得益于它的無關(guān)系性,數(shù)據(jù)庫的結(jié)構(gòu)簡單。一般MySQL使用 Query Cache,每次表的更新Cache就失效,是一種大粒度的Cache,在針對(duì)web2.0的交互頻繁的應(yīng)用,Cache性能不高。而NoSQL的 Cache是記錄級(jí)的,是一種細(xì)粒度的Cache,所以NoSQL在這個(gè)層面上來說就要性能高很多了。
靈活的數(shù)據(jù)模型
NoSQL無需事先為要存儲(chǔ)的數(shù)據(jù)建立字段,隨時(shí)可以存儲(chǔ)自定義的數(shù)據(jù)格式。而在關(guān)系數(shù)據(jù)庫里,增刪字段是一件非常麻煩的事情。如果是非常大數(shù)據(jù)量的表,增加字段簡直就是一個(gè)噩夢。這點(diǎn)在大數(shù)據(jù)量的web2.0時(shí)代尤其明顯。
高可用
NoSQL在不太影響性能的情況,就可以方便的實(shí)現(xiàn)高可用的架構(gòu)。比如Cassandra,HBase模型,通過復(fù)制模型也能實(shí)現(xiàn)高可用。
主要應(yīng)用:
Apache HBase
這個(gè)大數(shù)據(jù)管理平臺(tái)建立在谷歌強(qiáng)大的BigTable管理引擎基礎(chǔ)上。作為具有開源、Java編碼、分布式多個(gè)優(yōu)勢的數(shù)據(jù)庫,Hbase最初被設(shè)計(jì)應(yīng)用于Hadoop平臺(tái),而這一強(qiáng)大的數(shù)據(jù)管理工具,也被Facebook采用,用于管理消息平臺(tái)的龐大數(shù)據(jù)。
Apache Storm
用于處理高速、大型數(shù)據(jù)流的分布式實(shí)時(shí)計(jì)算系統(tǒng)。Storm為Apache Hadoop添加了可靠的實(shí)時(shí)數(shù)據(jù)處理功能,同時(shí)還增加了低延遲的儀表板、安全警報(bào),改進(jìn)了原有的操作方式,幫助企業(yè)更有效率地捕獲商業(yè)機(jī)會(huì)、發(fā)展新業(yè)務(wù)。
Apache Spark
該技術(shù)采用內(nèi)存計(jì)算,從多迭代批量處理出發(fā),允許將數(shù)據(jù)載入內(nèi)存做反復(fù)查詢,此外還融合數(shù)據(jù)倉庫、流處理和圖計(jì)算等多種計(jì)算范式,Spark用Scala語言實(shí)現(xiàn),構(gòu)建在HDFS上,能與Hadoop很好的結(jié)合,而且運(yùn)行速度比MapReduce快100倍。
Apache Hadoop
該技術(shù)迅速成為了大數(shù)據(jù)管理標(biāo)準(zhǔn)之一。當(dāng)它被用來管理大型數(shù)據(jù)集時(shí),對(duì)于復(fù)雜的分布式應(yīng)用,Hadoop體現(xiàn)出了非常好的性能,平臺(tái)的靈活性使它可以運(yùn)行在商用硬件系統(tǒng),它還可以輕松地集成結(jié)構(gòu)化、半結(jié)構(gòu)化和甚至非結(jié)構(gòu)化數(shù)據(jù)集。
Apache Drill
你有多大的數(shù)據(jù)集?其實(shí)無論你有多大的數(shù)據(jù)集,Drill都能輕松應(yīng)對(duì)。通過支持HBase、Cassandra和MongoDB,Drill建立了交互式分析平臺(tái),允許大規(guī)模數(shù)據(jù)吞吐,而且能很快得出結(jié)果。
Apache Sqoop
也許你的數(shù)據(jù)現(xiàn)在還被鎖定于舊系統(tǒng)中,Sqoop可以幫你解決這個(gè)問題。這一平臺(tái)采用并發(fā)連接,可以將數(shù)據(jù)從關(guān)系數(shù)據(jù)庫系統(tǒng)方便地轉(zhuǎn)移到Hadoop中,可以自定義數(shù)據(jù)類型以及元數(shù)據(jù)傳播的映射。事實(shí)上,你還可以將數(shù)據(jù)(如新的數(shù)據(jù))導(dǎo)入到HDFS、Hive和Hbase中。
Apache Giraph
這是功能強(qiáng)大的圖形處理平臺(tái),具有很好可擴(kuò)展性和可用性。該技術(shù)已經(jīng)被Facebook采用,Giraph可以運(yùn)行在Hadoop環(huán)境中,可以將它直接部署到現(xiàn)有的Hadoop系統(tǒng)中。通過這種方式,你可以得到強(qiáng)大的分布式作圖能力,同時(shí)還能利用上現(xiàn)有的大數(shù)據(jù)處理引擎。
Cloudera Impala
Impala模型也可以部署在你現(xiàn)有的Hadoop群集上,監(jiān)視所有的查詢。該技術(shù)和MapReduce一樣,具有強(qiáng)大的批處理能力,而且Impala對(duì)于實(shí)時(shí)的SQL查詢也有很好的效果,通過高效的SQL查詢,你可以很快的了解到大數(shù)據(jù)平臺(tái)上的數(shù)據(jù)。
Gephi
它可以用來對(duì)信息進(jìn)行關(guān)聯(lián)和量化處理,通過為數(shù)據(jù)創(chuàng)建功能強(qiáng)大的可視化效果,你可以從數(shù)據(jù)中得到不一樣的洞察力。Gephi已經(jīng)支持多個(gè)圖表類型,而且可以在具有上百萬個(gè)節(jié)點(diǎn)的大型網(wǎng)絡(luò)上運(yùn)行。Gephi具有活躍的用戶社區(qū),Gephi還提供了大量的插件,可以和現(xiàn)有系統(tǒng)完美的集成到一起,它還可以對(duì)復(fù)雜的IT連接、分布式系統(tǒng)中各個(gè)節(jié)點(diǎn)、數(shù)據(jù)流等信息進(jìn)行可視化分析。
MongoDB
這個(gè)堅(jiān)實(shí)的平臺(tái)一直被很多組織推崇,它在大數(shù)據(jù)管理上有極好的性能。MongoDB最初是由DoubleClick公司的員工創(chuàng)建,現(xiàn)在該技術(shù)已經(jīng)被廣泛的應(yīng)用于大數(shù)據(jù)管理。MongoDB是一個(gè)應(yīng)用開源技術(shù)開發(fā)的NoSQL數(shù)據(jù)庫,可以用于在JSON這樣的平臺(tái)上存儲(chǔ)和處理數(shù)據(jù)。目前,紐約時(shí)報(bào)、Craigslist以及眾多企業(yè)都采用了MongoDB,幫助他們管理大型數(shù)據(jù)集。(Couchbase服務(wù)器也作為一個(gè)參考)。
十大頂尖公司:
Amazon Web Services
Forrester將AWS稱為“云霸主”,談到云計(jì)算領(lǐng)域的大數(shù)據(jù),那就不得不提到亞馬遜。該公司的Hadoop產(chǎn)品被稱為EMR(Elastic Map Reduce),AWS解釋這款產(chǎn)品采用了Hadoop技術(shù)來提供大數(shù)據(jù)管理服務(wù),但它不是純開源Hadoop,經(jīng)過修改后現(xiàn)在被專門用在AWS云上。
Forrester稱EMR有很好的市場前景。很多公司基于EMR為客戶提供服務(wù),有一些公司將EMR應(yīng)用于數(shù)據(jù)查詢、建模、集成和管理。而且AWS還在創(chuàng)新,F(xiàn)orrester稱未來EMR可以基于工作量的需要自動(dòng)縮放調(diào)整大小。亞馬遜計(jì)劃為其產(chǎn)品和服務(wù)提供更強(qiáng)大的EMR支持,包括它的RedShift數(shù)據(jù)倉庫、新公布的Kenesis實(shí)時(shí)處理引擎以及計(jì)劃中的NoSQL數(shù)據(jù)庫和商業(yè)智能工具。不過AWS還沒有自己的Hadoop發(fā)行版。
Cloudera
Cloudera有開源Hadoop的發(fā)行版,這個(gè)發(fā)行版采用了Apache Hadoop開源項(xiàng)目的很多技術(shù),不過基于這些技術(shù)的發(fā)行版也有很大的進(jìn)步。Cloudera為它的Hadoop發(fā)行版開發(fā)了很多功能,包括Cloudera管理器,用于管理和監(jiān)控,以及名為Impala的SQL引擎等。Cloudera的Hadoop發(fā)行版基于開源Hadoop,但也不是純開源的產(chǎn)品。當(dāng)Cloudera的客戶需要Hadoop不具備的某些功能時(shí),Cloudera的工程師們就會(huì)實(shí)現(xiàn)這些功能,或者找一個(gè)擁有這項(xiàng)技術(shù)的合作伙伴。Forrester表示:“Cloudera的創(chuàng)新方法忠于核心Hadoop,但因?yàn)槠淇蓪?shí)現(xiàn)快速創(chuàng)新并積極滿足客戶需求,這一點(diǎn)使它不同于其他那些供應(yīng)商。”目前,Cloudera的平臺(tái)已經(jīng)擁有200多個(gè)付費(fèi)客戶,一些客戶在Cloudera的技術(shù)支持下已經(jīng)可以跨1000多個(gè)節(jié)點(diǎn)實(shí)現(xiàn)對(duì)PB級(jí)數(shù)據(jù)的有效管理。
Hortonworks
和Cloudera一樣,Hortonworks是一個(gè)純粹的Hadoop技術(shù)公司。與Cloudera不同的是,Hortonworks堅(jiān)信開源Hadoop比任何其他供應(yīng)商的Hadoop發(fā)行版都要強(qiáng)大。Hortonworks的目標(biāo)是建立Hadoop生態(tài)圈和Hadoop用戶社區(qū),推進(jìn)開源項(xiàng)目的發(fā)展。Hortonworks平臺(tái)和開源Hadoop聯(lián)系緊密,公司管理人員表示這會(huì)給用戶帶來好處,因?yàn)樗梢苑乐贡还?yīng)商套牢(如果Hortonworks的客戶想要離開這個(gè)平臺(tái),他們可以輕松轉(zhuǎn)向其他開源平臺(tái))。這并不是說Hortonworks完全依賴開源Hadoop技術(shù),而是因?yàn)樵摴緦⑵渌虚_發(fā)的成果回報(bào)給了開源社區(qū),比如Ambari,這個(gè)工具就是由Hortonworks開發(fā)而成,用來填充集群管理項(xiàng)目漏洞。Hortonworks的方案已經(jīng)得到了Teradata、Microsoft、Red Hat和SAP這些供應(yīng)商的支持。
IBM
當(dāng)企業(yè)考慮一些大的IT項(xiàng)目時(shí),很多人首先會(huì)想到IBM。IBM是Hadoop項(xiàng)目的主要參與者之一,F(xiàn)orrester稱IBM已有100多個(gè)Hadoop部署,它的很多客戶都有PB級(jí)的數(shù)據(jù)。IBM在網(wǎng)格計(jì)算、全球數(shù)據(jù)中心和企業(yè)大數(shù)據(jù)項(xiàng)目實(shí)施等眾多領(lǐng)域有著豐富的經(jīng)驗(yàn)。“IBM計(jì)劃繼續(xù)整合SPSS分析、高性能計(jì)算、BI工具、數(shù)據(jù)管理和建模、應(yīng)對(duì)高性能計(jì)算的工作負(fù)載管理等眾多技術(shù)。”
Intel
和AWS類似,英特爾不斷改進(jìn)和優(yōu)化Hadoop使其運(yùn)行在自己的硬件上,具體來說,就是讓Hadoop運(yùn)行在其至強(qiáng)芯片上,幫助用戶打破Hadoop系統(tǒng)的一些限制,使軟件和硬件結(jié)合的更好,英特爾的Hadoop發(fā)行版在上述方面做得比較好。Forrester指出英特爾在最近才推出這個(gè)產(chǎn)品,所以公司在未來還有很多改進(jìn)的可能,英特爾和微軟都被認(rèn)為是Hadoop市場上的潛力股。
MapR Technologies
MapR的Hadoop發(fā)行版目前為止也許是最好的了,不過很多人可能都沒有聽說過。Forrester對(duì)Hadoop用戶的調(diào)查顯示,MapR的評(píng)級(jí)最高,其發(fā)行版在架構(gòu)和數(shù)據(jù)處理能力上都獲得了最高分。MapR已將一套特殊功能融入其Hadoop發(fā)行版中。例如網(wǎng)絡(luò)文件系統(tǒng)(NFS)、災(zāi)難恢復(fù)以及高可用性功能。Forrester說MapR在Hadoop市場上沒有Cloudera和Hortonworks那樣的知名度,MapR要成為一個(gè)真正的大企業(yè),還需要加強(qiáng)伙伴關(guān)系和市場營銷。
Microsoft
微軟在開源軟件問題上一直很低調(diào),但在大數(shù)據(jù)形勢下,它不得不考慮讓W(xué)indows也兼容Hadoop,它還積極投入到開源項(xiàng)目中,以更廣泛地推動(dòng)Hadoop生態(tài)圈的發(fā)展。我們可以在微軟的公共云Windows Azure HDInsight產(chǎn)品中看到其成果。微軟的Hadoop服務(wù)基于Hortonworks的發(fā)行版,而且是為Azure量身定制的。
微軟也有一些其他的項(xiàng)目,包括名為Polybase的項(xiàng)目,讓Hadoop查詢實(shí)現(xiàn)了SQLServer查詢的一些功能。Forrester說:“微軟在數(shù)據(jù)庫、數(shù)據(jù)倉庫、云、OLAP、BI、電子表格(包括PowerPivot)、協(xié)作和開發(fā)工具市場上有很大優(yōu)勢,而且微軟擁有龐大的用戶群,但要在Hadoop這個(gè)領(lǐng)域成為行業(yè)領(lǐng)導(dǎo)者還有很遠(yuǎn)的路要走。”
Pivotal Software
EMC和Vmware部分大數(shù)據(jù)業(yè)務(wù)分拆組合產(chǎn)生了Pivotal。Pivotal一直努力構(gòu)建一個(gè)性能優(yōu)越的Hadoop發(fā)行版,為此,Pivotal在開源Hadoop的基礎(chǔ)上又添加了一些新的工具,包括一個(gè)名為HAWQ的SQL引擎以及一個(gè)專門解決大數(shù)據(jù)問題的Hadoop應(yīng)用。Forrester稱Pivotal Hadoop平臺(tái)的優(yōu)勢在于它整合了Pivotal、EMC、Vmware的眾多技術(shù),Pivotal的真正優(yōu)勢實(shí)際上等于EMC和Vmware兩大公司為其撐腰。到目前為止,Pivotal的用戶還不到100個(gè),而且大多是中小型客戶。
Teradata
對(duì)于Teradata來說,Hadoop既是一種威脅也是一種機(jī)遇。數(shù)據(jù)管理,特別是關(guān)于SQL和關(guān)系數(shù)據(jù)庫這一領(lǐng)域是Teradata的專長。所以像Hadoop這樣的NoSQL平臺(tái)崛起可能會(huì)威脅到Teradata。相反,Teradata接受了Hadoop,通過與Hortonworks合作,Teradata在Hadoop平臺(tái)集成了SQL技術(shù),這使Teradata的客戶可以在Hadoop平臺(tái)上方便地使用存儲(chǔ)在Teradata數(shù)據(jù)倉庫中的數(shù)據(jù)。
AMPLab
通過將數(shù)據(jù)轉(zhuǎn)變?yōu)樾畔ⅲ覀儾趴梢岳斫馐澜纾@也正是AMPLab所做的。AMPLab致力于機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘、數(shù)據(jù)庫、信息檢索、自然語言處理和語音識(shí)別等多個(gè)領(lǐng)域,努力改進(jìn)對(duì)信息包括不透明數(shù)據(jù)集內(nèi)信息的甄別技術(shù)。除了Spark,開源分布式SQL查詢引擎Shark也源于AMPLab,Shark具有極高的查詢效率,具有良好的兼容性和可擴(kuò)展性。近幾年的發(fā)展使計(jì)算機(jī)科學(xué)進(jìn)入到全新的時(shí)代,而AMPLab為我們?cè)O(shè)想一個(gè)運(yùn)用大數(shù)據(jù)、云計(jì)算、通信等各種資源和技術(shù)靈活解決難題的方案,以應(yīng)對(duì)越來越復(fù)雜的各種難題。
稍微整理了下常用到的大數(shù)據(jù)分析工具,看下能不能幫到你
1.專業(yè)的大數(shù)據(jù)分析工具
2.各種Python數(shù)據(jù)可視化第三方庫
3.其它語言的數(shù)據(jù)可視化框架
一、專業(yè)的大數(shù)據(jù)分析工具
1、FineReport
FineReport是一款純Java編寫的、集數(shù)據(jù)展示(報(bào)表)和數(shù)據(jù)錄入(表單)功能于一身的企業(yè)級(jí)web報(bào)表工具,只需要簡單的拖拽操作便可以設(shè)計(jì)復(fù)雜的中國式報(bào)表,搭建數(shù)據(jù)決策分析系統(tǒng)。
2、FineBI
FineBI是新一代自助大數(shù)據(jù)分析的商業(yè)智能產(chǎn)品,提供了從數(shù)據(jù)準(zhǔn)備、自助數(shù)據(jù)處理、數(shù)據(jù)分析與挖掘、數(shù)據(jù)可視化于一體的完整解決方案,也是我比較推崇的可視化工具之一。
FineBI的使用感同Tableau類似,都主張可視化的探索性分析,有點(diǎn)像加強(qiáng)版的數(shù)據(jù)透視表。上手簡單,可視化庫豐富。可以充當(dāng)數(shù)據(jù)報(bào)表的門戶,也可以充當(dāng)各業(yè)務(wù)分析的平臺(tái)。
二、Python的數(shù)據(jù)可視化第三方庫
Python正慢慢地成為數(shù)據(jù)分析、數(shù)據(jù)挖掘領(lǐng)域的主流語言之一。在Python的生態(tài)里,很多開發(fā)者們提供了非常豐富的、用于各種場景的數(shù)據(jù)可視化第三方庫。這些第三方庫可以讓我們結(jié)合Python語言繪制出漂亮的圖表。
1、pyecharts
Echarts(下面會(huì)提到)是一個(gè)開源免費(fèi)的javascript數(shù)據(jù)可視化庫,它讓我們可以輕松地繪制專業(yè)的商業(yè)數(shù)據(jù)圖表。當(dāng)Python遇上了Echarts,pyecharts便誕生了,它是由chenjiandongx等一群開發(fā)者維護(hù)的Echarts Python接口,讓我們可以通過Python語言繪制出各種Echarts圖表。
2、Bokeh
Bokeh是一款基于Python的交互式數(shù)據(jù)可視化工具,它提供了優(yōu)雅簡潔的方法來繪制各種各樣的圖形,可以高性能地可視化大型數(shù)據(jù)集以及流數(shù)據(jù),幫助我們制作交互式圖表、可視化儀表板等。
三、其他數(shù)據(jù)可視化工具
1、Echarts
前面說過了,Echarts是一個(gè)開源免費(fèi)的javascript數(shù)據(jù)可視化庫,它讓我們可以輕松地繪制專業(yè)的商業(yè)數(shù)據(jù)圖表。
大家都知道去年春節(jié)以及近期央視大規(guī)劃報(bào)道的百度大數(shù)據(jù)產(chǎn)品,如百度遷徙、百度司南、百度大數(shù)據(jù)預(yù)測等等,這些產(chǎn)品的數(shù)據(jù)可視化均是通過ECharts來實(shí)現(xiàn)的。
2、D3
D3(Data Driven Documents)是支持SVG渲染的另一種JavaScript庫。但是D3能夠提供大量線性圖和條形圖之外的復(fù)雜圖表樣式,例如Voronoi圖、樹形圖、圓形集群和單詞云等。
首先我們要了解Java語言和Linux操作系統(tǒng),這兩個(gè)是學(xué)習(xí)大數(shù)據(jù)的基礎(chǔ),學(xué)習(xí)的順序不分前后。
大數(shù)據(jù)
Java :只要了解一些基礎(chǔ)即可,做大數(shù)據(jù)不需要很深的Java 技術(shù),學(xué)java SE 就相當(dāng)于有學(xué)習(xí)大數(shù)據(jù)基礎(chǔ)。
Linux:因?yàn)榇髷?shù)據(jù)相關(guān)軟件都是在Linux上運(yùn)行的,所以Linux要學(xué)習(xí)的扎實(shí)一些,學(xué)好Linux對(duì)你快速掌握大數(shù)據(jù)相關(guān)技術(shù)會(huì)有很大的幫助,能讓你更好的理解hadoop、hive、hbase、spark等大數(shù)據(jù)軟件的運(yùn)行環(huán)境和網(wǎng)絡(luò)環(huán)境配置,能少踩很多坑,學(xué)會(huì)shell就能看懂腳本這樣能更容易理解和配置大數(shù)據(jù)集群。還能讓你對(duì)以后新出的大數(shù)據(jù)技術(shù)學(xué)習(xí)起來更快。
Hadoop:這是現(xiàn)在流行的大數(shù)據(jù)處理平臺(tái)幾乎已經(jīng)成為大數(shù)據(jù)的代名詞,所以這個(gè)是必學(xué)的。Hadoop里面包括幾個(gè)組件HDFS、MapReduce和YARN,HDFS是存儲(chǔ)數(shù)據(jù)的地方就像我們電腦的硬盤一樣文件都存儲(chǔ)在這個(gè)上面,MapReduce是對(duì)數(shù)據(jù)進(jìn)行處理計(jì)算的,它有個(gè)特點(diǎn)就是不管多大的數(shù)據(jù)只要給它時(shí)間它就能把數(shù)據(jù)跑完,但是時(shí)間可能不是很快所以它叫數(shù)據(jù)的批處理。
Zookeeper:這是個(gè)萬金油,安裝Hadoop的HA的時(shí)候就會(huì)用到它,以后的Hbase也會(huì)用到它。它一般用來存放一些相互協(xié)作的信息,這些信息比較小一般不會(huì)超過1M,都是使用它的軟件對(duì)它有依賴,對(duì)于我們個(gè)人來講只需要把它安裝正確,讓它正常的run起來就可以了。
Mysql:我們學(xué)習(xí)完大數(shù)據(jù)的處理了,接下來學(xué)習(xí)學(xué)習(xí)小數(shù)據(jù)的處理工具mysql數(shù)據(jù)庫,因?yàn)橐粫?huì)裝hive的時(shí)候要用到,mysql需要掌握到什么層度那?你能在Linux上把它安裝好,運(yùn)行起來,會(huì)配置簡單的權(quán)限,修改root的密碼,創(chuàng)建數(shù)據(jù)庫。這里主要的是學(xué)習(xí)SQL的語法,因?yàn)閔ive的語法和這個(gè)非常相似。
Sqoop:這個(gè)是用于把Mysql里的數(shù)據(jù)導(dǎo)入到Hadoop里的。當(dāng)然你也可以不用這個(gè),直接把Mysql數(shù)據(jù)表導(dǎo)出成文件再放到HDFS上也是一樣的,當(dāng)然生產(chǎn)環(huán)境中使用要注意Mysql的壓力。
Hive:這個(gè)東西對(duì)于會(huì)SQL語法的來說就是神器,它能讓你處理大數(shù)據(jù)變的很簡單,不會(huì)再費(fèi)勁的編寫MapReduce程序。有的人說Pig那?它和Pig差不多掌握一個(gè)就可以了。
Oozie:既然學(xué)會(huì)Hive了,我相信你一定需要這個(gè)東西,它可以幫你管理你的Hive或者M(jìn)apReduce、Spark腳本,還能檢查你的程序是否執(zhí)行正確,出錯(cuò)了給你發(fā)報(bào)警并能幫你重試程序,最重要的是還能幫你配置任務(wù)的依賴關(guān)系。我相信你一定會(huì)喜歡上它的,不然你看著那一大堆腳本,和密密麻麻的crond是不是有種想屎的感覺。
Hbase:這是Hadoop生態(tài)體系中的NOSQL數(shù)據(jù)庫,他的數(shù)據(jù)是按照key和value的形式存儲(chǔ)的并且key是唯一的,所以它能用來做數(shù)據(jù)的排重,它與MYSQL相比能存儲(chǔ)的數(shù)據(jù)量大很多。所以他常被用于大數(shù)據(jù)處理完成之后的存儲(chǔ)目的地。
Kafka:這是個(gè)比較好用的隊(duì)列工具,隊(duì)列是干嗎的?排隊(duì)買票你知道不?數(shù)據(jù)多了同樣也需要排隊(duì)處理,這樣與你協(xié)作的其它同學(xué)不會(huì)叫起來,你干嗎給我這么多的數(shù)據(jù)(比如好幾百G的文件)我怎么處理得過來,你別怪他因?yàn)樗皇歉愦髷?shù)據(jù)的,你可以跟他講我把數(shù)據(jù)放在隊(duì)列里你使用的時(shí)候一個(gè)個(gè)拿,這樣他就不在抱怨了馬上灰流流的去優(yōu)化他的程序去了,因?yàn)樘幚聿贿^來就是他的事情。而不是你給的問題。當(dāng)然我們也可以利用這個(gè)工具來做線上實(shí)時(shí)數(shù)據(jù)的入庫或入HDFS,這時(shí)你可以與一個(gè)叫Flume的工具配合使用,它是專門用來提供對(duì)數(shù)據(jù)進(jìn)行簡單處理,并寫到各種數(shù)據(jù)接受方(比如Kafka)的。
Spark:它是用來彌補(bǔ)基于MapReduce處理數(shù)據(jù)速度上的缺點(diǎn),它的特點(diǎn)是把數(shù)據(jù)裝載到內(nèi)存中計(jì)算而不是去讀慢的要死進(jìn)化還特別慢的硬盤。特別適合做迭代運(yùn)算,所以算法流們特別稀飯它。它是用scala編寫的。Java語言或者Scala都可以操作它,因?yàn)樗鼈兌际怯肑VM的。
MongoDB是一個(gè)面向文檔的數(shù)據(jù)庫,屬于NoSQL數(shù)據(jù)庫,它使用類似JSON的文檔和schemata。
MongoDB的默認(rèn)接口是(CLI)命令行,新用戶很難像專業(yè)人員那樣處理數(shù)據(jù)庫。因此,有一些MongoDB管理工具來提供GUI界面以提高生產(chǎn)力。就像phpmyadmin為MySQL/MariaDB數(shù)據(jù)庫提供基于HTTP網(wǎng)絡(luò)的GUI界面一樣。但是,此處包含的所有工具都不是基于HTTP的,只有少數(shù)工具為MongoDB提供Web界面。以下是使用GUI的比較流行的MongoDB管理工具列表:
要從具有圖形用戶界面的MongoDB開始,MongoDB是最好的方法之一。MongoDB Compass Community由MongoDB開發(fā)人員開發(fā),這意味著更高的可靠性和兼容性。它為MongoDB提供GUI mongodb工具,以 探索 數(shù)據(jù)庫交互;具有完整的CRUD功能并提供可視方式。借助內(nèi)置模式可視化,用戶可以分析文檔并顯示豐富的結(jié)構(gòu)。為了監(jiān)控服務(wù)器的負(fù)載,它提供了數(shù)據(jù)庫操作的實(shí)時(shí)統(tǒng)計(jì)信息。就像MongoDB一樣,Compass也有兩個(gè)版本,一個(gè)是Enterprise(付費(fèi)),社區(qū)可以免費(fèi)使用。適用于Linux,Mac或Windows。
NoSQLBooster是MongoDB CLI界面中非常流行的GUI工具。它正式名稱為MongoBooster。NoSQLBooster是一個(gè)跨平臺(tái),它帶有一堆mongodb工具來管理數(shù)據(jù)庫和監(jiān)控服務(wù)器。這個(gè)Mongodb工具包括服務(wù)器監(jiān)控工具,Visual Explain Plan,查詢構(gòu)建器,SQL查詢,ES2017語法支持等等......它有免費(fèi),個(gè)人和商業(yè)版本,當(dāng)然,免費(fèi)版本有一些功能限制。NoSQLBooster也可用于Windows,MacOS和Linux。
ClusterControl是另一個(gè)MongoDB工具,具有管理數(shù)據(jù)庫基礎(chǔ)結(jié)構(gòu)的GUI。它還有兩個(gè)版本 - 社區(qū)和企業(yè)版。不用說,ClusterControl社區(qū)版可以免費(fèi)使用,而企業(yè)則是付費(fèi)的。它不僅限于MongoDB,還支持MySQL,MySQL復(fù)制,MySQL NDB集群,Galera集群,MariaDB,PostgreSQL,TimescaleDB,Docker和ProxySQL。
ClusterControl為數(shù)據(jù)庫基礎(chǔ)架構(gòu)提供全自動(dòng)安全性,該基礎(chǔ)架構(gòu)具有單個(gè)圖形用戶界面,可操作和自動(dòng)化MongoDB和MySQL數(shù)據(jù)庫環(huán)境。它可通過YUM/APT提供回購,適用于Linux平臺(tái)(RedHat,Centos,Ubuntu或Debian)。
Nosqlclient是一個(gè)免費(fèi)的開源MongoDB管理工具,基于Web的GUI意味著不再需要命令行來管理數(shù)據(jù)庫。我們可以使用Nosqlclient在MongoDB中插入,刪除或更新數(shù)據(jù),而無需使用查詢。它可作為桌面應(yīng)用程序,Docker和Web應(yīng)用程序使用。Web使用HTTP為MOngoDB提供基于瀏覽器的界面。
Robo 3T由MongoDB客戶端Studio 3T的開發(fā)人員維護(hù)和提供。以前,Robo 3T被稱為Robomongo。它也是適用于Windows,MacOS和Linux的跨平臺(tái)MongoDB GUI管理工具。它具有相同的引擎和環(huán)境,是MongoDB shell(3.2)的一部分。
上面提到的Robomong被3T收購并更名為Robot 3T;現(xiàn)在是Studio 3T的一部分。那么,Studio 3T是什么?與其他提到的MongoDB管理GUI工具一樣,Studio 3T也是一個(gè)基于GUI的工具,用于管理數(shù)據(jù)庫,但在付費(fèi)類別中。但是,此工具的30天免費(fèi)試用版允許用戶在投入資金之前使用并了解其功能。與免費(fèi)和開源Robot 3T相比,Studio 3T具有更多功能并提供企業(yè)支持。與Robo 3T相同,它也適用于Windows,Linux(Ubuntu和CentOS)和MacOS。
Mongo Management Studio是一個(gè)用于數(shù)據(jù)庫管理的免費(fèi)MongoDB GUI工具。它輕巧,界面清晰,易于開發(fā)基于MongoDB的項(xiàng)目。它使用nodeJs,Electron框架,MongoDB和AngularJs開發(fā)。MMS與MongoDB 3.0/3.2/3.4兼容。
與上述所有MongoDB管理工具一樣,用戶可以輕松安裝它,但免費(fèi)版僅適用于Windows;而企業(yè)和個(gè)人則適用于Linux,Windows和MacOS。企業(yè)版(Web服務(wù)器)支持MongoDB Web界面HTTP GUI,這意味著我們可以在主服務(wù)器上安裝,之后可以在本地或遠(yuǎn)程使用瀏覽器的任何系統(tǒng)上訪問。但是,個(gè)人版和免費(fèi)版只能在已安裝它們的本地系統(tǒng)上使用。
它是面向關(guān)系,NoSQL和云平臺(tái)的數(shù)據(jù)庫開發(fā)人員的通用集成開發(fā)環(huán)境(IDE)。因此,支持各種數(shù)據(jù)庫來開發(fā),訪問,管理和可視化分析數(shù)據(jù)。
對(duì)于MongoDB,Aqua Data Studio使用具有管理和數(shù)據(jù)庫查詢功能的圖形用戶界面作為管理工具。Aqua Data studio的Visual界面允許用戶瀏覽和修改數(shù)據(jù)庫結(jié)構(gòu),包括模式對(duì)象和集合,以及維護(hù)數(shù)據(jù)庫安全性。
它提供了一個(gè)MongoDB數(shù)據(jù)庫工具包,包括各種工具,如Visual Analytics,MongoSQL查詢參考,MongoJS查詢分析器,MongoShell MongoShell,F(xiàn)luidShell,查詢和分析工具,網(wǎng)格和數(shù)據(jù)透視圖,表數(shù)據(jù)編輯器,導(dǎo)入和導(dǎo)出工具,實(shí)體關(guān)系建模;Visual Query Builder;比較工具:架構(gòu)比較,文件比較;SQL 歷史 記錄,Open API腳本環(huán)境,集成安全Shell(SSH)和版本控制:Subversion(SVN),Git,CVS,Perforce。
MongoJS查詢分析器Javascript編輯器允許執(zhí)行JavaScript命令并支持自動(dòng)完成和語法突出顯示。結(jié)果可以在樹層次結(jié)構(gòu),網(wǎng)格結(jié)果和文本中看到。
作為付費(fèi)產(chǎn)品,Aqua Data Studio的試用版提供14天,具有所有企業(yè)功能。所以,如果你正在尋找一些付費(fèi)產(chǎn)品,那么你可以在花錢之前免費(fèi)試用它。它適用于Windows,Linux和MacOS。
這聽起來像phpMyAdmin工具。但是,phpMoAdmin也是PHP編寫的但是可用于MongoDB。它基于Vork PHP框架。很輕巧,易于安裝。它只有115KB的moadmin.php文件,用戶可以放在網(wǎng)站的任何地方開始工作。
它是一個(gè)跨平臺(tái)的MongoDB管理工具,在Open Source許可下發(fā)布,使用Electron框架和Angular JS構(gòu)建。可在GitHub上找到。
以上談到了Windows,Linux和MacOS MongoDB管理客戶端,所以那些正在尋找智能手機(jī)和平板電腦的用戶mongoDB管理可以試試Mongolime。它為MongoDB移動(dòng)客戶端提供了輕松連接和訪問MongoDB服務(wù)器的功能。它具有內(nèi)置的SSH隧道,可以通過SSL輕松驗(yàn)證和連接遠(yuǎn)程服務(wù)器。MongoLime是免費(fèi)增值MongoDB客戶端應(yīng)用程序,支持iOS和Android平臺(tái)。
使用Node.js,Express和Bootstrap3編寫的基于Web的MongoDB管理界面。它允許連接多個(gè)數(shù)據(jù)庫;查看/添加/刪除數(shù)據(jù)庫,集合和文檔;預(yù)覽音頻/視頻/圖像資產(chǎn);GridFS支持 - 添加/獲取/刪除難以置信的大文件;在文檔中使用BSON數(shù)據(jù)類型,Mobile / Responsive - Bootstrap以及更多功能。
文章名稱:nosql建模工具,nosql軟件
分享地址:http://chinadenli.net/article41/dsgised.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供營銷型網(wǎng)站建設(shè)、企業(yè)建站、網(wǎng)站策劃、微信小程序、做網(wǎng)站、外貿(mào)建站
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場,如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來源: 創(chuàng)新互聯(lián)