Sqoop作為Hadoop與傳統(tǒng)數(shù)據(jù)庫之間的橋梁，對(duì)于數(shù)據(jù)的導(dǎo)入導(dǎo)出有著重要作用。通過對(duì)Sqoop基本語法以及功能的闡述，深刻解密Sqoop的作用和價(jià)值。

成都創(chuàng)新互聯(lián)是一家專業(yè)提供高邑企業(yè)網(wǎng)站建設(shè),專注與成都網(wǎng)站設(shè)計(jì)、做網(wǎng)站、H5高端網(wǎng)站建設(shè)、小程序制作等業(yè)務(wù)。10年已為高邑眾多企業(yè)、政府機(jī)構(gòu)等服務(wù)。創(chuàng)新互聯(lián)專業(yè)的建站公司優(yōu)惠進(jìn)行中。

 一、什么是Apache Sqoop?

Cloudera開發(fā)的Apache開源項(xiàng)目，是SQL-to-Hadoop的縮寫。主要用于在Hadoop(Hive)與傳統(tǒng)的數(shù)據(jù)庫(MySQL、postgresql...)間進(jìn)行數(shù)據(jù)的傳遞，可以將一個(gè)關(guān)系型數(shù)據(jù)庫（例如： MySQL ,Oracle ,Postgres等）中的數(shù)據(jù)導(dǎo)進(jìn)到Hadoop的HDFS中，也可以將HDFS的數(shù)據(jù)導(dǎo)進(jìn)到關(guān)系型數(shù)據(jù)庫中。在導(dǎo)入數(shù)據(jù)的時(shí)候，既可以導(dǎo)入整個(gè)數(shù)據(jù)庫，也可以導(dǎo)入單個(gè)表、所有表或表的部分?jǐn)?shù)據(jù)到HDFS，在導(dǎo)入數(shù)據(jù)的同時(shí)可以導(dǎo)成各種格式。除此之外，Sqoop可以從HDFS導(dǎo)出數(shù)據(jù)到數(shù)據(jù)庫，所以sqoop它擁有雙向的作用。

二、Sqoop如何工作？

Sqoop工作也是基于計(jì)算框架MapReduce,MapReduce會(huì)把提交的SQL導(dǎo)數(shù)轉(zhuǎn)換成MapReduce作業(yè)，然后提交到集群。總體來說分成三個(gè)步驟：

1、檢查表詳情

2、創(chuàng)建和提交作業(yè)到集群

3、獲取表記錄并寫入數(shù)據(jù)到HDFS

三、基本語法：

Sqoop是一個(gè)帶很多子命令的命令行工具，有很多用來導(dǎo)入、導(dǎo)出、列出數(shù)據(jù)庫內(nèi)容等工具。通常我們先列出數(shù)據(jù)庫有哪些表，然后再去導(dǎo)相應(yīng)的表。如果想要去看sqoop所有的工具，可以運(yùn)行sqoop help來查看所有工具列表，在這里也建議大家習(xí)慣使用help，去查找一些使用參數(shù)。另外，也可以運(yùn)行sqoop help tool-name來查看特定工具的幫助（如import，export）。

Sqoop調(diào)用的基本語法

四、使用Sqoop探索數(shù)據(jù)庫：

通常在導(dǎo)數(shù)據(jù)之前我們先要探索一下數(shù)據(jù)庫，去了解數(shù)據(jù)庫里面都有哪些表，一般有兩種方式：

1、List-tables：列出所有MySQL中l(wèi)oudacre數(shù)據(jù)庫的表

2.eval：執(zhí)行數(shù)據(jù)庫查詢

Sqoop作為Hadoop家族重要的一員，我們需要著重認(rèn)知和把握，對(duì)于我們了解和學(xué)習(xí)大數(shù)據(jù)有著重要的幫助。平常大家也可以關(guān)注一些大數(shù)據(jù)的資訊，了解大數(shù)據(jù)發(fā)展的趨勢(shì)和一些行業(yè)經(jīng)典案例。尤其是現(xiàn)在網(wǎng)絡(luò)媒體興盛，信息傳播迅速，比如微信服務(wù)號(hào)，我自己平時(shí)就喜歡從上面找一些案例，像大數(shù)據(jù)cn就很不錯(cuò)。但是技術(shù)永遠(yuǎn)都是有門檻的，只有不斷學(xué)習(xí)交流才可以不斷進(jìn)步，最近我在大數(shù)據(jù)時(shí)代學(xué)習(xí)中心這個(gè)服務(wù)號(hào)也學(xué)到了一些其他人分享的經(jīng)驗(yàn)，對(duì)于我個(gè)人幫助也很大。

 

網(wǎng)站題目：sqoop導(dǎo)入關(guān)系型數(shù)據(jù)庫-解密Sqoop
本文網(wǎng)址：http://chinadenli.net/article30/gigcpo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供電子商務(wù)、軟件開發(fā)、移動(dòng)網(wǎng)站建設(shè)、網(wǎng)站建設(shè)、微信公眾號(hào)、云服務(wù)器

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)