kettle sql使用別名

由于項(xiàng)目開(kāi)始時(shí)候使用的數(shù)據(jù)庫(kù)是SQLServer，后來(lái)把存儲(chǔ)的數(shù)據(jù)庫(kù)調(diào)整為MySQL，所以需要把SQLServer的數(shù)據(jù)轉(zhuǎn)移到MySQL；由于涉及的表比較多，所以想在MySQL中生成對(duì)應(yīng)表并導(dǎo)入數(shù)據(jù)；我使用了MySQL的Client的工具SQLyog，這個(gè)工具的安裝很簡(jiǎn)單。

站在用戶的角度思考問(wèn)題，與客戶深入溝通，找到翁牛特網(wǎng)站設(shè)計(jì)與翁牛特網(wǎng)站推廣的解決方案，憑借多年的經(jīng)驗(yàn)，讓設(shè)計(jì)與互聯(lián)網(wǎng)技術(shù)結(jié)合，創(chuàng)造個(gè)性化、用戶體驗(yàn)好的作品，建站類型包括：網(wǎng)站設(shè)計(jì)、做網(wǎng)站、企業(yè)官網(wǎng)、英文網(wǎng)站、手機(jī)端網(wǎng)站、網(wǎng)站推廣、主機(jī)域名、虛擬主機(jī)、企業(yè)郵箱。業(yè)務(wù)覆蓋翁牛特地區(qū)。

kettle設(shè)置了一個(gè)變量，執(zhí)行第一次的時(shí)候提示出現(xiàn)不支持的sql92，然后再運(yùn)行一次job變量就正常使用了

1. Join

我得到A 數(shù)據(jù)流（不管是基于文件或數(shù)據(jù)庫(kù)），A包含field1 , field2 , field3 字段，然后我還有一個(gè)B數(shù)據(jù)流，B包含field4 , field5 , field6 , 我現(xiàn)在想把它們 ‘加’ 起來(lái), 應(yīng)該怎么樣做.

這是新手最容易犯錯(cuò)的一個(gè)地方，A數(shù)據(jù)流跟B數(shù)據(jù)流能夠Join，肯定是它們包含join key ,join key 可以是一個(gè)字段也可以是多個(gè)字段。如果兩個(gè)數(shù)據(jù)流沒(méi)有join key ,那么它們就是在做笛卡爾積，一般很少會(huì)這樣。比如你現(xiàn)在需要列出一個(gè)員工的姓名和他所在部門的姓名，如果這是在同一個(gè)數(shù)據(jù)庫(kù)，大家都知道會(huì)在一個(gè)sql 里面加上where 限定條件，但是如果員工表和部門表在兩個(gè)不同的數(shù)據(jù)流里面，尤其是數(shù)據(jù)源的來(lái)源是多個(gè)數(shù)據(jù)庫(kù)的情況，我們一般是要使用Database Join 操作，然后用兩個(gè)database table input 來(lái)表示輸入流，一個(gè)輸入是部門表的姓名，另一個(gè)是員工表的姓名，然后我們認(rèn)為這兩個(gè)表就可以 ”Join” 了，我們需要的輸出的確是這兩個(gè)字段，但是這兩個(gè)字段的輸出并不代表只需要這兩個(gè)字段的輸入，它們之間肯定是需要一個(gè)約束關(guān)系存在的。另外，無(wú)論是在做 Join , Merge , Update , Delete 這些常規(guī)操作的時(shí)候，都是先需要做一個(gè)compare 操作的，這個(gè)compare 操作都是針對(duì)compare key 的，無(wú)論兩個(gè)表結(jié)構(gòu)是不是一樣的，比如employee 表和department 表，它們比較的依據(jù)就是employee 的外鍵department_id , 沒(méi)有這個(gè)compare key 這兩個(gè)表是不可能連接的起來(lái)的.. 對(duì)于兩個(gè)表可能還有人知道是直接sql 來(lái)做連接，如果是多個(gè)輸入數(shù)據(jù)源，然后是三個(gè)表，有人就開(kāi)始迷茫了，A表一個(gè)字段，B表一個(gè)字段，C表一個(gè)字段，然后就連Join操作都沒(méi)有，直接 database table output , 然后開(kāi)始報(bào)錯(cuò)，報(bào)完錯(cuò)就到處找高手問(wèn)，他們的數(shù)據(jù)庫(kù)原理老師已經(jīng)在吐血了。如果是三個(gè)表連接，一個(gè)sql 不能搞定，就需要先兩個(gè)表兩個(gè)表的連接，通過(guò)兩次compare key 連接之后得到你的輸出，記住，你的輸出并不能代表你的輸入. 下面總結(jié)一下:

1. 單數(shù)據(jù)源輸入，直接用sql 做連接

2. 多數(shù)據(jù)源輸入，（可能是文本或是兩個(gè)以上源數(shù)據(jù)庫(kù)），用database join 操作.

3. 三個(gè)表以上的多字段輸出.

2. Kettle的數(shù)據(jù)庫(kù)連接模式

Kettle的數(shù)據(jù)庫(kù)連接是一個(gè)步驟里面控制一個(gè)單數(shù)據(jù)庫(kù)連接，所以kettle的連接有數(shù)據(jù)庫(kù)連接池，你可以在指定的數(shù)據(jù)庫(kù)連接里面指定一開(kāi)始連接池里面放多少個(gè)數(shù)據(jù)庫(kù)連接，在創(chuàng)建數(shù)據(jù)庫(kù)連接的時(shí)候就有Pooling 選項(xiàng)卡，里面可以指定最大連接數(shù)和初始連接數(shù)，這可以一定程度上提高速度.

3. transaction

我想在步驟A執(zhí)行一個(gè)操作（更新或者插入），然后在經(jīng)過(guò)若干個(gè)步驟之后，如果我發(fā)現(xiàn)某一個(gè)條件成立，我就提交所有的操作，如果失敗，我就回滾，kettle提供這種事務(wù)性的操作嗎？

Kettle 里面是沒(méi)有所謂事務(wù)的概念的，每個(gè)步驟都是自己管理自己的連接的，在這個(gè)步驟開(kāi)始的時(shí)候打開(kāi)數(shù)據(jù)庫(kù)連接，在結(jié)束的時(shí)候關(guān)閉數(shù)據(jù)庫(kù)連接，一個(gè)步驟是肯定不會(huì)跨session的（數(shù)據(jù)庫(kù)里面的session）, 另外，由于kettle是并行執(zhí)行的，所以不可能把一個(gè)數(shù)據(jù)庫(kù)連接打開(kāi)很長(zhǎng)時(shí)間不放，這樣可能會(huì)造成鎖出現(xiàn)，雖然不一定是死鎖，但是對(duì)性能還是影響太大了。ETL中的事務(wù)對(duì)性能影響也很大，所以不應(yīng)該設(shè)計(jì)一種依賴與事務(wù)方式的ETL執(zhí)行順序，畢竟這不是OLTP，因?yàn)槟憧赡芤淮涡枰峤坏臄?shù)據(jù)量是幾百 GB都有可能，任何一種數(shù)據(jù)庫(kù)維持一個(gè)幾百GB的回滾段性能都是會(huì)不大幅下降的.

4. 我真的需要transaction 但又不想要一個(gè)很復(fù)雜的設(shè)計(jì)，能不能提供一個(gè)簡(jiǎn)單一點(diǎn)的方式

Kettle 在3.0.2GA版中將推出一種新功能，在一個(gè)table output 步驟中有一個(gè)Miscellaneous 選項(xiàng)卡，其中有一個(gè)Use unique connections 的選項(xiàng)，如果你選中的話就可以得到一個(gè)transaction 的簡(jiǎn)單版，

由于是使用的單數(shù)據(jù)庫(kù)連接，所以可以有錯(cuò)誤的時(shí)候回滾事務(wù)，不過(guò)要提醒一點(diǎn)是這種方式是以犧牲非常大的性能為前提條件的，對(duì)于太大的數(shù)據(jù)量是不適合的(個(gè)人仍然不建議使用這種方式)

5. temporary 表如何使用

我要在ETL過(guò)程中創(chuàng)建一個(gè)中間表，當(dāng)某個(gè)條件成立的時(shí)候，我要把中間表的數(shù)據(jù)進(jìn)行轉(zhuǎn)換，當(dāng)另一條件成立的時(shí)候我要對(duì)中間表進(jìn)行另一個(gè)操作，我想使用數(shù)據(jù)庫(kù)的臨時(shí)表來(lái)操作，應(yīng)該用什么步驟。

首先從temp 表的生命周期來(lái)分，temp分為事務(wù)臨時(shí)表和會(huì)話臨時(shí)表，前面已經(jīng)解釋過(guò)了，kettle是沒(méi)有所謂事務(wù)的概念的，所以自然也沒(méi)有所謂的事務(wù)臨時(shí)表。 Kettle的每個(gè)步驟管理自己的數(shù)據(jù)庫(kù)連接，連接一結(jié)束，kettle也就自然丟掉了這個(gè)連接的session 的handler , 沒(méi)有辦法可以在其他步驟拿回這個(gè)session 的handler , 所以也就不能使用所謂的會(huì)話臨時(shí)表，當(dāng)你嘗試再開(kāi)一個(gè)連接的時(shí)候，你可以連上這個(gè)臨時(shí)表，但是你想要的臨時(shí)表里面的數(shù)據(jù)都已經(jīng)是空的(數(shù)據(jù)不一定被清除了，但是你連不上了)，所以不要設(shè)計(jì)一個(gè)需要使用臨時(shí)表的轉(zhuǎn)換

之所以會(huì)使用臨時(shí)表，其實(shí)跟需要 ”事務(wù)” 特性有一點(diǎn)類似，都是希望在ETL過(guò)程中提供一種緩沖。臨時(shí)表很多時(shí)候都不是某一個(gè)源表的全部數(shù)據(jù)的鏡像，很多時(shí)候臨時(shí)表都是很小一部分結(jié)果集，可能經(jīng)過(guò)了某種計(jì)算過(guò)程，你需要臨時(shí)表無(wú)非是基于下面三個(gè)特性：

1. 表結(jié)構(gòu)固定，用一個(gè)固定的表來(lái)接受一部分?jǐn)?shù)據(jù)。

2. 每次連接的時(shí)候里面沒(méi)有數(shù)據(jù)。你希望它接受數(shù)據(jù)，但是不保存，每次都好像執(zhí)行了truncate table 操作一樣

3. 不同的時(shí)候連接臨時(shí)表用同一個(gè)名字，你不想使用多個(gè)連接的時(shí)候用類似與temp1 , temp2 , temp3 , temp4 這種名字，應(yīng)為它們表結(jié)構(gòu)一樣。

既然臨時(shí)表不能用，應(yīng)該如何設(shè)計(jì)ETL過(guò)程呢？（可以用某種詭異的操作搞出臨時(shí)表，不過(guò)不建議這樣做罷了）

如果你的ETL過(guò)程比較的單線程性，也就是你清楚的知道同一時(shí)間只有一個(gè)這樣的表需要，你可以創(chuàng)建一個(gè)普通的表，每次連接的時(shí)候都執(zhí)行truncate 操作，不論是通過(guò)table output 的truncate table 選項(xiàng)，還是通過(guò)手工執(zhí)行truncate table sql 語(yǔ)句（在execute sql script 步驟）都可以達(dá)到目的（基于上面的1，2 特性）

如果你的ETL操作比較的多線程性，同一時(shí)間可能需要多個(gè)表結(jié)構(gòu)一樣并且里面都是為空的表（基于上面1，2，3特性），你可以創(chuàng)建一個(gè) “字符串+序列” 的模式，每次需要的時(shí)候，就創(chuàng)建這樣的表，用完之后就刪除，因?yàn)槟阕约翰灰欢ㄖ滥阈枰嗌賯€(gè)這種類型的表，所以刪除會(huì)比truncate 好一些。

下面舉個(gè)例子怎么創(chuàng)建這種表：

你可以使用某種約定的表名比如department_temp 作為department 的臨時(shí)表。或者

把a(bǔ)rgument 傳到表名，使用 department_${argument} 的語(yǔ)法，

如果你需要多個(gè)這種表，使用一個(gè)sequence 操作+execute sql script 操作，execute sql script 就下面這種模式

Create table_? (…………..)

在表的名字上加參數(shù)，前面接受一個(gè)sequence 或類似的輸入操作.

需要注意的是這種參數(shù)表名包括database table input 或者execute sql script ，只要是參數(shù)作為表名的情況前面的輸入不能是從數(shù)據(jù)庫(kù)來(lái)的,應(yīng)為沒(méi)有辦法執(zhí)行這種preparedStatement 語(yǔ)句，從數(shù)據(jù)庫(kù)來(lái)的值后面的操作是 “值操作” ,而不是字符串替換，只有argument 或者sequence 操作當(dāng)作參數(shù)才是字符串替換. (這一點(diǎn)官方FAQ也有提到)

常用的etl工具有哪些

1、DataPipeline

DataPipeline 隸屬于北京數(shù)見(jiàn)科技有限公司，是一家企業(yè)級(jí)批流一體數(shù)據(jù)融合服務(wù)商和解決方案提供商，國(guó)內(nèi)實(shí)時(shí)數(shù)據(jù)管道技術(shù)的倡導(dǎo)者。

通過(guò)平臺(tái)和技術(shù)為企業(yè)客戶解決數(shù)據(jù)準(zhǔn)備過(guò)程中的各種痛點(diǎn)，幫助客戶更敏捷、更高效、更簡(jiǎn)單地實(shí)現(xiàn)復(fù)雜異構(gòu)數(shù)據(jù)源到目的地的實(shí)時(shí)數(shù)據(jù)融合和數(shù)據(jù)管理等綜合服務(wù)。

從而打破傳統(tǒng) ETL 給客戶靈活數(shù)據(jù)應(yīng)用帶來(lái)的束縛，讓數(shù)據(jù)準(zhǔn)備過(guò)程不再成為數(shù)據(jù)消費(fèi)的瓶頸。

2、Kettle

Kettle是一款國(guó)外開(kāi)源的ETL工具，純java編寫，可以在Windows、Linux、Unix上運(yùn)行，數(shù)據(jù)抽取高效穩(wěn)定。

Kettle 中文名稱叫水壺，該項(xiàng)目的主程序員MATT 希望把各種數(shù)據(jù)放到一個(gè)壺里，然后以一種指定的格式流出。

3、Talend

Talend 是數(shù)據(jù)集成解決方案領(lǐng)域的領(lǐng)袖企業(yè)，為公共云和私有云以及本地環(huán)境提供一體化的數(shù)據(jù)集成平臺(tái)。Talend的使命是致力于幫助客戶優(yōu)化數(shù)據(jù)，提高數(shù)據(jù)可靠性，把企業(yè)數(shù)據(jù)更快地轉(zhuǎn)化為商業(yè)價(jià)值。

以此為使命，Talend的解決方案將數(shù)據(jù)從傳統(tǒng)基礎(chǔ)架構(gòu)中解放出來(lái)，提高客戶在業(yè)務(wù)中的洞察力，讓客戶更早實(shí)現(xiàn)業(yè)務(wù)價(jià)值。

4、Informatica

Informatica是全球領(lǐng)先的數(shù)據(jù)管理軟件提供商。

在如下Gartner魔力象限位于領(lǐng)導(dǎo)者地位：數(shù)據(jù)集成工具魔力象限、數(shù)據(jù)質(zhì)量工具魔力象限、元數(shù)據(jù)管理解決方案魔力象限、主數(shù)據(jù)管理解決方案魔力象限、企業(yè)級(jí)集成平臺(tái)即服務(wù)（EiPaaS）魔力象限。

5、DataStage

IBM? InfoSphere? Information Server 是一種數(shù)據(jù)集成軟件平臺(tái)，能夠幫助企業(yè)從散布在各個(gè)系統(tǒng)中的復(fù)雜異構(gòu)信息獲得更多價(jià)值。InfoSphere Information Server提供了一個(gè)統(tǒng)一的平臺(tái)， 使公司能夠了解、清理、變換和交付值得信賴且上下文豐富的信息。

IBM? InfoSphere? DataStage? and QualityStage? 提供了圖形框架，您可使用該框架來(lái)設(shè)計(jì)和運(yùn)行用于變換和清理、加載數(shù)據(jù)的作業(yè)。

參考資料：DataPipeline官網(wǎng)-關(guān)于我們

參考資料：百度百科-Kettle

參考資料：百度百科-Talend

參考資料：百度百科-Informatica

參考資料：百度百科-DataStage

kettle有什么特點(diǎn)

引言

作為資深的DBA同胞你是否在工作中也存在這樣的情況呢？公司要搭建數(shù)據(jù)平臺(tái)，首要的工作就是把舊庫(kù)的數(shù)據(jù)導(dǎo)入到新庫(kù)中，雖然各種數(shù)據(jù)庫(kù)都提供了導(dǎo)入導(dǎo)出的工具，但是數(shù)據(jù)需要存儲(chǔ)到各個(gè)地方，MongoDB、HBase、MySQL、Oracle等各種各樣的不同數(shù)據(jù)庫(kù)，同步起來(lái)就有一些困難了。那么如何做好兩個(gè)數(shù)據(jù)庫(kù)之間、不同類型的數(shù)據(jù)庫(kù)之間的相互遷移轉(zhuǎn)換呢？

今天小編就常用的數(shù)據(jù)庫(kù)同步、遷移轉(zhuǎn)換工具進(jìn)行一個(gè)匯總，以便大家在需要的時(shí)候，選擇到合適的工具完成自己的工作~

一、SQLyog

SQLyog簡(jiǎn)介

SQLyog是業(yè)界著名的Webyog公司出品的一款簡(jiǎn)潔高效、功能強(qiáng)大的圖形化MySQL數(shù)據(jù)庫(kù)管理工具。使用SQLyog可以快速直觀地讓你從世界的任何角落通過(guò)網(wǎng)絡(luò)來(lái)維護(hù)遠(yuǎn)端的MySQL數(shù)據(jù)庫(kù)。它也是小編工作一直使用的MySQL管理客戶端工具哦。

SQLyog特點(diǎn)

方便快捷的數(shù)據(jù)庫(kù)同步與數(shù)據(jù)庫(kù)結(jié)構(gòu)同步工具；

易用的數(shù)據(jù)庫(kù)、數(shù)據(jù)表備份與還原功能；

支持導(dǎo)入與導(dǎo)出XML、HTML、CSV等多種格式的數(shù)據(jù)；

直接運(yùn)行批量SQL腳本文件，速度極快；

新版本更是增加了強(qiáng)大的數(shù)據(jù)遷移

二、Navicat

Navicat簡(jiǎn)介

Navicat是一套快速、可靠并且價(jià)格相當(dāng)便宜的數(shù)據(jù)庫(kù)管理工具，Navicat提供多達(dá) 7 種語(yǔ)言供客戶選擇，被認(rèn)為是最受歡迎的數(shù)據(jù)庫(kù)前端用戶界面工具。它可以用來(lái)對(duì)本地或遠(yuǎn)程的 MySQL、SQL Server、SQLite、Oracle 及 PostgreSQL 數(shù)據(jù)庫(kù)進(jìn)行管理及開(kāi)發(fā)。

Navicat支持功能

數(shù)據(jù)模型

數(shù)據(jù)傳輸

數(shù)據(jù)同步

結(jié)構(gòu)同步

導(dǎo)入、導(dǎo)出、備份、還原、報(bào)表創(chuàng)建工具及計(jì)劃以協(xié)助管理數(shù)據(jù)

三、Ottor

Ottor簡(jiǎn)介

Otttor是由阿里巴巴開(kāi)源的一個(gè)數(shù)據(jù)同步產(chǎn)品,它的最初的目的是為了解決跨國(guó)異地整個(gè)機(jī)房的架構(gòu)為雙A，兩邊均可寫。開(kāi)發(fā)時(shí)間長(zhǎng)達(dá)7年，并持續(xù)到現(xiàn)在。目前阿里巴巴B2B內(nèi)部的本地/異地機(jī)房的同步需求基本全上了Otter。Otter基于數(shù)據(jù)庫(kù)增量日志解析，支持mysql/oracle數(shù)據(jù)庫(kù)進(jìn)行同步,在最新的v4.2.13已經(jīng)支持mysql5.7以及阿里云提供的RDS數(shù)據(jù)庫(kù)。小編已經(jīng)在實(shí)際項(xiàng)目中使用。

Ottor特點(diǎn)

基于Canal開(kāi)源產(chǎn)品，獲取數(shù)據(jù)庫(kù)增量日志數(shù)據(jù)。 （什么是Canal,詳情查看）。

典型管理系統(tǒng)架構(gòu)，manager(web管理)+node(工作節(jié)點(diǎn))，manager運(yùn)行時(shí)推送同步配置到node節(jié)點(diǎn)，node節(jié)點(diǎn)將同步狀態(tài)反饋到manager上。

基于zookeeper，解決分布式狀態(tài)調(diào)度的，允許多node節(jié)點(diǎn)之間協(xié)同工作.（otter node依賴于zookeeper進(jìn)行分布式調(diào)度，需要安裝一個(gè)zookeeper節(jié)點(diǎn)或者集群）。

Ottor運(yùn)行原理

db : 數(shù)據(jù)源以及需要同步到的庫(kù)

Canal : 用戶獲取數(shù)據(jù)庫(kù)增量日志，目前主要支持mysql

manager :　配置同步規(guī)則設(shè)置數(shù)據(jù)源同步源等

zookeeper : 協(xié)調(diào)node進(jìn)行協(xié)調(diào)工作

node : 負(fù)責(zé)任務(wù)處理處理接受到的部分同步工作

四、ESF Database Migration

ESF Database Migration簡(jiǎn)介

ESF Database Convert是一款強(qiáng)大的商業(yè)數(shù)據(jù)庫(kù)轉(zhuǎn)換工具。支持常見(jiàn)數(shù)據(jù)庫(kù)之間相互轉(zhuǎn)換，目前網(wǎng)上能找到“免費(fèi)”版本，如有不同數(shù)據(jù)庫(kù)相互轉(zhuǎn)的需求，可以用此工具解決你的問(wèn)題。

官方地址為：

ESF Database Migration特點(diǎn)

它支持Oracle, MySQL, SQL Server, PostgreSQL, Visual Foxpro, FireBird, InterBase, Access, Excel, Paradox, Lotus, dBase, Text...之間互相轉(zhuǎn)換

五、DB2DB

DB2DB簡(jiǎn)介

DB2DB 是目前經(jīng)過(guò)測(cè)試速度最快、最穩(wěn)定實(shí)現(xiàn)多種數(shù)據(jù)庫(kù)之間進(jìn)行數(shù)據(jù)轉(zhuǎn)換的工具。支持 SQL Server、MySQL、SQLite、Access 等多種數(shù)據(jù)庫(kù)類型，通過(guò)該工具可以把原來(lái)的系統(tǒng)，方便快速地部署在不同的數(shù)據(jù)庫(kù)甚至是云端數(shù)據(jù)庫(kù)下。在大數(shù)據(jù)情況下（千萬(wàn)級(jí)別以上），處理速度比國(guó)內(nèi)外同類軟件要高出300%以上。并針對(duì)云端數(shù)據(jù)庫(kù)中使用最多的 MySQL 數(shù)據(jù)庫(kù)進(jìn)行優(yōu)化，使得從源數(shù)據(jù)庫(kù)復(fù)制到新數(shù)據(jù)庫(kù)時(shí)保留更多的數(shù)據(jù)表屬性設(shè)置。這樣大大減少程序員、DBA、實(shí)施人員將大型數(shù)據(jù)庫(kù)進(jìn)行遷移時(shí)的等待、測(cè)試和調(diào)試時(shí)間，減少公司為了測(cè)試某系統(tǒng)轉(zhuǎn)換到新數(shù)據(jù)庫(kù)系統(tǒng)時(shí)的人力成本。

官方地址：

DB2DB支持功能

任意類型數(shù)據(jù)庫(kù)間進(jìn)行轉(zhuǎn)換；

數(shù)據(jù)庫(kù)表結(jié)構(gòu)自動(dòng)同步；

數(shù)據(jù)表索引自動(dòng)同步；

數(shù)據(jù)表字段默認(rèn)值自動(dòng)同步；

支持對(duì)二進(jìn)制字段數(shù)據(jù)的同步；

支持各種數(shù)據(jù)庫(kù)中自增型字段的處理；

支持同步前對(duì)數(shù)據(jù)表進(jìn)行檢查，避免出現(xiàn)由于數(shù)據(jù)庫(kù)自身限制的原因而導(dǎo)致同步失敗的情況；

支持把同步內(nèi)容導(dǎo)出為 SQL 文件的功能；

支持自定義選擇需要同步的數(shù)據(jù)表；

支持將配置保存為方案，以方便日后重新使用；

針對(duì)不同的機(jī)器配置，可以選擇單線程或多線程同步方式。

通過(guò)靈活的方式（可按月/周/天/小時(shí)/分鐘）設(shè)定程序不限次定時(shí)執(zhí)行同步動(dòng)作。

六、 Kettle

Kettle簡(jiǎn)介

Kettle是一款國(guó)外開(kāi)源的ETL工具，使用突破性的元數(shù)據(jù)驅(qū)動(dòng)方法提供強(qiáng)大的提取，轉(zhuǎn)換和加載（ETL）功能。在Windows、Linux、Unix上均可運(yùn)行，數(shù)據(jù)抽取高效穩(wěn)定。Kettle 中文名稱叫水壺，它憑借圖形化，拖放式設(shè)計(jì)環(huán)境以及可擴(kuò)展、數(shù)據(jù)集成等特點(diǎn)，越來(lái)越成為組織的選擇。

Kettle特點(diǎn)

Kettle這個(gè)ETL工具集，它允許你管理來(lái)自不同數(shù)據(jù)庫(kù)的數(shù)據(jù)，通過(guò)提供一個(gè)圖形化的用戶環(huán)境來(lái)描述你想做什么，而不是你想怎么做。Kettle中有兩種腳本文件，transformation和job，transformation完成針對(duì)數(shù)據(jù)的基礎(chǔ)轉(zhuǎn)換，job則完成整個(gè)工作流的控制。

七、SyncNavigator

SyncNavigator簡(jiǎn)介

號(hào)稱國(guó)內(nèi)做的最好的數(shù)據(jù)庫(kù)同步軟件，傻瓜式同步數(shù)據(jù)庫(kù)，只需要你設(shè)置好來(lái)源數(shù)據(jù)庫(kù)和目標(biāo)數(shù)據(jù)庫(kù)的賬號(hào)和密碼，一鍵開(kāi)啟，后臺(tái)自動(dòng)同步，斷點(diǎn)續(xù)傳，增量同步，幾乎不占內(nèi)存和CPU資源。并且還支持異構(gòu)數(shù)據(jù)庫(kù)，也可以同步部分表或者部分字段，都可以進(jìn)行更為精準(zhǔn)的設(shè)置操作。

syncnavigator特點(diǎn)

是一款專業(yè)的SQLSERVER，MySQL數(shù)據(jù)庫(kù)同步軟件，它為你提供一種簡(jiǎn)單智能的方式完成復(fù)雜的數(shù)據(jù)庫(kù)數(shù)據(jù)同步，分發(fā)操作。

支持同構(gòu)數(shù)據(jù)庫(kù)同步，異構(gòu)數(shù)據(jù)庫(kù)同步，定時(shí)同步，增量同步，斷點(diǎn)續(xù)傳

完整支持Microsoft SQL Server 2000,2005,2008

支持Mysql4.1，5.0，5.4，5.5

支持大容量數(shù)據(jù)庫(kù)快速同步。

八、DataX3.0

DataX3.0特點(diǎn)

DataX 是阿里巴巴集團(tuán)內(nèi)被廣泛使用的離線數(shù)據(jù)同步工具/平臺(tái)，實(shí)現(xiàn)包括 MySQL、SQL Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS 等各種異構(gòu)數(shù)據(jù)源之間高效的數(shù)據(jù)同步功能。

DataX3.0特點(diǎn)

DataX本身作為離線數(shù)據(jù)同步框架，采用Framework + plugin架構(gòu)構(gòu)建。將數(shù)據(jù)源讀取和寫入抽象成為Reader/Writer插件，納入到整個(gè)同步框架中。

Reader：Reader 為數(shù)據(jù)采集模塊，負(fù)責(zé)采集數(shù)據(jù)源的數(shù)據(jù)，將數(shù)據(jù)發(fā)送給Framework。

Writer： Writer為數(shù)據(jù)寫入模塊，負(fù)責(zé)不斷向Framework取數(shù)據(jù)，并將數(shù)據(jù)寫入到目的端。

Framework：Framework用于連接reader和writer，作為兩者的數(shù)據(jù)傳輸通道，并處理緩沖，流控，并發(fā)，數(shù)據(jù)轉(zhuǎn)換等核心技術(shù)問(wèn)題。

支持的數(shù)據(jù)庫(kù)：

經(jīng)過(guò)幾年積累，DataX目前已經(jīng)有了比較全面的插件體系，主流的RDBMS數(shù)據(jù)庫(kù)、NOSQL、大數(shù)據(jù)計(jì)算系統(tǒng)都已經(jīng)接入。DataX目前支持?jǐn)?shù)據(jù)如下：

大家如有更好的工具推薦，歡迎在留言區(qū)補(bǔ)充~

當(dāng)前文章：kettlenosql的簡(jiǎn)單介紹
當(dāng)前地址：http://chinadenli.net/article5/dsgseoi.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站建設(shè)、靜態(tài)網(wǎng)站、App設(shè)計(jì)、關(guān)鍵詞優(yōu)化、域名注冊(cè)、品牌網(wǎng)站設(shè)計(jì)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)