一般來說,減少索引和約束(比如如果是唯一索引insert時會進(jìn)行驗(yàn)證,check也會驗(yàn)證),能提高一部分insert效率。
創(chuàng)新互聯(lián)是一家專注于做網(wǎng)站、網(wǎng)站建設(shè)與策劃設(shè)計,朔州網(wǎng)站建設(shè)哪家好?創(chuàng)新互聯(lián)做網(wǎng)站,專注于網(wǎng)站建設(shè)10多年,網(wǎng)設(shè)計領(lǐng)域的專業(yè)建站公司;建站業(yè)務(wù)涵蓋:朔州等地區(qū)。朔州做網(wǎng)站價格咨詢:13518219792
append參數(shù)也有一定的作用。(與高水位標(biāo)記線有關(guān))
對于數(shù)據(jù)量很大的insert,進(jìn)行分批,也有一定的作用。(減少內(nèi)存征用的等待時間)
表分區(qū)也有一些作用。(因?yàn)榭梢酝瑫r執(zhí)行多個insert,每個分區(qū)都可以執(zhí)行一個自己分區(qū)的insert,相當(dāng)于并行)
變插入為導(dǎo)入,比如變?yōu)槲谋救缓罄猛獠勘沓绦驅(qū)耄ㄟ@樣走的是系統(tǒng)內(nèi)存和程序內(nèi)存,而且導(dǎo)入的操作,比dml語句操作快很多)
這些都是一般的想法,具體的選擇要根據(jù)你的實(shí)際情況進(jìn)行。
我覺得吧,oracle的體系太龐大了,對于初學(xué)者來說,難免會有些無從下手的感覺,什么都想學(xué),結(jié)果什么都學(xué)不好,所以把我的經(jīng)驗(yàn)分享下,希望讓剛剛?cè)腴T的人對oracle有一個總體的認(rèn)識,少走一些彎路。
acle分兩大塊,一塊是開發(fā),一塊是管理。開發(fā)主要是寫寫存儲過程、觸發(fā)器什么的,還有就是用Oracle的Develop工具做form。有點(diǎn)類似于程序員,需要有較強(qiáng)的邏輯思維和創(chuàng)造能力,個人覺得會比較辛苦,是青春飯;管理則需要對oracle數(shù)據(jù)庫的原理有深刻的認(rèn)識,有全局操縱的能力和緊密的思維,責(zé)任較大,因?yàn)橐粋€小的失誤就會down掉整個數(shù)據(jù)庫,相對前者來說,后者更看重經(jīng)驗(yàn)。 我的方法就是看書、思考、寫筆記、做實(shí)驗(yàn)、再思考、再寫筆記 。看完理論的東西,自己靜下心來想想,多問自己幾個為什么,然后把所學(xué)和所想的知識點(diǎn)做個筆記;在想不通或有疑問的時候,就做做實(shí)驗(yàn),想想怎么會這樣,同樣的,把實(shí)驗(yàn)的結(jié)果記下來。思考和做實(shí)驗(yàn)是為了深入的了解這個知識點(diǎn)。而做筆記的過程,也是理清自己思路的過程。發(fā)現(xiàn)不懂得可以在相關(guān)論壇里面求助,看看別人是怎么分析問題的。你還可以在:里面看看,不會讓你失望的哦。希望可以幫到你呢。
首先,學(xué)些ORACLE之前,你最好確認(rèn)一下,對于數(shù)據(jù)庫的基礎(chǔ)知識是否掌握,如果還沒有,那么我建議你先學(xué)數(shù)據(jù)庫的基礎(chǔ)知識,然后再對ORACLE進(jìn)行重點(diǎn)的學(xué)習(xí)。
其次,oracle也是數(shù)據(jù)庫的一種,所以,所有的數(shù)據(jù)庫應(yīng)該有的功能它都有,有了數(shù)據(jù)庫的基礎(chǔ)知識后,學(xué)習(xí)oracle是比較簡單的(我是說對于一般的編程人員),特別的,多比較多個不同數(shù)據(jù)庫的異同,這樣可以很快的指導(dǎo)他們的用處,而且也方便記憶。
對于,oracle特有的函數(shù)、功能等,如果需要ORACLE深入編程,那肯定是要學(xué)習(xí)的。
還有,君欲善琪七必先利其器,對ORACLE的學(xué)習(xí)過程中,一定要掌握一兩種數(shù)據(jù)庫客戶端軟件,在開發(fā)過程中,如果連客戶端軟件都不會用,那必然浪費(fèi)你很多時間去熟悉軟件。
一、 提高DML操作的辦法:\x0d\x0a簡單說來:\x0d\x0a1、暫停索引,更新后恢復(fù).避免在更新的過程中涉及到索引的重建.\x0d\x0a2、批量更新,每更新一些記錄后及時進(jìn)行提交動作.避免大量占用回滾段和或臨時表空間.\x0d\x0a3、創(chuàng)建一臨時的大的表空間用來應(yīng)對這些更新動作.\x0d\x0a\x0d\x0a4、批量更新,每更新一些記錄后及時進(jìn)行提交動作.避免大量占用回滾段和或臨時表空間.\x0d\x0a\x0d\x0a5、創(chuàng)建一臨時的大的表空間用來應(yīng)對這些更新動作.\x0d\x0a\x0d\x0a6、加大排序緩沖區(qū)\x0d\x0a alter session set sort_area_size=100000000;\x0d\x0a insert into tableb select * from tablea;\x0d\x0a commit;\x0d\x0a\x0d\x0a如果UPDATE的是索引字段,就會涉及到索引的重建,暫停索引不會提高多少的速度,反而有可能降低UPDATE速度,\x0d\x0a因?yàn)樵诟率撬饕梢蕴岣邤?shù)據(jù)的查詢速度,重建索引引起的速度降低影響不大。\x0d\x0a\x0d\x0aORACLE優(yōu)化修改參數(shù)最多也只能把性能提高15%,大部分都是SQL語句的優(yōu)化!\x0d\x0a\x0d\x0aupdate總體來說比insert要慢 :\x0d\x0a幾點(diǎn)建議: \x0d\x0a 1、如果更新的數(shù)據(jù)量接近整個表,就不應(yīng)該使用index而應(yīng)該采用全表掃描 \x0d\x0a 2、減少不必要的index,因?yàn)閡pdate表通常需要update index \x0d\x0a 3、如果你的服務(wù)器有多個cpu,采用parellel hint,可以大幅度的提高效率\x0d\x0a 另外,建表的參數(shù)非常重要,對于更新非常頻繁的表,建議加大PCTFREE的值,以保證數(shù)據(jù)塊中有足夠的空間用于UPDATE, 從而降低CHAINED_ROWS。 \x0d\x0a\x0d\x0a二、 各種批量DML操作:\x0d\x0a(1)、oracle批量拷貝:\x0d\x0aset arraysize 20\x0d\x0a set copycommit 5000\x0d\x0a copy from username/password@oraclename append table_name1\x0d\x0a using select * from table_name2;\x0d\x0a (2)、常規(guī)插入方式:\x0d\x0a insert into t1 select * from t;\x0d\x0a 為了提高速度可以使用下面方法,來減少插入過程中產(chǎn)生的日志:\x0d\x0a alter table t1 nologging;\x0d\x0ainsert into t1 select * from t;\x0d\x0acommit;\x0d\x0a (3)、CTAS方式:\x0d\x0a create table t1\x0d\x0aas\x0d\x0aselect * from t;\x0d\x0a為了提高速度可以使用下面方法,來減少插入過程中產(chǎn)生的日志,并且可以制定并行度:\x0d\x0acreate table t1 nologging parallel(degree 2) as select * from t;\x0d\x0a (4)、Direct-Path插入:\x0d\x0a insert /*+append*/ into t1 select * from t;\x0d\x0a commit;\x0d\x0a 為了提高速度可以使用下面方法,來減少插入過程中產(chǎn)生的日志:\x0d\x0a alter table t1 nologging;\x0d\x0a insert /*+append*/ into t1 select * from t;\x0d\x0a \x0d\x0a Direct-Path插入特點(diǎn):\x0d\x0a1、 append只在insert ? select ?中起作用,像insert /*+ append */ into t values(?)這類的語句是不起作用的。在update、delete操作中,append也不起作用。\x0d\x0a2、 Direct-Path會使數(shù)據(jù)庫不記錄直接路徑導(dǎo)入的數(shù)據(jù)的重做日志,會對恢復(fù)帶來麻煩。\x0d\x0a3、 Direct-Path直接在表段的高水位線以上的空白數(shù)據(jù)塊中寫數(shù)據(jù),不會重用高水位線以下的空間,會對空間的使用造成一定的浪費(fèi),對查詢的性能也會造成一定的影響。而常規(guī)插入會優(yōu)先考慮使用高水位線之下有空閑空間存在的數(shù)據(jù)塊。因此理論上Direct-Path插入會比常規(guī)插入速度更快,因?yàn)镈irect-Path直接使用新數(shù)據(jù)塊,而常規(guī)插入要遍歷freelist獲取可用空閑數(shù)據(jù)塊,如果同 nologging 配合,這種速度優(yōu)勢會更加明顯。\x0d\x0a4、 以append方式插入記錄后,要執(zhí)行commit,才能對表進(jìn)行查詢。否則會出現(xiàn)錯誤:ORA-12838: 無法在并行模式下修改之后讀/修改對象。\x0d\x0a5、 用append導(dǎo)入數(shù)據(jù)后,如果沒有提交或者回滾,在其他會話中任何對該表的DML都會被阻塞(不會報錯),但對該表的查詢可以正常執(zhí)行。\x0d\x0a6、 在歸檔模式下,要把表設(shè)置為nologging,然后以append方式批量添加記錄,才會顯著減少redo數(shù)量。在非歸檔模式下,不必設(shè)置表的 nologging屬性,即可減少redo數(shù)量。如果表上有索引,則append方式批量添加記錄,不會減少索引上產(chǎn)生的redo數(shù)量,索引上的redo 數(shù)量可能比表的redo數(shù)量還要大。\x0d\x0a7、 數(shù)據(jù)直接插入數(shù)據(jù)文件,繞過buffer cache并且忽略了引用完整性約束。\x0d\x0a8、 不管表是否在nologging 下,只要是 direct insert,就不會對數(shù)據(jù)內(nèi)容生成undo。\x0d\x0a9、 Oracle在Direct-Path INSERT 操作末尾,對具有索引的表執(zhí)行索引維護(hù),這樣就避免了在drop掉索引后,再rebuild。\x0d\x0a10、 Direct-Path INSERT比常規(guī)的插入需要更多的空間。因?yàn)樗鼘?shù)據(jù)插入在高水位之上。并行插入非分區(qū)表需要更多的空間,因?yàn)樗枰獮槊恳粋€并行線程創(chuàng)建臨時段。\x0d\x0a11、 在插入期間,數(shù)據(jù)庫在表上獲得排他鎖,用戶不能在表上執(zhí)行并行插入、更新或者刪除操作,并行的索引創(chuàng)建和build也不被允許。但卻可以并行查詢,但查詢返回的是插入之前的結(jié)果集。\x0d\x0a (5)、并行DML:\x0d\x0a 如果你的服務(wù)器有多個cpu,采用parellel hint,可以大幅度的提高效率\x0d\x0a ALTER SESSION ENABLE PARALLEL DML;\x0d\x0a\x0d\x0a INSERT /*+ PARALLEL(tableA, 2) */INTO tableA \x0d\x0a SELECT * FROM tableB;\x0d\x0a\x0d\x0a 為了提高速度可以使用下面方法,來減少插入過程中產(chǎn)生的日志:\x0d\x0a\x0d\x0a INSERT /*+ PARALLEL(tableA, 2) */INTO tableA NOLOGGING\x0d\x0a SELECT * FROM tableB;\x0d\x0a\x0d\x0aoracle默認(rèn)并不會打開PDML,對DML語句必須手工啟用。即需要執(zhí)行\(zhòng)x0d\x0aalter table enable parallel dml命令。\x0d\x0a \x0d\x0a并行DML特點(diǎn):\x0d\x0a1、在并行DML模式中,默認(rèn)的就是DIRECT-PATH插入,為了運(yùn)行并行DML模式,必須滿足以下條件:\x0d\x0aa、必須是Oracle企業(yè)版;\x0d\x0ab、必須在session中使并行DML生效,執(zhí)行以下sql語句:\x0d\x0aALTER SESSION { ENABLE | FORCE } PARALLEL DML;\x0d\x0ac、必須指定table的并行屬性,在創(chuàng)建的時候或者其他時候,或者在insert操作時使用“PARALLEL”提示。\x0d\x0ad、為了使Direct-Path Insert模式失效,在INSERT語句中指定“NOAPPEND”提示,覆蓋并行DML模式。\x0d\x0a 2、并行Direct-Path INSERT到分區(qū)表:\x0d\x0a 類似于serial Direct-Path INSERT,每個并行操作分配給一個或者多個分區(qū),每個并行操作插入數(shù)據(jù)到各自的分區(qū)段的高水位標(biāo)志之上,commit之后,用戶就能看到更新的數(shù)據(jù)。\x0d\x0a 3、并行Direct-Path INSERT到非分區(qū)表:\x0d\x0a 每個并行執(zhí)行分配一個新的臨時段,并插入數(shù)據(jù)到臨時段。當(dāng)commit運(yùn)行后,并行執(zhí)行協(xié)調(diào)者合并新的臨時段到主表段,用戶就能看到更新的數(shù)據(jù)。\x0d\x0a 4、Direct-Path INSERT可以使用Log或者不使用Log。\x0d\x0a 5、另外不得不說的是,并行不是一個可擴(kuò)展的特性,只有在數(shù)據(jù)倉庫或作為DBA等少數(shù)人的工具在批量數(shù)據(jù)操作時利于充分利用資源,而在OLTP環(huán)境下使用并行需要非常謹(jǐn)慎。事實(shí)上PDML還是有比較多的限制的,例如不支持觸發(fā)器,引用約束,高級復(fù)制和分布式事務(wù)等特性,同時也會帶來額外的空間占用,PDDL同 樣是如此。
Oracle 數(shù)據(jù)導(dǎo)入方法比較 每個數(shù)據(jù)庫管理員都會面臨數(shù)據(jù)導(dǎo)入的問題,這有可能發(fā)生在數(shù)據(jù)庫的新老移植過程中,或者是在數(shù)據(jù)庫崩潰后的恢復(fù)重建過程中,還有可能是在創(chuàng)建測試數(shù)據(jù)庫的模擬環(huán)境過程中,總之作為一名合格的數(shù)據(jù)庫管理員,你應(yīng)該做好接受各種數(shù)據(jù)導(dǎo)入請求的技術(shù)儲備,同時還要盡量滿足人本能的對導(dǎo)入速度的苛求。本文僅針對 Oracle 數(shù)據(jù)庫所提供的加速數(shù)據(jù)導(dǎo)入的各種特性和技術(shù)進(jìn)行探討,其中的一些方法也可以轉(zhuǎn)化應(yīng)用于其他數(shù)據(jù)庫。以下七種數(shù)據(jù)導(dǎo)入方法哪個最適用需要針對具體情況具體分析,我也附帶列舉了影響導(dǎo)入速度的各種因素供斟酌。為了比較各種數(shù)據(jù)導(dǎo)入方法的效果,我創(chuàng)建了示例表和數(shù)據(jù)集,并用各種方法導(dǎo)入示例數(shù)據(jù)集來計算總體導(dǎo)入時間和導(dǎo)入進(jìn)程占用 CPU 時間,這里得出的時間僅供參考。需要說明的是,建議你使用 Oracle 9i 企業(yè)版數(shù)據(jù)庫,當(dāng)然你也可以嘗試使用 Oracle 7.3 以上的標(biāo)準(zhǔn)版數(shù)據(jù)庫。本文使用的機(jī)器配置為:CPU Intel P4,內(nèi)存 256M,數(shù)據(jù)庫 Oracle 9i 企業(yè)版
示例表結(jié)構(gòu)和數(shù)據(jù)集
為了演示和比較各種數(shù)據(jù)導(dǎo)入方法,我假定數(shù)據(jù)導(dǎo)入任務(wù)是將外部文件數(shù)據(jù)導(dǎo)入到 Oracle 數(shù)據(jù)庫的CALLS表中,外部數(shù)據(jù)文件包含十萬條呼叫中心記錄,將近 6MB 的文件大小,具體的數(shù)據(jù)示例如下:
82302284384,2003-04-18:13:18:58,5001,投訴,手機(jī)三包維修質(zhì)量82302284385,2003-04-18:13:18:59,3352,咨詢,供水熱線的號碼82302284386,2003-04-18:13:19:01,3142,建議,增設(shè)公交線路
接受導(dǎo)入數(shù)據(jù)的表名是 CALLS,表結(jié)構(gòu)如下:
Name Null? Type Comment ------------ --------- ------------- ----------------- CALL_ID NOT NULL NUMBER Primary key CALL_DATE NOT NULL DATE Non-unique index EMP_ID NOT NULL NUMBER CALL_TYPE NOT NULL VARCHAR2(12) DETAILS VARCHAR2(25)
逐條數(shù)據(jù)插入INSERT
數(shù)據(jù)導(dǎo)入的最簡單方法就是編寫 INSERT 語句,將數(shù)據(jù)逐條插入數(shù)據(jù)庫。這種方法只適合導(dǎo)入少量數(shù)據(jù),如 SQL*Plus 腳本創(chuàng)建某個表的種子數(shù)據(jù)。該方法的最大缺點(diǎn)就是導(dǎo)入速度緩慢,占用了大量的 CPU 處理時間,不適合大批量數(shù)據(jù)的導(dǎo)入;而其主要優(yōu)點(diǎn)就是導(dǎo)入構(gòu)思簡單又有修改完善的彈性,不需要多做其它的準(zhǔn)備就可以使用。如果你有很多時間沒法打發(fā),又想折磨一下數(shù)據(jù)庫和 CPU,那這種方法正適合你。:)
為了與其它方法做比較,現(xiàn)將十萬條記錄通過此方法導(dǎo)入到 CALLS 表中,總共消耗 172 秒,其中導(dǎo)入進(jìn)程占用 CPU 時間為 52 秒。
逐條數(shù)據(jù)插入 INSERT,表暫無索引
為什么上一種方法占用了較多的 CPU 處理時間,關(guān)鍵是 CALLS 表中已創(chuàng)建了索引,當(dāng)一條數(shù)據(jù)插入到表中時,Oracle 需要判別新數(shù)據(jù)與老數(shù)據(jù)在索引方面是否有沖突,同時要更新表中的所有索引,重復(fù)更新索引會消耗一定的時間。因此提高導(dǎo)入速度的好辦法就是在創(chuàng)建表時先不創(chuàng)建索引或者在導(dǎo)入數(shù)據(jù)之前刪除所有索引,在外部文件數(shù)據(jù)逐條插入到表中后再統(tǒng)一創(chuàng)建表的索引。這樣導(dǎo)入速度會提高,同時創(chuàng)建的索引也很緊湊而有效,這一原則同樣適用于位圖索引(Bitmap Index)。對于主要的和唯一的關(guān)鍵約束(key constraints),可以使之先暫時失效(disabling)或者刪除約束來獲得同樣的效果,當(dāng)然這些做法會對已經(jīng)存在的表的外鍵約束產(chǎn)生相關(guān)的影響,在刪除前需要通盤斟酌。
需要說明的是,這種方法在表中已存在很多數(shù)據(jù)的情況下不太合適。例如表中已有九千萬條數(shù)據(jù),而此時需要追加插入一千萬條數(shù)據(jù),實(shí)際導(dǎo)入數(shù)據(jù)節(jié)省的時間將會被重新創(chuàng)建一億條數(shù)據(jù)的索引所消耗殆盡,這是我們不希望得到的結(jié)果。但是,如果要導(dǎo)入數(shù)據(jù)的表是空的或?qū)氲臄?shù)據(jù)量比已有的數(shù)據(jù)量要大得多,那么導(dǎo)入數(shù)據(jù)節(jié)省的時間將會少量用于重新創(chuàng)建索引,這時該方法才可以考慮使用。
加快索引創(chuàng)建是另一個需要考慮的問題。為了減少索引創(chuàng)建中排序的工作時間,可以在當(dāng)前會話中增加 SORT_AREA_SIZE 參數(shù)的大小,該參數(shù)允許當(dāng)前會話在內(nèi)存的索引創(chuàng)建過程中執(zhí)行更多的排序操作。同樣還可以使用 NOLOGGING 關(guān)鍵字來減少因創(chuàng)建索引而生成的 REDO 日志量,NOLOGGING 關(guān)鍵字會對數(shù)據(jù)庫的恢復(fù)和 Standby 備用數(shù)據(jù)庫產(chǎn)生明顯的影響,所以在使用之前要仔細(xì)斟酌,到底是速度優(yōu)先還是穩(wěn)定優(yōu)先。
運(yùn)用這種方法,先刪除 CALLS 表的主鍵和不唯一的索引,然后逐條導(dǎo)入數(shù)據(jù),完成后重新創(chuàng)建索引( 表在導(dǎo)入數(shù)據(jù)前是空的)。該方法總共消耗 130 秒,包括重建索引的時間,其中導(dǎo)入進(jìn)程占用 CPU 時間為 35秒。
這種方法的優(yōu)點(diǎn)是可以加快導(dǎo)入的速度并使索引更加緊湊有效;缺點(diǎn)是缺乏通用性,當(dāng)你對表增加新的復(fù)雜的模式元素(索引、外鍵等)時你需要添加代碼、修改導(dǎo)入執(zhí)行程序。另外針對 7*24 在線要求的數(shù)據(jù)庫在線導(dǎo)入操作時,刪除表的索引會對在線用戶的查詢有很大的性能影響,同時也要考慮,主要或唯一的關(guān)鍵約束條件的刪除或失效可能會影響到引用它們的外鍵的使用。
批量插入,表暫無索引
在Oracle V6 中 OCI 編程接口加入了數(shù)組接口特性。數(shù)組操作允許導(dǎo)入程序讀取外部文件數(shù)據(jù)并解析后,向數(shù)據(jù)庫提交SQL語句,批量插入 SQL 語句檢索出的數(shù)據(jù)。Oracle 僅需要執(zhí)行一次 SQL 語句,然后在內(nèi)存中批量解析提供的數(shù)據(jù)。批量導(dǎo)入操作比逐行插入重復(fù)操作更有效率,這是因?yàn)橹恍枰淮谓馕?SQL 語句,一些數(shù)據(jù)綁訂操作以及程序與數(shù)據(jù)庫之間來回的操作都顯著減少,而且數(shù)據(jù)庫對每一條數(shù)據(jù)的操作都是重復(fù)可知的,這給數(shù)據(jù)庫提供了優(yōu)化執(zhí)行的可能。其優(yōu)點(diǎn)是數(shù)據(jù)導(dǎo)入的總體時間明顯減少,特別是進(jìn)程占用 CPU 的時間。
需要提醒的是,通過 OCI 接口確實(shí)可以執(zhí)行數(shù)據(jù)批量導(dǎo)入操作,但是許多工具和腳本語言卻不支持使用此功能。如果要使用該方法,需要研究你所使用的開發(fā)工具是否支持 OCI 批量操作功能。導(dǎo)入程序需要進(jìn)行復(fù)雜的編碼并可能存在錯誤的風(fēng)險,缺乏一定的彈性。
運(yùn)用上述方法,程序?qū)⑼獠繑?shù)據(jù)提取到內(nèi)存中的數(shù)組里,并執(zhí)行批量插入操作(100行/次),保留了表的刪除/重建索引操作,總的導(dǎo)入時間下降到 14 秒,而進(jìn)程占用 CPU 的時間下降到7秒,可見實(shí)際導(dǎo)入數(shù)據(jù)所花費(fèi)的時間顯著下降了 95%。
CREATE TABLE AS SELECT,使用Oracle9i的External Table
Oracle 9i 的一項(xiàng)新特性就是 External Table,它就象通常的數(shù)據(jù)庫表一樣,擁有字段和數(shù)據(jù)類型約束,并且可以查詢,但是表中的數(shù)據(jù)卻不存儲在數(shù)據(jù)庫中,而是在與數(shù)據(jù)庫相關(guān)聯(lián)的普通外部文件里。當(dāng)你查詢 External Table 時,Oracle 將解析該文件并返回符合條件的數(shù)據(jù),就象該數(shù)據(jù)存儲在數(shù)據(jù)庫表中一樣。
需要注意的是,你可以在查詢語句中將 External Table 與數(shù)據(jù)庫中其他表進(jìn)行連接(Join),但是不能給 External Table 加上索引,并且不能插入/更新/刪除數(shù)據(jù),畢竟它不是真正的數(shù)據(jù)庫表。另外,如果與數(shù)據(jù)庫相關(guān)聯(lián)的外部文件被改變或者被刪除,這會影響到 External Table 返回查詢結(jié)果,所以在變動前要先跟數(shù)據(jù)庫打招呼。
這種方法為導(dǎo)入數(shù)據(jù)打開了新的一扇門。你可以很容易的將外部文件與數(shù)據(jù)庫相關(guān)聯(lián),并且在數(shù)據(jù)庫中創(chuàng)建對應(yīng)的 External Table,然后就可以立即查詢數(shù)據(jù),就象外部數(shù)據(jù)已經(jīng)導(dǎo)入到數(shù)據(jù)庫表中一樣。唯一的不足需要明確,數(shù)據(jù)并未真正導(dǎo)入到數(shù)據(jù)庫中,當(dāng)外部文件被刪除或覆蓋時,數(shù)據(jù)庫將不能訪問 External Table 里的數(shù)據(jù),而且索引沒有被創(chuàng)建,訪問數(shù)據(jù)速度將有所緩慢。創(chuàng)建 CALLS_EXTERNAL(External Table表)如下,使之與外部數(shù)據(jù)文件關(guān)聯(lián):
CREATE TABLE calls_external (call_id NUMBER, call_date DATE, emp_id NUMBER, call_type VARCHAR2(12), details VARCHAR2(25)) ORGANIZATION EXTERNAL (TYPE oracle_loader DEFAULT DIRECTORY extract_files_dir ACCESS PARAMETERS (RECORDS DELIMITED BY NEWLINE FIELDS TERMINATED BY ',' MISSING FIELD VALUES ARE NULL (call_id, call_date CHAR DATE_FORMAT DATE MASK "yyy-mm-dd:hh24:mi:ss", emp_id, call_type, details ) ) LOCATION ('calls.dat') );
然后將 External Table 與真正被使用的表 CALLS 關(guān)聯(lián)同步,刪除 CALLS 表并重建它:
CREATE TABLE calls ( call_id NUMBER NOT NULL, call_date DATE NOT NULL, emp_id NUMBER NOT NULL, call_type VARCHAR2(12) NOT NULL, details VARCHAR2(25) ) TABLESPACE tbs1 NOLOGGING AS SELECT call_id, call_date, emp_id, call_type, details FROM calls_external;
因?yàn)?CALLS 表是真正的數(shù)據(jù)庫表,可以創(chuàng)建索引來加快訪問,表中的數(shù)據(jù)將被保留,即使外部數(shù)據(jù)文件被更新或被刪除。在建表語句中NOLOGGING關(guān)鍵字用于加快索引重建。
運(yùn)用這種方法導(dǎo)入數(shù)據(jù),總的導(dǎo)入時間為 15 秒,進(jìn)程占用 CPU 的時間為8秒,這比前一種方法稍微慢些,但不能就此認(rèn)為使用 External Table 導(dǎo)入數(shù)據(jù)一定比 OCI 批量插入慢。
這種方法的優(yōu)點(diǎn)是,未經(jīng)進(jìn)行大量的編寫代碼就取得了不錯的結(jié)果,不象 OCI 批量插入存在編碼錯誤風(fēng)險,它還可以使用 dbms_job 包調(diào)度數(shù)據(jù)導(dǎo)入進(jìn)程,實(shí)現(xiàn)數(shù)據(jù)導(dǎo)入的自動化。其缺點(diǎn)是目標(biāo)表必須先刪除后重建,如果只需要導(dǎo)入增量數(shù)據(jù)時此方法就不合適了,另外用戶在表的重建過程中訪問數(shù)據(jù)時會遇到 "table or view does not exist" 的錯誤,它僅適用于 Oracle 9i 以上版本的數(shù)據(jù)庫。
INSERT Append as SELECT,使用 Oracle9i 的 External Table
上一種方法演示了如何創(chuàng)建與外部數(shù)據(jù)文件關(guān)聯(lián)的數(shù)據(jù)庫表,其表的數(shù)據(jù)是由外部數(shù)據(jù)文件映射過來。缺點(diǎn)是數(shù)據(jù)庫表需要被先刪除再重建來保持與外部數(shù)據(jù)文件的一致和同步,對導(dǎo)入增量的數(shù)據(jù)而不需要刪除已有數(shù)據(jù)的情況不合適。針對這種需求,Oracle 提供了 INSERT 語句外帶 APPEND 提示來滿足。
INSERT /*+ APPEND */ INTO calls (call_id, call_date, emp_id, call_type, details) SELECT call_id, call_date, emp_id, call_type, details FROM calls_external;
該語句讀取引用外部數(shù)據(jù)文件的 CALLS_EXTERNAL 表中內(nèi)容,并將之增加到表 CALLS 中。Append 提示告訴 Oracle 使用快速機(jī)制來插入數(shù)據(jù),同時可以配合使用表的 NOLOGGING 關(guān)鍵字。
可以預(yù)見這種方法與前一方法消耗了相同的時間,畢竟它們是使用 External Table 特性導(dǎo)入數(shù)據(jù)的不同階段解決方法。如果目標(biāo)表不是空的,那將會消耗稍微長的時間(因?yàn)橐亟ǜL的索引),而前一 CREATE TABLE as SELECT 方法是整體創(chuàng)建索引。
SQL*Loader的強(qiáng)大功能
SQL*Loader 是 Oracle 提供的導(dǎo)入實(shí)用程序,特別針對從外部文件導(dǎo)入大批量數(shù)據(jù)進(jìn)入數(shù)據(jù)庫表。該工具已經(jīng)有多年的歷史,每一次版本升級都使其更加強(qiáng)大、靈活和快捷,但遺憾的是它的語法卻是神秘而不直觀,并且只能從命令行窗口處進(jìn)行調(diào)用。
盡管它有不直觀的缺點(diǎn),但卻是最快最有效的導(dǎo)入數(shù)據(jù)方法。缺省情況下它使用 "conventional path" 常規(guī)選項(xiàng)來批量導(dǎo)入數(shù)據(jù),其性能提高度并不明顯。我建議使用更快速的導(dǎo)入?yún)?shù)選項(xiàng),在命令行添加"direct=true" 選項(xiàng)調(diào)用 "direct path" 導(dǎo)入選項(xiàng)。在 "direct path" 導(dǎo)入實(shí)現(xiàn)中,程序在數(shù)據(jù)庫表的新數(shù)據(jù)塊的 high water mark 處直接寫入導(dǎo)入數(shù)據(jù),縮短了數(shù)據(jù)插入的處理時間,同時優(yōu)化使用了非常有效的B+二叉樹方法來更新表的索引。
運(yùn)用這種方法,如果使用缺省的 conventional path 導(dǎo)入選項(xiàng),總的導(dǎo)入時間是 81 秒,進(jìn)程占用 CPU 時間大約是 12 秒,這包括了更新表的索引時間。如果使用 direct path 導(dǎo)入選項(xiàng),總的導(dǎo)入時間竟是 9 秒,進(jìn)程占用 CPU 時間也僅僅是 3 秒,也包括了更新表的索引時間。
由此可見,盡管表中的索引在數(shù)據(jù)導(dǎo)入之前并沒有被刪除,使用SQL*Loader的direct path 導(dǎo)入選項(xiàng)仍然是快速和有效的。當(dāng)然它也有缺點(diǎn),就像NOLOGGING關(guān)鍵字一樣該方法不生成REDO日志數(shù)據(jù),導(dǎo)入進(jìn)程出錯后將無法恢復(fù)到先前狀態(tài);在數(shù)據(jù)導(dǎo)入過程中表的索引是不起作用的,用戶此時訪問該表時將出現(xiàn)遲緩,當(dāng)然在數(shù)據(jù)導(dǎo)入的過程中最好不要讓用戶訪問表。
分區(qū)交換 (Partition Exchange)
以上討論的數(shù)據(jù)導(dǎo)入方法都有一個限制,就是要求用戶在導(dǎo)入數(shù)據(jù)完成之后才可以訪問數(shù)據(jù)庫表。面對7×24不間斷訪問數(shù)據(jù)庫來說,如果我們只是導(dǎo)入需要增加的數(shù)據(jù)時,這種限制將對用戶的實(shí)時訪問產(chǎn)生影響。Oracle在這方面提供了表分區(qū)功能,它可以減少導(dǎo)入數(shù)據(jù)操作對用戶實(shí)時訪問數(shù)據(jù)的影響,操作模式就象使用可熱插拔的硬盤一樣,只不過這里的硬盤換成了分區(qū)(Partition)而已。需要聲明的是 Partitioning 分區(qū)功能只有在企業(yè)版數(shù)據(jù)庫中才提供。
在一個被分區(qū)過的表中,呈現(xiàn)給用戶的表是多個分區(qū)段(segments)的集合。分區(qū)可以在需要時被添加,在維護(hù)時被卸載或刪除,分區(qū)表可以和數(shù)據(jù)庫中的表交換數(shù)據(jù),只要它們的表結(jié)構(gòu)和字段類型是一致的,交換后的分區(qū)表將擁有與之互動的表的數(shù)據(jù)。需要注意的是,這種交換只是在Oracle數(shù)據(jù)庫的數(shù)據(jù)字典層面上進(jìn)行,并沒有數(shù)據(jù)被實(shí)際移動,所以分區(qū)表交換是極其快速的。
為了創(chuàng)建實(shí)驗(yàn)環(huán)境,先假設(shè)CALLS表是個分區(qū)表,要創(chuàng)建一個空的分區(qū)PART_01012004,用來保存2004年1月1日的呼叫數(shù)據(jù)。然后需要再創(chuàng)建一臨時表為CALLS_TEMP,該表與CALLS表擁有相同的字段和數(shù)據(jù)類型。
我們使用先前介紹的導(dǎo)入方法將十萬條數(shù)據(jù)導(dǎo)入到CALLS_TEMP表中,可以耐心等待數(shù)據(jù)完全導(dǎo)入到CALLS_TEMP表中,并且創(chuàng)建好索引和相關(guān)約束條件,所有這一切操作并不影響用戶實(shí)時訪問CALLS表,因?yàn)槲覀冎粚ALLS_TEMP臨時表進(jìn)行了操作。一旦數(shù)據(jù)導(dǎo)入完成,CALLS_TEMP表就存有2004年1月1日的呼叫數(shù)據(jù)。同時利用CALLS表中名為PART_01012004的空分區(qū),使用如下語句執(zhí)行分區(qū)交換:
ALTER TABLE calls EXCHANGE PARTITION part_01012004 WITH TABLE calls_temp INCLUDING INDEXES WITHOUT VALIDATION;
分區(qū)交換操作將非常快速地只更新CALLS表的數(shù)據(jù)字典,PART_01012004分區(qū)表即刻擁有CALLS_TEMP表的所有數(shù)據(jù),而CALLS_TEMP表變?yōu)榭毡怼<俣–ALLS表使用局部索引而非全局索引,上述語句中的INCLUDING INDEXES將保證分區(qū)交換包括索引的可用性,WITHOUT VALIDATION 指明不檢查交替表中數(shù)據(jù)的匹配,加快了交換的速度。
結(jié)論
以上探討了Oracle數(shù)據(jù)庫的多種數(shù)據(jù)導(dǎo)入方法,每種方法都有其優(yōu)缺點(diǎn)和適用環(huán)境,能夠滿足你不同的導(dǎo)入需求,當(dāng)然你需要在了解了這些方法后,在速度、簡易性、靈活性、可恢復(fù)性和數(shù)據(jù)可用性之間尋求最佳導(dǎo)入方案。
為了對比各種方法的效果,我們創(chuàng)建了一個實(shí)例來展示各種方法的導(dǎo)入效率和效果,從中你可以選擇最適合的方法用于今后的數(shù)據(jù)導(dǎo)入工作。同時請記住,本文并未囊括所有的ORACLE數(shù)據(jù)導(dǎo)入技術(shù)(比如并行數(shù)據(jù)導(dǎo)入技術(shù)),這需要我們繼續(xù)不懈的探索和嘗試。
1:影響最大的是在數(shù)據(jù)庫端家索引。
2:如果數(shù)據(jù)庫字段很多,建議使用Select 字段列表 的方式而不使用Select *
3:請使用TQuery或TADOQuery,并且WHERE語句一定要建立索引,盡量少使用TTable或TADOTable.
4:多使用存儲過程。
網(wǎng)頁標(biāo)題:怎么快速提高oracle,怎么快速提高記憶力
網(wǎng)頁鏈接:http://chinadenli.net/article16/hessgg.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供品牌網(wǎng)站建設(shè)、建站公司、軟件開發(fā)、全網(wǎng)營銷推廣、外貿(mào)建站、Google
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)