計(jì)算機(jī)數(shù)據(jù)管理論文(2)
計(jì)算機(jī)數(shù)據(jù)管理論文篇二
《數(shù)據(jù)倉(cāng)庫(kù)建設(shè)探索與實(shí)踐》
【摘要】由于我行Oracle數(shù)據(jù)庫(kù)的復(fù)雜性和以前建設(shè)倉(cāng)促等原因，數(shù)據(jù)利用率、安全性不高，而且不能很好地滿(mǎn)足業(yè)務(wù)需要，于是我們決定重新搭建分行數(shù)據(jù)倉(cāng)庫(kù)，采用新的平臺(tái)進(jìn)行建設(shè)。
【關(guān)鍵詞】數(shù)據(jù)倉(cāng)庫(kù);建設(shè)
1.前言
我行自業(yè)務(wù)主機(jī)上收總行后，為了滿(mǎn)足分行的本地的報(bào)表查詢(xún)和業(yè)務(wù)開(kāi)展，通過(guò)將總行下發(fā)的數(shù)據(jù)存放在分行的Oracle數(shù)據(jù)庫(kù)中，進(jìn)行2次開(kāi)發(fā)。但由于Oracle數(shù)據(jù)庫(kù)的復(fù)雜性和以前建設(shè)倉(cāng)促等原因，數(shù)據(jù)利用率、安全性不高，而且不能很好地滿(mǎn)足業(yè)務(wù)需要，于是我們決定重新搭建分行數(shù)據(jù)倉(cāng)庫(kù)。
通過(guò)一段時(shí)間的摸索，我們最終決定采用兩臺(tái)SqlServer2008數(shù)據(jù)庫(kù)，一臺(tái)只存儲(chǔ)最新一年數(shù)據(jù)的生產(chǎn)庫(kù)，另一臺(tái)是存儲(chǔ)歷史數(shù)據(jù)的歷史庫(kù)。兩臺(tái)服務(wù)器上的數(shù)據(jù)在生產(chǎn)庫(kù)建立分區(qū)視圖統(tǒng)一對(duì)外暴露出來(lái)，外部幾乎不知道有歷史庫(kù)的存在，卻能夠查詢(xún)所有時(shí)間點(diǎn)的數(shù)據(jù)。以后如果歷史服務(wù)器負(fù)擔(dān)重，我們可以再多添加幾臺(tái)服務(wù)器，把數(shù)據(jù)稀釋到幾臺(tái)服務(wù)器上，這樣可以通過(guò)增加服務(wù)器實(shí)現(xiàn)資源的擴(kuò)展。
2.數(shù)據(jù)倉(cāng)庫(kù)建設(shè)過(guò)程
2.1 搭建生產(chǎn)庫(kù)和歷史庫(kù)服務(wù)器。
3臺(tái)機(jī)器均采用Windows Server 2008R2操作系統(tǒng)，內(nèi)存8-16GB，CPU 2.93GHz*2，數(shù)據(jù)庫(kù)為Microsoft SQL Server2008R2SP2(64位)，兩者是基于微軟同一平臺(tái)開(kāi)發(fā)的產(chǎn)品，配合起來(lái)更能發(fā)揮效果。EDS數(shù)據(jù)庫(kù)因承擔(dān)著大量的數(shù)據(jù)更新操作，使用簡(jiǎn)單恢復(fù)模式，避免產(chǎn)生大量的日志拖慢更新數(shù)據(jù)及占用磁盤(pán)空間。
2.2 制定數(shù)據(jù)歸檔策略，實(shí)現(xiàn)數(shù)據(jù)歸檔功能，實(shí)現(xiàn)分區(qū)視圖重建功能。通過(guò)實(shí)現(xiàn)這兩個(gè)功能來(lái)簡(jiǎn)化維護(hù)操作，其實(shí)即使沒(méi)有，也可以手工維護(hù)。
2.2.1 通過(guò)權(quán)衡和數(shù)據(jù)測(cè)試，確定歷史數(shù)據(jù)以分區(qū)表的形式存儲(chǔ)在歷史數(shù)據(jù)庫(kù)中，按照季度進(jìn)行分區(qū)，流水?dāng)?shù)據(jù)分區(qū)字段為qsrq，時(shí)點(diǎn)數(shù)據(jù)分區(qū)字段為jsrq，數(shù)據(jù)庫(kù)會(huì)自行為數(shù)據(jù)組織存放位置，對(duì)于用戶(hù)而言是透明的，由于數(shù)據(jù)歸檔時(shí)涉及的表多，數(shù)據(jù)多，通過(guò)自動(dòng)歸檔的存儲(chǔ)過(guò)程(可制定歸檔日期)，只要加入到每天的調(diào)度中，就可以在每天晚上自動(dòng)歸檔數(shù)據(jù)(例如每天晚上自動(dòng)歸檔三個(gè)月前的數(shù)據(jù))。經(jīng)過(guò)測(cè)試一旦單表的歸檔記錄數(shù)超過(guò)一千萬(wàn)(可能和系統(tǒng)內(nèi)存有關(guān))，通過(guò)存儲(chǔ)過(guò)程來(lái)歸檔要花費(fèi)超過(guò)半小時(shí)的時(shí)間(存儲(chǔ)過(guò)程不能多線程，2千8百萬(wàn)數(shù)據(jù)用了1個(gè)小時(shí))，考慮到100多張表的歸檔排隊(duì)，時(shí)間會(huì)大大延長(zhǎng)，一般情況下像“歷史資料表”，“科目日記表”，“會(huì)計(jì)分錄表”等表的記錄數(shù)增長(zhǎng)很快，所以每年或每季度的間隔方式做歸檔不太好。目前78張表一個(gè)季度的數(shù)據(jù)大概25G，考慮到新增的48張CBS表，以及其他為加快查詢(xún)而新建的索引等，即使按照每季度歸檔數(shù)據(jù)的方式，生產(chǎn)機(jī)的數(shù)據(jù)容量預(yù)計(jì)可以控制在100G以?xún)?nèi)。
2.2.2 另外在實(shí)踐中每次歸檔的時(shí)候必須根據(jù)qsrq或jsrq重建約束，目前還不能實(shí)現(xiàn)自動(dòng)化，所以放棄了一部分性能，不做分區(qū)視圖，直接使用普通視圖，經(jīng)過(guò)測(cè)試查詢(xún)時(shí)間所受的影響有限(分區(qū)表的優(yōu)勢(shì)抵消了大部分影響)。
2.3 選擇一個(gè)合理的初始時(shí)間點(diǎn)，從EDS備份的文件中依次上傳數(shù)據(jù)到最新日期并持續(xù)上送數(shù)據(jù)，保證數(shù)據(jù)最新。
我們選擇2009-12-04作為起始時(shí)點(diǎn)，將EDS下發(fā)的數(shù)據(jù)上傳到EDS生產(chǎn)數(shù)據(jù)庫(kù)。上傳情況良好，78個(gè)文件的上傳時(shí)間保持在10分鐘左右完成，
2.4 數(shù)據(jù)遷移，將初始時(shí)間點(diǎn)之前的流水表的歷史數(shù)據(jù)遷移到歷史庫(kù)，至此數(shù)據(jù)已全部遷入新的數(shù)據(jù)庫(kù)體系。
2.5 制定數(shù)據(jù)訪問(wèn)規(guī)則，以用戶(hù)為單位做只讀授權(quán)，不論誰(shuí)，要訪問(wèn)業(yè)務(wù)數(shù)據(jù)，必須申請(qǐng)用戶(hù)并指定要訪問(wèn)的數(shù)據(jù)，數(shù)據(jù)庫(kù)管理員增加用戶(hù)(或修改用戶(hù))進(jìn)行授權(quán)訪問(wèn)，不再允許任何其他形式對(duì)EDS數(shù)據(jù)(包括接收的dat文件)的訪問(wèn)(在整改后)，也不允許開(kāi)放諸如sa等特權(quán)用戶(hù)。
創(chuàng)建的用戶(hù)包括數(shù)據(jù)庫(kù)管理員用戶(hù);管理用戶(hù)ids(映射到EDS，HIS，IDS數(shù)據(jù)庫(kù)的public，db_owner角色;用于對(duì)EDS，HIS，IDS三個(gè)庫(kù)的數(shù)據(jù)管理或數(shù)據(jù)維護(hù)，例如增刪存儲(chǔ)過(guò)程，增刪表，視圖，同義詞，訪問(wèn)授權(quán)等);數(shù)據(jù)上傳操作用戶(hù)uploader(映射到EDS數(shù)據(jù)庫(kù)的public，db_owner角色;用于EDS數(shù)據(jù)上傳更新操作，EDS上傳程序?qū)Ｓ?;數(shù)據(jù)讀取角色dbreader(用于外部程序使用，映射到IDS，EDS，HIS數(shù)據(jù)庫(kù)的public角色;對(duì)dbreader用戶(hù)的授權(quán)原則：統(tǒng)一在IDS數(shù)據(jù)庫(kù)下進(jìn)行授權(quán)訪問(wèn)，即只對(duì)dbreader開(kāi)放IDS數(shù)據(jù)庫(kù)的對(duì)象訪問(wèn)權(quán)限，比如表/視圖/同義詞的SELECT權(quán)限，或者存儲(chǔ)過(guò)程和函數(shù)的執(zhí)行權(quán)限，按照最小原則開(kāi)放)。
2.6 對(duì)一些常見(jiàn)的費(fèi)時(shí)查詢(xún)進(jìn)行測(cè)試。
案例一：查詢(xún)綜合業(yè)務(wù)系統(tǒng)中客戶(hù)名包含“三”(like‘%三%’)的所有客戶(hù)的活期存款賬號(hào)，戶(hù)名以及這些賬號(hào)在2010年2月18日時(shí)點(diǎn)余額。
分析：以上查詢(xún)使用到三個(gè)視圖，“客戶(hù)資料表”為生產(chǎn)機(jī)當(dāng)前時(shí)點(diǎn)的客戶(hù)資料數(shù)據(jù)(在視圖中內(nèi)置了條件29991231 between qsrq and jsrq)，“客戶(hù)狀況表”為生產(chǎn)機(jī)當(dāng)前時(shí)點(diǎn)的活期賬號(hào)資料檔(在視圖中內(nèi)置了條件29991231 between qsrq and jsrq)，“客戶(hù)余額表”為活期賬號(hào)余額檔的聯(lián)合視圖(通過(guò)20100218 between qsrq and jsrq這個(gè)條件獲得20100218時(shí)點(diǎn)切片數(shù)據(jù))，可以看到查詢(xún)時(shí)間為10秒，物理讀取0次，這個(gè)結(jié)果還是在沒(méi)有對(duì)客戶(hù)資料檔的CUSNA1做索引的情況下得出的。我們目前在Oracle首先就無(wú)法進(jìn)行時(shí)點(diǎn)切片數(shù)據(jù)查詢(xún)，即無(wú)法查詢(xún)?nèi)我鈺r(shí)點(diǎn)的余額。
案例二：查詢(xún)一戶(hù)通系統(tǒng)客戶(hù)名含有“李”的所有客戶(hù)的一戶(hù)通卡號(hào)，戶(hù)名，賬號(hào)，子賬號(hào)以及20100209當(dāng)日的余額。
分析：通過(guò)三個(gè)聯(lián)合視圖，查找20100 209的時(shí)點(diǎn)切片數(shù)據(jù)進(jìn)行聯(lián)合查詢(xún)，獲得超過(guò)10萬(wàn)條記錄，耗時(shí)17秒，沒(méi)有對(duì)PIFNAM字段建立索引。
案例三：模糊查詢(xún)一戶(hù)通系統(tǒng)證件號(hào)441900%760507023%的客戶(hù)的卡號(hào)，戶(hù)名，賬號(hào)，子賬號(hào)以及20100118當(dāng)日的余額。
分析：同上例，從三個(gè)聯(lián)合視圖進(jìn)行查詢(xún)，得到77條記錄，耗時(shí)7秒，未對(duì)PIFCER字段建立索引。
3.總結(jié)
(1)以上案例使用的是目前較為常見(jiàn)的查詢(xún)，而且都是模糊查詢(xún)，理論上來(lái)說(shuō)應(yīng)該是非常耗時(shí)的，但實(shí)際的測(cè)試表現(xiàn)確實(shí)很優(yōu)秀。
(2)數(shù)據(jù)庫(kù)的瓶頸在于IO讀寫(xiě)。1)內(nèi)存越大，越能避免IO讀寫(xiě)，得到的性能越高;2)Raid陣列使一組物理磁盤(pán)的讀寫(xiě)條帶化，提高了IO讀寫(xiě)效率;3)分區(qū)表使數(shù)據(jù)庫(kù)能夠快速屏蔽掉不需要的數(shù)據(jù)，并在多個(gè)分區(qū)進(jìn)行并行查詢(xún)加快速度。以上案例的表現(xiàn)已超出我的預(yù)期。
當(dāng)中運(yùn)用的一些方法參考了現(xiàn)有的考核系統(tǒng)，提高了效率，只要EDS有數(shù)，就可以很方便的通過(guò)添加函數(shù)和存儲(chǔ)過(guò)程來(lái)進(jìn)行加工，生成需要的數(shù)據(jù)或報(bào)表，使得對(duì)數(shù)據(jù)的分析和查詢(xún)更為方便快捷。下一步我們將對(duì)現(xiàn)有應(yīng)用系統(tǒng)進(jìn)行改造，逐步將原來(lái)建立在Oracle數(shù)據(jù)庫(kù)中的應(yīng)用遷移到這個(gè)新的平臺(tái)上去。
看過(guò)“計(jì)算機(jī)數(shù)據(jù)管理論文”的人還看了：
1.關(guān)于計(jì)算機(jī)數(shù)據(jù)管理論文
2.計(jì)算機(jī)數(shù)據(jù)庫(kù)管理論文