數(shù)據(jù)倉(cāng)庫的前世今生

時(shí)間：2021-02-25 13:26:28

關(guān)鍵字：數(shù)據(jù)倉(cāng)庫文件系統(tǒng) DBMS

手機(jī)看文章

掃描二維碼
隨時(shí)隨地手機(jī)看文章

[導(dǎo)讀]數(shù)據(jù)倉(cāng)庫的起源可以追溯到計(jì)算機(jī)的發(fā)展初期，并且數(shù)據(jù)倉(cāng)庫是信息技術(shù)長(zhǎng)期發(fā)展的產(chǎn)物，在以后也會(huì)一直發(fā)展。

數(shù)據(jù)倉(cāng)庫的起源可以追溯到計(jì)算機(jī)的發(fā)展初期，并且數(shù)據(jù)倉(cāng)庫是信息技術(shù)長(zhǎng)期發(fā)展的產(chǎn)物，在以后也會(huì)一直發(fā)展。

一、文件系統(tǒng)

20世紀(jì)60年代初期，計(jì)算機(jī)領(lǐng)域的主要工作是創(chuàng)建運(yùn)行在主文件上的單個(gè)應(yīng)用。這些應(yīng)用是以報(bào)表處理和程序?yàn)樘卣鞯?，一般是以某種早期的程序設(shè)計(jì)語言如Fortran或COBOL編寫的。主文件存儲(chǔ)在廉價(jià)的磁帶上面，其缺點(diǎn)是只能順序訪問。比如我們想得到磁帶上第20分鐘處的數(shù)據(jù)，那時(shí)必須順序訪問完前面的19分鐘。磁帶在提供廉價(jià)存儲(chǔ)的同時(shí)，也帶來了數(shù)據(jù)的大量冗余。20世紀(jì)60年代中期，大量的主文件帶來了諸多問題，如：

更新數(shù)據(jù)時(shí)需要保持?jǐn)?shù)據(jù)的一致性。
程序維護(hù)的復(fù)雜性。
開發(fā)新程序的復(fù)雜性。
支持所有主文件需要增加大量的硬件。2 0世紀(jì)60年代 - General Mills 和 Dartmouth College 在一個(gè)聯(lián)合研究項(xiàng)目中，制定了術(shù)語維度（dimensio ns）和事實(shí)（facts）。

二、DASD和DBMS的出現(xiàn)

到了1970年，出現(xiàn)了一種新的存儲(chǔ)和訪問技術(shù)，也就是磁盤存儲(chǔ)器，或者稱之為直接存取存儲(chǔ)設(shè)備（Direct Access Storage Device，DASD）。磁盤存儲(chǔ)與磁帶存儲(chǔ)的根本不同在于磁盤上的數(shù)據(jù)能夠直接訪問。DASD要訪問第n+1條記錄，不再需要順序訪問第1、2、3......n條記錄，而是一旦知道了第n+1條記錄的地址，就可以直接訪問它。

隨著DASD的發(fā)展，出現(xiàn)了一種稱為數(shù)據(jù)庫管理系統(tǒng)（Database Management System，DBMS）的新型系統(tǒng)軟件。這種新型軟件目的是使程序員可以方便的在DASD上面進(jìn)行存儲(chǔ)和訪問。伴隨著DBMS，出現(xiàn)了“數(shù)據(jù)庫”的概念。

1975年 - Sperry Univac推出MAPPER（MAintain，Prepare，Produce Executive Reports），這是一個(gè)數(shù)據(jù)庫管理和報(bào)告系統(tǒng)，其中包括世界上第一個(gè)第一個(gè)專為建設(shè)信息中心而設(shè)計(jì)的平臺(tái)4GL（當(dāng)代數(shù)據(jù)倉(cāng)庫技術(shù)的先驅(qū)）

三、數(shù)據(jù)倉(cāng)庫之父的出現(xiàn)

到了20世紀(jì)80年代，涌現(xiàn)了一些更為新穎的技術(shù)，比如個(gè)人計(jì)算機(jī)（PC）和第四代編程語言（Fourth-Generation Language,4GL）。隨著PC和4GL的發(fā)展，除了高性能的在線事務(wù)處理之外，人們可以利用數(shù)據(jù)做更多的事情，比如早期的管理信息系統(tǒng)（Management InformationSystem，MIS），如今這種技術(shù)成為DSS。

數(shù)據(jù)倉(cāng)庫的前世今生

1990年 - 由Ralph Kimball創(chuàng)立的Red Brick Systems推出了Red Brick Warehouse，這是一個(gè)專門用于數(shù)據(jù)倉(cāng)庫的數(shù)據(jù)庫管理系統(tǒng)。

數(shù)據(jù)倉(cāng)庫的前世今生

四、多個(gè)單獨(dú)數(shù)據(jù)庫

隨著大型在線事務(wù)處理系統(tǒng)問世不久，出現(xiàn)了數(shù)據(jù)抽取技術(shù)，可以實(shí)現(xiàn)把想要的數(shù)據(jù)從在線事務(wù)處理系統(tǒng)中分離出來，這樣就可以解決數(shù)據(jù)分析性能方面的問題；抽取出來的數(shù)據(jù)，給人們?cè)谑褂脭?shù)據(jù)方面帶來了極大的靈活性，我們可以使用這些數(shù)據(jù)做各種分析。

起初，只是對(duì)在線事務(wù)處理系統(tǒng)中的數(shù)據(jù)進(jìn)行抽取。慢慢的人們發(fā)現(xiàn)在抽取結(jié)果中，加上一些條件限制可以更方便的得到想要的數(shù)據(jù)。但此時(shí)的“數(shù)據(jù)倉(cāng)庫”是多個(gè)單獨(dú)的數(shù)據(jù)庫，在使用過程中慢慢出現(xiàn)了如下問題：

數(shù)據(jù)時(shí)間不統(tǒng)一
抽取程序的差異
外部數(shù)據(jù)加載問題
無公共起始數(shù)據(jù)源

以上問題就會(huì)有可能導(dǎo)致，不同部門抽取數(shù)據(jù)的差異，從而到時(shí)分析結(jié)果的不同。

數(shù)據(jù)倉(cāng)庫的前世今生

五、數(shù)據(jù)倉(cāng)庫

當(dāng)人們意識(shí)到無休止的抽取帶來諸多問題后，開始思考是否可以建立成體系的機(jī)構(gòu)化環(huán)境，以減少數(shù)據(jù)的差異，這也就是數(shù)據(jù)倉(cāng)庫出現(xiàn)的原因。數(shù)據(jù)倉(cāng)庫從操作型數(shù)據(jù)庫中抽取數(shù)據(jù)，通過規(guī)范的加工過程，得到粒度化數(shù)據(jù)，并且這些數(shù)據(jù)時(shí)面向主題、集成、不易失、隨時(shí)間變化的數(shù)據(jù)。在數(shù)據(jù)倉(cāng)庫的基礎(chǔ)上，可以建立不同分析角度的BI報(bào)表系統(tǒng)。

隨著大數(shù)據(jù)的出現(xiàn)，阿里大數(shù)據(jù)技術(shù)人的宣傳，加上出版的一些書籍（大數(shù)據(jù)之路）對(duì)此數(shù)據(jù)倉(cāng)庫的傳播都有著巨大的推動(dòng)。

數(shù)據(jù)倉(cāng)庫的前世今生

免責(zé)聲明：本文內(nèi)容由21ic獲得授權(quán)后發(fā)布，版權(quán)歸原作者所有，本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。文章僅代表作者個(gè)人觀點(diǎn)，不代表本平臺(tái)立場(chǎng)，如有問題，請(qǐng)聯(lián)系我們，謝謝！