Linux 網(wǎng)絡(luò)文件系統(tǒng)的數(shù)據(jù)備份及恢復(fù)機制實現(xiàn)
Linux 網(wǎng)絡(luò)文件系統(tǒng)簡介
網(wǎng)絡(luò)文件系統(tǒng)(NFS)協(xié)議是由 Sun MicroSystem 公司在 20 世紀(jì) 80 年代為了提供對共享文件的遠程訪問而設(shè)計和實現(xiàn)的，它采用了經(jīng)典的客戶機/服務(wù)器模式提供服務(wù)。為了達到如同 NFS 協(xié)議通過使用 Sun 公司開發(fā)的遠在本機上使用本地文件系統(tǒng)一樣便捷的效果，NFS 通過使用遠程過程調(diào)用協(xié)議(RPC Protocol)來實現(xiàn)運行在一臺計算機上的程序來調(diào)用在另一臺遠程機器上運行的子程序。同時，為了解決不同平臺上的數(shù)據(jù)交互問題，它提供了外部數(shù)據(jù)表示(XDR)來解決這個問題。為了靈活地提供文件共享服務(wù)，該協(xié)議可以在 TCP 協(xié)議或者是 UDP 協(xié)議上運行，典型的情況是在 UDP 協(xié)議上運行。在此基礎(chǔ)上，NFS 在數(shù)據(jù)的傳送過程中需要 RPC 命令得到確認，而且在需要的時候會要重傳，這樣既可以通過 UDP 協(xié)議獲得較高的通信效率，也能通過 RPC 來獲得較高的通信可靠性。
由于 NFS 基于 C/S 模式提供服務(wù)，所以它的核心組件主要包括客戶機和服務(wù)器兩部分。圖 1 詳細說明了 NFS 的主要組件以及主要的配置文件。在服務(wù)器端，portmap、mountd、nfsd 三個監(jiān)控程序?qū)⒃诤笈_運行。portmap 監(jiān)控程序用來注冊基于 RPC 的服務(wù)。當(dāng)一個 RPC 的監(jiān)控程序啟動的時候，它告訴 portmap 監(jiān)控程序它在哪一個端口進行偵聽，并且它在進行什么樣的 RPC 服務(wù)。當(dāng)一個客戶機向服務(wù)器提出一個 RPC 請求，那么它就會和 portmap 監(jiān)控程序取得聯(lián)系以確定 RPC 消息應(yīng)該發(fā)往的端口號。而 Mountd 監(jiān)控程序的功能是來讀取服務(wù)器端的/etc/exportfs 文件并且創(chuàng)建一個將服務(wù)器的本地文件系統(tǒng)導(dǎo)出的主機和網(wǎng)絡(luò)列表，因而客戶機的掛接(mount)請求都被定位到 mountd 監(jiān)控程序(daemon)。當(dāng)驗證了服務(wù)器確實具有掛接所請求的文件系統(tǒng)的權(quán)限以后，mountd 為請求的掛接點返回一個文件句柄。而 nfsd 監(jiān)控程序則被服務(wù)器用來處理客戶機端發(fā)送過來的請求。由于服務(wù)器需要同時處理多個客戶機的請求，所以在缺省情況下，操作系統(tǒng)將會自動啟動八個 nfsd 線程。當(dāng)然，如果 NFS 服務(wù)器特別忙的時候，系統(tǒng)有可能根據(jù)實際情況啟動更多的線程。
圖 1 網(wǎng)絡(luò)文件系統(tǒng)簡圖
NFS 的客戶機與服務(wù)器之間通過 RPC 進行通信，通信過程如下所示：
用戶將 NFS 服務(wù)器的共享目錄掛載到本地文件系統(tǒng)中。
客戶訪問 NFS 目錄中的文件時，NFS 客戶端向 NFS 服務(wù)器端發(fā)送 RPC 請求。
NFS 服務(wù)端接收客戶端發(fā)來的 RPC 請求，并將這個請求傳遞給本地文件訪問程序，然后訪問服務(wù)器主機上的一個本地的磁盤文件。NFS 服務(wù)器可以同時接收多個 NFS 客戶端的請求，并對其進行并發(fā)控制。
NFS 客戶端向服務(wù)器主機發(fā)出一個 RPC 調(diào)用，然后等待服務(wù)器的應(yīng)答。NFS 客戶端收到服務(wù)器的應(yīng)答后，把結(jié)果信息展現(xiàn)給用戶或應(yīng)用程序。
NFS 下的數(shù)據(jù)備份、恢復(fù)的主要功能
對數(shù)據(jù)進行備份與恢復(fù)是保證數(shù)據(jù)安全和業(yè)務(wù)連續(xù)性的非常成熟的做法。在 Linux 下的本地文件系統(tǒng)(例如 Ext2、Ext3 等)中，數(shù)據(jù)備份和恢復(fù)一般采用常規(guī)的辦法來進行操作，例如使用 Tar、Archive 等。而對于 NFS 來說，其數(shù)據(jù)備份需要采用量身定制的方法來進行。
為了保證數(shù)據(jù)在災(zāi)難環(huán)境中的可用性和業(yè)務(wù)連續(xù)性，針對它的數(shù)據(jù)備份、恢復(fù)方案應(yīng)具備如下重要功能：
通過對系統(tǒng)重要數(shù)據(jù)的快速備份，切實保證系統(tǒng)數(shù)據(jù)的安全;
可以根據(jù)指令完成備份系統(tǒng)的實時切入，保證服務(wù)不被中斷，保持系統(tǒng)持續(xù)運行的能力;
通過實時記錄所有文件的操作日志，系統(tǒng)管理員能夠在發(fā)生災(zāi)難的情況下對日志進行分析和取證，從而發(fā)現(xiàn)入侵者的蛛絲馬跡。
NFS 多版本備份技術(shù)
為了保證服務(wù)器出現(xiàn)故障后能迅速恢復(fù)，要求系統(tǒng)數(shù)據(jù)能快速恢復(fù)到一個最近的正確狀態(tài)，所有這些都需要多版本技術(shù)的支持，通過同步記錄文件的在某些時刻的狀態(tài)，在整個系統(tǒng)范圍內(nèi)建立起類似于數(shù)據(jù)庫系統(tǒng)的”檢查點”，以保證上述目標(biāo)的實現(xiàn)。
對于多版本系統(tǒng)而言，需要較好地解決兩個方面的問題：性能和空間利用率。對于前者，最主要的是保證在生成版本的時候能夠快速完成，同時恢復(fù)時也具有較好的性能。此外，系統(tǒng)引入多版本造成的整體開銷也應(yīng)該比較理想。對于第二點，主要考慮是節(jié)約磁盤空間，雖然隨著硬件技術(shù)的不斷發(fā)展，磁盤空間越來越大，性價比也越來越高，但是當(dāng)版本較多而且文件數(shù)量較多、較大時，引入多版本增加的開銷也可能相當(dāng)可觀，同時，較大的空間也意味著版本生成時可能需要更多的寫操作，這樣也必將影響總體性能。
為了保證引入多版本特性后文件系統(tǒng)仍具有較好的性能，以及保證較高的空間利用率，我們開發(fā)了一種高效的惰性版本生成算法。主要思想是：生成版本時不進行文件的復(fù)制，僅復(fù)制目錄結(jié)構(gòu)，在新版本生成后到下一版本生成前，如果有文件需要修改，則第一次修改時對該文件進行復(fù)制，從而保證該文件狀態(tài)與對應(yīng)的版本保持一致。
在一般情況下，目錄結(jié)構(gòu)的數(shù)據(jù)量遠遠小于文件的數(shù)據(jù)量，因而這種方法可以大大降低版本生成時需要復(fù)制的數(shù)據(jù)量，因而具有較高的性能。同時，這種把單個文件版本生成的實際操作推后到非做不可的時候，并且任意文件在兩次版本之間最多生成一次版本，因此這種惰性策略可以使需要實際生成版本的文件數(shù)量達到最少，同時還可以把多個文件版本生成操作分散到具體的文件操作中，從而避免了集中的一次性版本生成方法可能造成的服務(wù)暫時停頓的問題。
版本生成后的結(jié)構(gòu)如圖 2 所示。
圖 2 多版本生成示意圖
具體算法包括兩個部分，即版本生成算法和文件第一次修改處理算法，版本生成算法主要完成版本生成工作，主要過程如下：
找到需要形成版本的最高層目錄作為原目錄;
利用文件系統(tǒng)提供的函數(shù)，生成新的目錄節(jié)點，稱為新目錄;[!--empirenews.page--]
把原目錄中的結(jié)構(gòu)復(fù)制到新目錄;
在原目錄中找到所有的子目錄，重復(fù) 2、3 步;
把新的子目錄對應(yīng)的 inode 號替換上一層目錄中的老 inode 號;
重復(fù)上述過程，及到目錄樹中的所有目錄得到復(fù)制為止。
在上述策略中，新版本并沒有復(fù)制所有的文件，只是在復(fù)制的目錄結(jié)構(gòu)中記錄下了該文件的 inode 號(即復(fù)制了目錄的結(jié)構(gòu)，而不是把文件都進行復(fù)制，從而節(jié)省了存儲和計算資源)，因此，當(dāng)有 NFS 請求需要對文件進行版本生成后的第一次修改時，需要復(fù)制該文件，生成新的版本。該實現(xiàn)過程參見如下流程圖：
圖 3 寫時復(fù)制算法示意圖
這種文件復(fù)制策略其實是一種惰性算法，也即我們常說的寫時復(fù)制的方法，這個方法在 Linux 操作系統(tǒng)的子進程對父進程資源的繼承中有所體現(xiàn)。這個策略一方面可以最大限度減少復(fù)制文件的數(shù)量，另一方面則可以避免瞬間過大的文件復(fù)制工作量，影響文件服務(wù)的性能。該算法的過程如下：當(dāng)文件操作為寫操作時，判斷該文件是否版本生成后的第一次寫操作;若是則利用文件系統(tǒng)提供的底層函數(shù)生成一個新的文件，復(fù)制源文件的數(shù)據(jù)到新生成的文件，同時把該文件當(dāng)前版本的 inode 節(jié)點中的版本號置為當(dāng)前版本號，這樣新文件就成為該文件的最新版本。
雖然我們采用的算法可以有較好的性能，存儲開銷也是最優(yōu)，但是，每次版本生成肯定會造成服務(wù)性能的下降和空間的占用，而這些代價在一個比較安全可靠的環(huán)境中是可以適當(dāng)降低的，即當(dāng)系統(tǒng)比較安全的時候，可以選擇讓系統(tǒng)以更低的頻率進行版本生成，相反，當(dāng)系統(tǒng)安全狀況比較糟糕的時候，可以通過提高版本生成頻率適當(dāng)降低服務(wù)性能來獲得更高的數(shù)據(jù)安全性能，當(dāng)系統(tǒng)處于緊急狀態(tài)時，甚至可以要求立即進行版本生成。
基于這些考慮，我們采用了自適應(yīng)的備份策略，災(zāi)情評估系統(tǒng)可以動態(tài)評估系統(tǒng)的災(zāi)情程度，然后可以立即修改版本生成策略，以適應(yīng)當(dāng)時的安全要求。
NFS 數(shù)據(jù)恢復(fù)技術(shù)
企業(yè)應(yīng)用 NFS 的一個重要目標(biāo)就是要保證系統(tǒng)的高可用性，即使在出現(xiàn)嚴(yán)重災(zāi)難、故障、攻擊等情況下能具有較好的生存能力。因此，當(dāng)一個系統(tǒng)出現(xiàn)故障時，如何快速地恢復(fù)系統(tǒng)，迅速投入到服務(wù)備份中去是相當(dāng)重要的，所以，對于文件系統(tǒng)數(shù)據(jù)的恢復(fù)而言，也需要專門的考慮和設(shè)計。
本方案被配置成多個站點互為備份的情況，即平時只有一個主站點在服務(wù)，其他站點處于同步備份狀態(tài)，當(dāng)某個站點出現(xiàn)故障或災(zāi)難時，或者是被非法入侵者攻破時，系統(tǒng)可以立即分配新的主站點把被破壞的站點替換下來，進入恢復(fù)狀態(tài)，其他正常的站點仍可提供正常的服務(wù)。
當(dāng)然，也存在所有站點均出現(xiàn)故障的情況，但是由于我們采用了多種措施，如動態(tài)隨機遷移、災(zāi)情評估與響應(yīng)策略等，再配合傳統(tǒng)的防火墻、IDS 等安全系統(tǒng)，可以極大限度地減少這種幾率。因此，我們的數(shù)據(jù)恢復(fù)問題主要考慮上述這種情形，即個別服務(wù)器出現(xiàn)故障退出服務(wù)而其他系統(tǒng)依然正常的情況。
首先，我們來分析一下系統(tǒng)退出后數(shù)據(jù)的情形，主要涉及到退出的服務(wù)器和正常的主服務(wù)器與備份服務(wù)器，如圖 4 所示：
圖 4 一個系統(tǒng)退出后數(shù)據(jù)狀態(tài)示意圖
在上圖中，退出服務(wù)器最后生成的版本號為 i，系統(tǒng)退出后，一方面主文件服務(wù)器會察覺到同步數(shù)據(jù)無法從退出服務(wù)器返回結(jié)果，這樣的話它就會重發(fā)同步請求，經(jīng)過 3 次重發(fā)后，如果依然沒有返回信息，則認為該服務(wù)器退出服務(wù)，因此會把同步數(shù)據(jù)備份到磁盤文件中，并記錄下該服務(wù)器在同步數(shù)據(jù)文件中的起始位置，這當(dāng)由多個文件服務(wù)器退出時可以分別識別出來。由于退出系統(tǒng)無法繼續(xù)保持同步，因此其狀態(tài)會與工作的文件服務(wù)器不一致，具體表現(xiàn)在以下幾個方面：
當(dāng)退出時間很短時，數(shù)據(jù)不一致僅存在于緩沖區(qū)中，這時如果退出服務(wù)器能立即重新投入使用，則不需要進行額外的數(shù)據(jù)恢復(fù)，數(shù)據(jù)同步可以通過主服務(wù)器同步請求的重試來達到。
當(dāng)主服務(wù)器確認退出服務(wù)器退出后，會把未同步的數(shù)據(jù)寫入特定的同步數(shù)據(jù)文件中，這時的不一致性包括了緩沖區(qū)中的數(shù)據(jù)和同步數(shù)據(jù)文件中的數(shù)據(jù)，這時的數(shù)據(jù)恢復(fù)需要做兩方面的工作：
把同步數(shù)據(jù)文件中的正確數(shù)據(jù)一次性發(fā)送給退出服務(wù)器，退出服務(wù)器把它寫入本地的同步數(shù)據(jù)文件;
建立本地的緩沖區(qū)，建立起同步機制，接收同步數(shù)據(jù)，同時啟動數(shù)據(jù)同步進程，先同步數(shù)據(jù)文件中的數(shù)據(jù)，當(dāng)緩沖區(qū)數(shù)據(jù)因沒有處理而達到一定程度時，會自動把部分?jǐn)?shù)據(jù)追加到同步數(shù)據(jù)文件的后面，這時，退出服務(wù)器已經(jīng)恢復(fù)了正常工作，實際上也不需要過多的數(shù)據(jù)恢復(fù)工作。
由于主文件服務(wù)器一般需要處理文件的讀寫請求，寫請求僅占一部分，需要同步而執(zhí)行的操作造成的負載要小于主服務(wù)器，因此可能在較短的時間內(nèi)完成同步。當(dāng)需要退出服務(wù)器(此時已經(jīng)進入同步階段)成為主服務(wù)器時，則必須等所有同步數(shù)據(jù)同步完成后才能開始服務(wù)。
如果退出服務(wù)器是因為較嚴(yán)重的故障或災(zāi)難而退出的，則可能需要較長時間的處理，如更換硬件、系統(tǒng)重啟、甚至重裝系統(tǒng)等，這時就可能出現(xiàn)一些困難的情況，一種是如上圖所示的，工作正常的系統(tǒng)已經(jīng)生成了新的版本，如服務(wù)器退出時的最新版本是 i，經(jīng)過一段時間后，正常系統(tǒng)生成了新的版本，這時主系統(tǒng)會清空同步數(shù)據(jù)文件，重新從版本生成后進行記錄。對于這種情況，可以有兩種處理辦法：
基于本地版本的快速恢復(fù)：當(dāng)退出文件服務(wù)器本地至少存在一個版本與其他正常機器上的版本相同時，可以采用這種恢復(fù)策略。具體而言，先確定一個最新的正確版本，用本地版本恢復(fù)，這一過程非常簡單快捷，僅涉及到兩次 inode 的修改;然后選擇一臺正常服務(wù)器，請求它生成一個正常系統(tǒng)上最新版本與恢復(fù)版本的增量升級數(shù)據(jù)，這樣的數(shù)據(jù)量不會很大，而且不需要象基于操作的同步那樣逐步進行，同步效率非常高，因此可以大大提高恢復(fù)速度。同步到正常系統(tǒng)的最新版本后，然后就按照上述第 2 條的情況進行同步數(shù)據(jù)文件的同步。[!--empirenews.page--]
基于分布版本的快速恢復(fù)：當(dāng)停頓時間太長而不存在一個相同的版本，或文件服務(wù)器數(shù)據(jù)出現(xiàn)損壞(如磁盤故障造成數(shù)據(jù)損毀)時，需要采用此種方法。具體辦法如下：直接把正常服務(wù)器上的最新版本傳送到退出服務(wù)器，然后按照上述的第 2 種情況進行同步數(shù)據(jù)文件的同步。
正如上面所述，全部服務(wù)器均出現(xiàn)問題的概率是很小的，但是，不能簡單的排除這種情況的出現(xiàn)，特別是本方案采用數(shù)據(jù)同步機制，即多個站點的數(shù)據(jù)是保持快速同步的，這雖然能保證動態(tài)遷移的順利完成，但是也帶來較大的風(fēng)險，就是會出現(xiàn)數(shù)據(jù)”污染”的自動傳播，當(dāng)主文件服務(wù)器中的文件數(shù)據(jù)因為某些原因(主要是對文件的非法訪問)造成數(shù)據(jù)非法修改時，會立即傳播到其他備份節(jié)點，這樣的話，不管服務(wù)遷移到哪臺機器均會出現(xiàn)錯誤。
針對這種情況，我們采取了以下措施：當(dāng)發(fā)現(xiàn)非法修改造成數(shù)據(jù)污染時，系統(tǒng)可以自動命令各站點恢復(fù)到指定的版本，如前一版本(可以由管理員配置成前一、二、三個版本);管理員也可以干預(yù)這一過程，強制各站點恢復(fù)到同一指定的版本，從而保證全局文件系統(tǒng)使用同一正確版本。
NFS 文件細粒度恢復(fù)技術(shù)
在傳統(tǒng)恢復(fù)技術(shù)中，一方面由于數(shù)據(jù)備份不是實時進行的，當(dāng)出現(xiàn)事故需要恢復(fù)時，最新的備份數(shù)據(jù)與最新數(shù)據(jù)之間存在一個時間差，這樣就造成了該時間段內(nèi)數(shù)據(jù)的丟失(見圖 5);同時，傳統(tǒng)的數(shù)據(jù)備份是一定時間段后數(shù)據(jù)的增量備份，是一段時間內(nèi)所有文
Linux 網(wǎng)絡(luò)文件系統(tǒng)簡介
網(wǎng)絡(luò)文件系統(tǒng)(NFS)協(xié)議是由 Sun MicroSystem 公司在 20 世紀(jì) 80 年代為了提供對共享文件的遠程訪問而設(shè)計和實現(xiàn)的，它采用了經(jīng)典的客戶機/服務(wù)器模式提供服務(wù)。為了達到如同 NFS 協(xié)議通過使用 Sun 公司開發(fā)的遠在本機上使用本地文件系統(tǒng)一樣便捷的效果，NFS 通過使用遠程過程調(diào)用協(xié)議(RPC Protocol)來實現(xiàn)運行在一臺計算機上的程序來調(diào)用在另一臺遠程機器上運行的子程序。同時，為了解決不同平臺上的數(shù)據(jù)交互問題，它提供了外部數(shù)據(jù)表示(XDR)來解決這個問題。為了靈活地提供文件共享服務(wù)，該協(xié)議可以在 TCP 協(xié)議或者是 UDP 協(xié)議上運行，典型的情況是在 UDP 協(xié)議上運行。在此基礎(chǔ)上，NFS 在數(shù)據(jù)的傳送過程中需要 RPC 命令得到確認，而且在需要的時候會要重傳，這樣既可以通過 UDP 協(xié)議獲得較高的通信效率，也能通過 RPC 來獲得較高的通信可靠性。
由于 NFS 基于 C/S 模式提供服務(wù)，所以它的核心組件主要包括客戶機和服務(wù)器兩部分。圖 1 詳細說明了 NFS 的主要組件以及主要的配置文件。在服務(wù)器端，portmap、mountd、nfsd 三個監(jiān)控程序?qū)⒃诤笈_運行。portmap 監(jiān)控程序用來注冊基于 RPC 的服務(wù)。當(dāng)一個 RPC 的監(jiān)控程序啟動的時候，它告訴 portmap 監(jiān)控程序它在哪一個端口進行偵聽，并且它在進行什么樣的 RPC 服務(wù)。當(dāng)一個客戶機向服務(wù)器提出一個 RPC 請求，那么它就會和 portmap 監(jiān)控程序取得聯(lián)系以確定 RPC 消息應(yīng)該發(fā)往的端口號。而 Mountd 監(jiān)控程序的功能是來讀取服務(wù)器端的/etc/exportfs 文件并且創(chuàng)建一個將服務(wù)器的本地文件系統(tǒng)導(dǎo)出的主機和網(wǎng)絡(luò)列表，因而客戶機的掛接(mount)請求都被定位到 mountd 監(jiān)控程序(daemon)。當(dāng)驗證了服務(wù)器確實具有掛接所請求的文件系統(tǒng)的權(quán)限以后，mountd 為請求的掛接點返回一個文件句柄。而 nfsd 監(jiān)控程序則被服務(wù)器用來處理客戶機端發(fā)送過來的請求。由于服務(wù)器需要同時處理多個客戶機的請求，所以在缺省情況下，操作系統(tǒng)將會自動啟動八個 nfsd 線程。當(dāng)然，如果 NFS 服務(wù)器特別忙的時候，系統(tǒng)有可能根據(jù)實際情況啟動更多的線程。
圖 1 網(wǎng)絡(luò)文件系統(tǒng)簡圖
NFS 的客戶機與服務(wù)器之間通過 RPC 進行通信，通信過程如下所示：
用戶將 NFS 服務(wù)器的共享目錄掛載到本地文件系統(tǒng)中。
客戶訪問 NFS 目錄中的文件時，NFS 客戶端向 NFS 服務(wù)器端發(fā)送 RPC 請求。
NFS 服務(wù)端接收客戶端發(fā)來的 RPC 請求，并將這個請求傳遞給本地文件訪問程序，然后訪問服務(wù)器主機上的一個本地的磁盤文件。NFS 服務(wù)器可以同時接收多個 NFS 客戶端的請求，并對其進行并發(fā)控制。
NFS 客戶端向服務(wù)器主機發(fā)出一個 RPC 調(diào)用，然后等待服務(wù)器的應(yīng)答。NFS 客戶端收到服務(wù)器的應(yīng)答后，把結(jié)果信息展現(xiàn)給用戶或應(yīng)用程序。
NFS 下的數(shù)據(jù)備份、恢復(fù)的主要功能
對數(shù)據(jù)進行備份與恢復(fù)是保證數(shù)據(jù)安全和業(yè)務(wù)連續(xù)性的非常成熟的做法。在 Linux 下的本地文件系統(tǒng)(例如 Ext2、Ext3 等)中，數(shù)據(jù)備份和恢復(fù)一般采用常規(guī)的辦法來進行操作，例如使用 Tar、Archive 等。而對于 NFS 來說，其數(shù)據(jù)備份需要采用量身定制的方法來進行。
為了保證數(shù)據(jù)在災(zāi)難環(huán)境中的可用性和業(yè)務(wù)連續(xù)性，針對它的數(shù)據(jù)備份、恢復(fù)方案應(yīng)具備如下重要功能：
通過對系統(tǒng)重要數(shù)據(jù)的快速備份，切實保證系統(tǒng)數(shù)據(jù)的安全;
可以根據(jù)指令完成備份系統(tǒng)的實時切入，保證服務(wù)不被中斷，保持系統(tǒng)持續(xù)運行的能力;
通過實時記錄所有文件的操作日志，系統(tǒng)管理員能夠在發(fā)生災(zāi)難的情況下對日志進行分析和取證，從而發(fā)現(xiàn)入侵者的蛛絲馬跡。
NFS 多版本備份技術(shù)
為了保證服務(wù)器出現(xiàn)故障后能迅速恢復(fù)，要求系統(tǒng)數(shù)據(jù)能快速恢復(fù)到一個最近的正確狀態(tài)，所有這些都需要多版本技術(shù)的支持，通過同步記錄文件的在某些時刻的狀態(tài)，在整個系統(tǒng)范圍內(nèi)建立起類似于數(shù)據(jù)庫系統(tǒng)的”檢查點”，以保證上述目標(biāo)的實現(xiàn)。
對于多版本系統(tǒng)而言，需要較好地解決兩個方面的問題：性能和空間利用率。對于前者，最主要的是保證在生成版本的時候能夠快速完成，同時恢復(fù)時也具有較好的性能。此外，系統(tǒng)引入多版本造成的整體開銷也應(yīng)該比較理想。對于第二點，主要考慮是節(jié)約磁盤空間，雖然隨著硬件技術(shù)的不斷發(fā)展，磁盤空間越來越大，性價比也越來越高，但是當(dāng)版本較多而且文件數(shù)量較多、較大時，引入多版本增加的開銷也可能相當(dāng)可觀，同時，較大的空間也意味著版本生成時可能需要更多的寫操作，這樣也必將影響總體性能。[!--empirenews.page--]
為了保證引入多版本特性后文件系統(tǒng)仍具有較好的性能，以及保證較高的空間利用率，我們開發(fā)了一種高效的惰性版本生成算法。主要思想是：生成版本時不進行文件的復(fù)制，僅復(fù)制目錄結(jié)構(gòu)，在新版本生成后到下一版本生成前，如果有文件需要修改，則第一次修改時對該文件進行復(fù)制，從而保證該文件狀態(tài)與對應(yīng)的版本保持一致。
在一般情況下，目錄結(jié)構(gòu)的數(shù)據(jù)量遠遠小于文件的數(shù)據(jù)量，因而這種方法可以大大降低版本生成時需要復(fù)制的數(shù)據(jù)量，因而具有較高的性能。同時，這種把單個文件版本生成的實際操作推后到非做不可的時候，并且任意文件在兩次版本之間最多生成一次版本，因此這種惰性策略可以使需要實際生成版本的文件數(shù)量達到最少，同時還可以把多個文件版本生成操作分散到具體的文件操作中，從而避免了集中的一次性版本生成方法可能造成的服務(wù)暫時停頓的問題。
版本生成后的結(jié)構(gòu)如圖 2 所示。
圖 2 多版本生成示意圖
具體算法包括兩個部分，即版本生成算法和文件第一次修改處理算法，版本生成算法主要完成版本生成工作，主要過程如下：
找到需要形成版本的最高層目錄作為原目錄;
利用文件系統(tǒng)提供的函數(shù)，生成新的目錄節(jié)點，稱為新目錄;
把原目錄中的結(jié)構(gòu)復(fù)制到新目錄;
在原目錄中找到所有的子目錄，重復(fù) 2、3 步;
把新的子目錄對應(yīng)的 inode 號替換上一層目錄中的老 inode 號;
重復(fù)上述過程，及到目錄樹中的所有目錄得到復(fù)制為止。
在上述策略中，新版本并沒有復(fù)制所有的文件，只是在復(fù)制的目錄結(jié)構(gòu)中記錄下了該文件的 inode 號(即復(fù)制了目錄的結(jié)構(gòu)，而不是把文件都進行復(fù)制，從而節(jié)省了存儲和計算資源)，因此，當(dāng)有 NFS 請求需要對文件進行版本生成后的第一次修改時，需要復(fù)制該文件，生成新的版本。該實現(xiàn)過程參見如下流程圖：
圖 3 寫時復(fù)制算法示意圖
這種文件復(fù)制策略其實是一種惰性算法，也即我們常說的寫時復(fù)制的方法，這個方法在 Linux 操作系統(tǒng)的子進程對父進程資源的繼承中有所體現(xiàn)。這個策略一方面可以最大限度減少復(fù)制文件的數(shù)量，另一方面則可以避免瞬間過大的文件復(fù)制工作量，影響文件服務(wù)的性能。該算法的過程如下：當(dāng)文件操作為寫操作時，判斷該文件是否版本生成后的第一次寫操作;若是則利用文件系統(tǒng)提供的底層函數(shù)生成一個新的文件，復(fù)制源文件的數(shù)據(jù)到新生成的文件，同時把該文件當(dāng)前版本的 inode 節(jié)點中的版本號置為當(dāng)前版本號，這樣新文件就成為該文件的最新版本。
雖然我們采用的算法可以有較好的性能，存儲開銷也是最優(yōu)，但是，每次版本生成肯定會造成服務(wù)性能的下降和空間的占用，而這些代價在一個比較安全可靠的環(huán)境中是可以適當(dāng)降低的，即當(dāng)系統(tǒng)比較安全的時候，可以選擇讓系統(tǒng)以更低的頻率進行版本生成，相反，當(dāng)系統(tǒng)安全狀況比較糟糕的時候，可以通過提高版本生成頻率適當(dāng)降低服務(wù)性能來獲得更高的數(shù)據(jù)安全性能，當(dāng)系統(tǒng)處于緊急狀態(tài)時，甚至可以要求立即進行版本生成。
基于這些考慮，我們采用了自適應(yīng)的備份策略，災(zāi)情評估系統(tǒng)可以動態(tài)評估系統(tǒng)的災(zāi)情程度，然后可以立即修改版本生成策略，以適應(yīng)當(dāng)時的安全要求。
NFS 數(shù)據(jù)恢復(fù)技術(shù)
企業(yè)應(yīng)用 NFS 的一個重要目標(biāo)就是要保證系統(tǒng)的高可用性，即使在出現(xiàn)嚴(yán)重災(zāi)難、故障、攻擊等情況下能具有較好的生存能力。因此，當(dāng)一個系統(tǒng)出現(xiàn)故障時，如何快速地恢復(fù)系統(tǒng)，迅速投入到服務(wù)備份中去是相當(dāng)重要的，所以，對于文件系統(tǒng)數(shù)據(jù)的恢復(fù)而言，也需要專門的考慮和設(shè)計。
本方案被配置成多個站點互為備份的情況，即平時只有一個主站點在服務(wù)，其他站點處于同步備份狀態(tài)，當(dāng)某個站點出現(xiàn)故障或災(zāi)難時，或者是被非法入侵者攻破時，系統(tǒng)可以立即分配新的主站點把被破壞的站點替換下來，進入恢復(fù)狀態(tài)，其他正常的站點仍可提供正常的服務(wù)。
當(dāng)然，也存在所有站點均出現(xiàn)故障的情況，但是由于我們采用了多種措施，如動態(tài)隨機遷移、災(zāi)情評估與響應(yīng)策略等，再配合傳統(tǒng)的防火墻、IDS 等安全系統(tǒng)，可以極大限度地減少這種幾率。因此，我們的數(shù)據(jù)恢復(fù)問題主要考慮上述這種情形，即個別服務(wù)器出現(xiàn)故障退出服務(wù)而其他系統(tǒng)依然正常的情況。
首先，我們來分析一下系統(tǒng)退出后數(shù)據(jù)的情形，主要涉及到退出的服務(wù)器和正常的主服務(wù)器與備份服務(wù)器，如圖 4 所示：
圖 4 一個系統(tǒng)退出后數(shù)據(jù)狀態(tài)示意圖
在上圖中，退出服務(wù)器最后生成的版本號為 i，系統(tǒng)退出后，一方面主文件服務(wù)器會察覺到同步數(shù)據(jù)無法從退出服務(wù)器返回結(jié)果，這樣的話它就會重發(fā)同步請求，經(jīng)過 3 次重發(fā)后，如果依然沒有返回信息，則認為該服務(wù)器退出服務(wù)，因此會把同步數(shù)據(jù)備份到磁盤文件中，并記錄下該服務(wù)器在同步數(shù)據(jù)文件中的起始位置，這當(dāng)由多個文件服務(wù)器退出時可以分別識別出來。由于退出系統(tǒng)無法繼續(xù)保持同步，因此其狀態(tài)會與工作的文件服務(wù)器不一致，具體表現(xiàn)在以下幾個方面：
當(dāng)退出時間很短時，數(shù)據(jù)不一致僅存在于緩沖區(qū)中，這時如果退出服務(wù)器能立即重新投入使用，則不需要進行額外的數(shù)據(jù)恢復(fù)，數(shù)據(jù)同步可以通過主服務(wù)器同步請求的重試來達到。
當(dāng)主服務(wù)器確認退出服務(wù)器退出后，會把未同步的數(shù)據(jù)寫入特定的同步數(shù)據(jù)文件中，這時的不一致性包括了緩沖區(qū)中的數(shù)據(jù)和同步數(shù)據(jù)文件中的數(shù)據(jù)，這時的數(shù)據(jù)恢復(fù)需要做兩方面的工作：
把同步數(shù)據(jù)文件中的正確數(shù)據(jù)一次性發(fā)送給退出服務(wù)器，退出服務(wù)器把它寫入本地的同步數(shù)據(jù)文件;
建立本地的緩沖區(qū)，建立起同步機制，接收同步數(shù)據(jù)，同時啟動數(shù)據(jù)同步進程，先同步數(shù)據(jù)文件中的數(shù)據(jù)，當(dāng)緩沖區(qū)數(shù)據(jù)因沒有處理而達到一定程度時，會自動把部分?jǐn)?shù)據(jù)追加到同步數(shù)據(jù)文件的后面，這時，退出服務(wù)器已經(jīng)恢復(fù)了正常工作，實際上也不需要過多的數(shù)據(jù)恢復(fù)工作。[!--empirenews.page--]
由于主文件服務(wù)器一般需要處理文件的讀寫請求，寫請求僅占一部分，需要同步而執(zhí)行的操作造成的負載要小于主服務(wù)器，因此可能在較短的時間內(nèi)完成同步。當(dāng)需要退出服務(wù)器(此時已經(jīng)進入同步階段)成為主服務(wù)器時，則必須等所有同步數(shù)據(jù)同步完成后才能開始服務(wù)。
如果退出服務(wù)器是因為較嚴(yán)重的故障或災(zāi)難而退出的，則可能需要較長時間的處理，如更換硬件、系統(tǒng)重啟、甚至重裝系統(tǒng)等，這時就可能出現(xiàn)一些困難的情況，一種是如上圖所示的，工作正常的系統(tǒng)已經(jīng)生成了新的版本，如服務(wù)器退出時的最新版本是 i，經(jīng)過一段時間后，正常系統(tǒng)生成了新的版本，這時主系統(tǒng)會清空同步數(shù)據(jù)文件，重新從版本生成后進行記錄。對于這種情況，可以有兩種處理辦法：
基于本地版本的快速恢復(fù)：當(dāng)退出文件服務(wù)器本地至少存在一個版本與其他正常機器上的版本相同時，可以采用這種恢復(fù)策略。具體而言，先確定一個最新的正確版本，用本地版本恢復(fù)，這一過程非常簡單快捷，僅涉及到兩次 inode 的修改;然后選擇一臺正常服務(wù)器，請求它生成一個正常系統(tǒng)上最新版本與恢復(fù)版本的增量升級數(shù)據(jù)，這樣的數(shù)據(jù)量不會很大，而且不需要象基于操作的同步那樣逐步進行，同步效率非常高，因此可以大大提高恢復(fù)速度。同步到正常系統(tǒng)的最新版本后，然后就按照上述第 2 條的情況進行同步數(shù)據(jù)文件的同步。
基于分布版本的快速恢復(fù)：當(dāng)停頓時間太長而不存在一個相同的版本，或文件服務(wù)器數(shù)據(jù)出現(xiàn)損壞(如磁盤故障造成數(shù)據(jù)損毀)時，需要采用此種方法。具體辦法如下：直接把正常服務(wù)器上的最新版本傳送到退出服務(wù)器，然后按照上述的第 2 種情況進行同步數(shù)據(jù)文件的同步。
正如上面所述，全部服務(wù)器均出現(xiàn)問題的概率是很小的，但是，不能簡單的排除這種情況的出現(xiàn)，特別是本方案采用數(shù)據(jù)同步機制，即多個站點的數(shù)據(jù)是保持快速同步的，這雖然能保證動態(tài)遷移的順利完成，但是也帶來較大的風(fēng)險，就是會出現(xiàn)數(shù)據(jù)”污染”的自動傳播，當(dāng)主文件服務(wù)器中的文件數(shù)據(jù)因為某些原因(主要是對文件的非法訪問)造成數(shù)據(jù)非法修改時，會立即傳播到其他備份節(jié)點，這樣的話，不管服務(wù)遷移到哪臺機器均會出現(xiàn)錯誤。
針對這種情況，我們采取了以下措施：當(dāng)發(fā)現(xiàn)非法修改造成數(shù)據(jù)污染時，系統(tǒng)可以自動命令各站點恢復(fù)到指定的版本，如前一版本(可以由管理員配置成前一、二、三個版本);管理員也可以干預(yù)這一過程，強制各站點恢復(fù)到同一指定的版本，從而保證全局文件系統(tǒng)使用同一正確版本。
NFS 文件細粒度恢復(fù)技術(shù)
在傳統(tǒng)恢復(fù)技術(shù)中，一方面由于數(shù)據(jù)備份不是實時進行的，當(dāng)出現(xiàn)事故需要恢復(fù)時，最新的備份數(shù)據(jù)與最新數(shù)據(jù)之間存在一個時間差，這樣就造成了該時間段內(nèi)數(shù)據(jù)的丟失(見圖 5);同時，傳統(tǒng)的數(shù)據(jù)備份是一定時間段后數(shù)據(jù)的增量備份，是一段時間內(nèi)所有文件操作疊加后的結(jié)果，因而無法精確知道在這段時間內(nèi)實際數(shù)據(jù)的變化過程，因而也無法從所有這些操作中定位非法操作，并進行選擇性的恢復(fù)，以保證數(shù)據(jù)的正確性。
圖 5 因非實時備份造成恢復(fù)時的數(shù)據(jù)丟失示意圖
基于上述考慮，我們不但采用了增量方式的多版本備份恢復(fù)技術(shù)，同時還對文件的修改日志進行了實時的備份，這樣就可以在事故發(fā)生后進行基于文件操作的精確恢復(fù)，并支持允許剔除非法操作的選擇性恢復(fù)，這樣既能盡量避免因事故造成的數(shù)據(jù)丟失問題，又能通過選擇性恢復(fù)較好保證數(shù)據(jù)的正確性，同時，還可以通過對日志的分析，結(jié)合數(shù)據(jù)的精確恢復(fù)，達到發(fā)現(xiàn)犯罪線索、獲得有效證據(jù)的目的，為打擊網(wǎng)絡(luò)犯罪提供有力的技術(shù)手段。在這里，精確性恢復(fù)指的是恢復(fù)某一時段的所有操作，一般是在某一版本后的所有操作，不由用戶進行選擇，而選擇性恢復(fù)則指的是某一時間段內(nèi)的所有操作構(gòu)成的集合的子集，需要恢復(fù)的操作由用戶通過查詢、瀏覽等工具來進行選擇。在我們的定義中，實際上可以認為精確恢復(fù)為選擇性恢復(fù)的一個特例。
我們首先需要有相關(guān)的解決方法來記錄下具體的操作信息，形成操作日志文件，從而作為分析的證據(jù)(參見圖 6)。我們使用的策略是通過修改服務(wù)器操作系統(tǒng)內(nèi)核調(diào)用 nfsd_write()、nfsd_create()……。從中取到調(diào)用處理對象的文件、目錄的全路徑名，寫進文件，在內(nèi)核中截獲相應(yīng)的文件操作請求。下面以 nfsd_rename()系統(tǒng)調(diào)用為例，進行擴充、修改而實現(xiàn)記錄操作日志的功能。
int nfsd_rename(struct svc_rqst *rqstp, struct svc_fh *ffhp, char *fname,
int flen,struct svc_fh *tfhp, char *tname, int tlen)
{
struct dentry *fdentry, *tdentry, *odentry, *ndentry;
struct inode *fdir, *tdir;
int err;
char *name;
mem_segment_t oldfs;
int fd;
err = fh_verify(rqstp, ffhp, S_IFDIR, MAY_REMOVE);
if (err)
goto out;
rqstp->rq_path1 = rqstp->rq_path2;
err = fh_verify(rqstp, tfhp, S_IFDIR, MAY_CREATE);
if (err)
goto out;
fdentry = ffhp->fh_dentry;
fdir = fdentry->d_inode;
tdentry = tfhp->fh_dentry;
tdir = tdentry->d_inode;
……
//加入的代碼進行處理工作
if((!rqstp->rq_recover)&&(!S_ISDIR(odentry->d_inode->i_mode))
&&(odentry->d_inode->i_nlink>1)){
rqstp->rq_copy->wait = 1;
rqstp->rq_copy->done = 0;
name = get_total_name(dentry,NULL);
oldfs = get_fs();
set_fs(KERNEL_DS); //進入內(nèi)核模式
fd = sys_open("/backupserv/changfilename.c",0,31681);
sys_write(fd,name,strlen(name));
sys_close(fd);
set_fs(oldfs); //從內(nèi)核模式返回
[!--empirenews.page--]while(!rqstp->rq_copy->done){
schedule_timeout((HZ+99)/100);
……
}
}
該文件是在 nfs 服務(wù)器端執(zhí)行 nfs 客戶機發(fā)送過來的修改文件或者是目錄的原函數(shù)。在這里，我們可以通過添加自己的代碼，來將創(chuàng)建的目錄和文件名存入一個磁盤文件當(dāng)中，以備后面的備份和恢復(fù)操作。
圖 6 NFS 文件細粒度恢復(fù)日志產(chǎn)生示意圖
獲得了操作日志信息，然后就可以進行精確恢復(fù)和選擇性恢復(fù)時。首先由用戶利用數(shù)據(jù)查詢、瀏覽工具確定需要恢復(fù)的文件操作集，然后利用相應(yīng)的日志數(shù)據(jù)按記錄產(chǎn)生順序逐條生成恢復(fù)請求，發(fā)送給文件服務(wù)器端的代理程序，由它通過 proc 文件請求 NFS 文件系統(tǒng)恢復(fù)模塊進行恢復(fù)，恢復(fù)模塊收到請求后，取出相關(guān)數(shù)據(jù)，然后通過調(diào)用底層 ext3 文件系統(tǒng)基本操作完成該次文件操作的”重放”，最后返回執(zhí)行結(jié)果，通過 proc 文件通知代理程序，代理程序再通知管理端，管理端再發(fā)送下一條恢復(fù)請求，及到所有選中的操作全完成為止。具體實現(xiàn)模式請參看圖 7：
圖 7 恢復(fù)流程示意圖
數(shù)據(jù)快速同步技術(shù)
在系統(tǒng)中，各文件服務(wù)器之間的數(shù)據(jù)需要及時同步更新，這樣才能保證服務(wù)遷移后到新的環(huán)境后相關(guān)數(shù)據(jù)環(huán)境的一致性，從而保證服務(wù)遷移在語義上的正確性。在本方案中，每個文件服務(wù)器均采用 NFSv3 協(xié)議向外提供文件服務(wù)，當(dāng)系統(tǒng)開始工作時，管理員會指定一臺主服務(wù)器，由該服務(wù)器負責(zé)向外提供服務(wù)，其他文件服務(wù)器為備份服務(wù)器，接收同步數(shù)據(jù)，進行數(shù)據(jù)的同步更新，并不對外提供服務(wù)，只有當(dāng)系統(tǒng)決定遷移后，選定的遷移目標(biāo)對應(yīng)的文件服務(wù)器才成為主文件服務(wù)器。
由于主文件服務(wù)器負責(zé)對外的文件服務(wù)，因此，數(shù)據(jù)同步的發(fā)起者應(yīng)該是主文件服務(wù)器，而所有的備份服務(wù)器均為被動的同步數(shù)據(jù)接收者。因此，數(shù)據(jù)的快速同步包含兩方面的工作：主文件服務(wù)器產(chǎn)生同步數(shù)據(jù)和備份文件服務(wù)器接收同步數(shù)據(jù)完成同步。具體的數(shù)據(jù)流向如圖 8 所示：
圖 8 同步數(shù)據(jù)的產(chǎn)生與流動示意圖
為了達到數(shù)據(jù)快速同步的目的，我們采用了記錄文件寫操作(包括創(chuàng)建、修改、刪除、改名、屬性修改等所有的改變文件或目錄屬性、內(nèi)容的操作)的具體參數(shù)的方法來生成同步數(shù)據(jù)，這樣每次生成的數(shù)據(jù)量比較少，而且可以滿足及時更新的目的。同步數(shù)據(jù)的格式及相關(guān)代碼段如下：
struct Log {
int length; //整個數(shù)據(jù)包的長度
int ops; //操作的類型
char* data; //與操作相關(guān)數(shù)據(jù)
};
//下面代碼段從內(nèi)核將同步數(shù)據(jù)包發(fā)往其他文件服務(wù)器
long send(struct socket* sock, void * buff,size_t len)
{
int err;
mm_segment_t oldfs;
struct msghdr msg;
struct iovec iov;
static int total = 0;
down(&log_sem);
iov.iov_base=buff;
iov.iov_len=len;
msg.msg_name=NULL;
msg.msg_iov=&iov;
msg.msg_iovlen=1;
msg.msg_control=NULL;
msg.msg_controllen=0;
msg.msg_namelen=0;
total += len;
msg.msg_flags = MSG_SYN;//DONTWAIT;
oldfs=get_fs();
set_fs(KERNEL_DS);
err = sock_sendmsg(sock, &msg, len);
set_fs(oldfs);
if(err<0){
dprintk("send err(errNo=%d len = %d)n",err,len);
netbroken = 1;
}
……
up(&log_sem);
return(err);
}
同步數(shù)據(jù)產(chǎn)生后，先放入一個緩沖區(qū)中，而不是立即發(fā)送到備份文件服務(wù)器，這樣可以較大程度改善系統(tǒng)的總體性能。緩沖區(qū)中的數(shù)據(jù)由同步管理進程管理，當(dāng)達到一定數(shù)據(jù)量時，同步管理程序負責(zé)把緩沖區(qū)中的數(shù)據(jù)發(fā)送到備份文件服務(wù)器上，并根據(jù)返回的應(yīng)答結(jié)果決定是否需要把重發(fā)數(shù)據(jù)，當(dāng)確認某個服務(wù)器無法響應(yīng)后，自動把同步數(shù)據(jù)定期寫入一個僅可追加的文件，以便于隨后可能需要的恢復(fù)階段同步的需要，當(dāng)這個寫入的文件數(shù)據(jù)量超出一定限制時，并且系統(tǒng)確認已經(jīng)至少有一個新的版本生成，可以把該文件清空。
當(dāng)數(shù)據(jù)到達備份文件服務(wù)器時，由獨立的接收進程負責(zé)把數(shù)據(jù)放入接收緩沖區(qū)，經(jīng)核對數(shù)據(jù)無誤后給主服務(wù)器發(fā)送確認信號，另一個獨立進程即更新管理進程把接收緩沖區(qū)作為輸入，從中解析出一個個的順序的操作日志，從每個日志中得到操作類型，然后在剩余的數(shù)據(jù)中按照特定的操作類型提取所需的參數(shù)，利用文件系統(tǒng)調(diào)用完成相應(yīng)操作。
總結(jié)
Linux 網(wǎng)絡(luò)文件系統(tǒng)已經(jīng)為企業(yè)在數(shù)據(jù)備份和共享領(lǐng)域得到了廣泛應(yīng)用。如何保證其多版本備份、實時恢復(fù)是一個非常關(guān)鍵的問題，本文將詳細介紹針對該網(wǎng)絡(luò)文件系統(tǒng)的數(shù)據(jù)備份、恢復(fù)及同步機制在內(nèi)核的具體實現(xiàn)，給廣大系統(tǒng)管理員和研發(fā)人員提供技術(shù)參考。
下載文檔
