數(shù)據(jù)副本管理

敏感數(shù)據(jù)處理是上訊敏捷數(shù)據(jù)管理平臺(tái)（ADM）產(chǎn)品功能模塊之一，主要針對(duì)敏感數(shù)據(jù)的處理使用，提供集敏感數(shù)據(jù)自動(dòng)識(shí)別、仿真處理與數(shù)據(jù)交付為一體的敏感數(shù)據(jù)管理功能，覆蓋了敏感數(shù)據(jù)使用與管理的全部場(chǎng)景。針對(duì)敏感數(shù)據(jù)識(shí)別提供通用數(shù)據(jù)特征庫(kù)，敏感數(shù)據(jù)類型包括但不限于個(gè)人身份信息、組織機(jī)構(gòu)信息、資質(zhì)資格證信息、金融數(shù)據(jù)信息、醫(yī)療數(shù)據(jù)信息、車輛數(shù)據(jù)信息等眾多類別，支持全庫(kù)與子集自動(dòng)掃描識(shí)別，包括數(shù)據(jù)內(nèi)容、字段類型、約束關(guān)系均可以實(shí)現(xiàn)自動(dòng)識(shí)別，并依據(jù)類型特征加以分類；針對(duì)敏感數(shù)據(jù)的仿真處理，ADM內(nèi)置大量數(shù)據(jù)算法對(duì)敏感數(shù)據(jù)進(jìn)行隨機(jī)化、模糊化替換，保證處理后數(shù)據(jù)的完整性、仿真性以及數(shù)據(jù)間的關(guān)聯(lián)關(guān)系保持不變，支持處理結(jié)果的校驗(yàn)。數(shù)據(jù)安全領(lǐng)域的CDM是指copy data management。數(shù)據(jù)副本管理

上訊敏捷數(shù)據(jù)管理平臺(tái)（ADM）支持并行重刪技術(shù)，通過在多個(gè)不同的節(jié)點(diǎn)上構(gòu)建指紋庫(kù)，并將指紋并行分布于多個(gè)節(jié)點(diǎn)，采用內(nèi)存級(jí)指紋庫(kù)進(jìn)行重刪，所有指紋讀寫全部保存于內(nèi)存中，從而提升指紋查詢和處理效率，并且減少了因磁盤中指紋庫(kù)增大所導(dǎo)致的隨機(jī)IO壓力。以此識(shí)別并消除數(shù)據(jù)備份過程中數(shù)據(jù)源中重復(fù)的數(shù)據(jù)，該技術(shù)適用于不同平臺(tái)中的文件、數(shù)據(jù)庫(kù)、虛擬機(jī)等不同應(yīng)用類型的數(shù)據(jù)，可以大幅度減少需要傳輸?shù)臄?shù)據(jù)量，從而極大地節(jié)省數(shù)據(jù)傳輸帶寬，解決單點(diǎn)性能和存儲(chǔ)空間壓力。操作日志審計(jì)海量數(shù)據(jù)供數(shù)于下游開發(fā)測(cè)試統(tǒng)計(jì)分析場(chǎng)景的數(shù)據(jù)使用需求該如何滿足？

l虛擬化平臺(tái)數(shù)據(jù)保護(hù)ADM為用戶提供***且有針對(duì)性的虛擬化平臺(tái)保護(hù)方案，包括VMware/SmartX/浪潮/華為FC/云宏WinStack/OpenStack/浪潮云InCloudOpenStack虛擬化平臺(tái)，幫助用戶解決商業(yè)和國(guó)產(chǎn)虛擬化的備份和恢復(fù)業(yè)務(wù)。例如：VMware是通過調(diào)用管理虛擬機(jī)和讀寫數(shù)據(jù)的API備份接口VADP（VstorageAPISforDataProtection）進(jìn)行備份。VMware備份實(shí)現(xiàn)了無代理備份，即無需在虛擬化平臺(tái)或者各個(gè)虛擬機(jī)上安裝客戶端代理，只需通過代理客戶端連接虛擬化平臺(tái)即可，因此幾乎不占用主機(jī)資源，不影響生產(chǎn)性能。支持虛擬機(jī)自動(dòng)發(fā)現(xiàn)功能，當(dāng)虛擬機(jī)發(fā)生變化時(shí)，無需人工添加或刪除變化的虛擬機(jī)，即可實(shí)現(xiàn)自動(dòng)備份，備份模式***支持NBD、NBD-SSL、SAN、Hot-Add備份，恢復(fù)模式支持SAN、NBD、NBD-SSL模式，備份格式包括RAW、VMDK等。

在典型的重復(fù)數(shù)據(jù)刪除技術(shù)中，根據(jù)不同的數(shù)據(jù)備份場(chǎng)景選擇適合的重刪策略與粒度方案。在確定重刪策略與粒度后，會(huì)根據(jù)輸入側(cè)不同粒度（卷級(jí)、文件級(jí)、塊級(jí)）的數(shù)據(jù)采取不同的數(shù)據(jù)切分策略，并依據(jù)任務(wù)級(jí)與全局指紋庫(kù)提供自適應(yīng)源端的全局重刪算法與策略，當(dāng)前支持源端塊級(jí)、文件級(jí)重刪和并行重刪技術(shù)。源端重刪是采用基于內(nèi)容的可變長(zhǎng)數(shù)據(jù)切分算法，通過對(duì)數(shù)據(jù)塊進(jìn)行哈希算法的***標(biāo)記，即指紋（Fingerprint），在指紋庫(kù)中尋找相同的指紋。如果存在相同指紋，則表示已保存了相同的數(shù)據(jù)塊，ADM則不再保存此數(shù)據(jù)塊，而是引用已存在的數(shù)據(jù)塊，從而節(jié)省更多的備份空間。該算法還可以智能識(shí)別已修改的數(shù)據(jù)和未修改的數(shù)據(jù)，從而避免因修改數(shù)據(jù)位移而導(dǎo)致的未修改數(shù)據(jù)切分到新數(shù)據(jù)塊中的問題，比較大限度地提升重刪性能和重刪率，為避免數(shù)據(jù)備份過程中冗余網(wǎng)絡(luò)傳輸與存儲(chǔ)開銷，在源端設(shè)置粗粒度前置數(shù)據(jù)校驗(yàn)可以明顯縮小備份傳輸過程中的數(shù)據(jù)冗余，目的在于不備份任意一個(gè)冗余數(shù)據(jù)。上訊敏捷數(shù)據(jù)管理平臺(tái)ADM產(chǎn)品的合規(guī)性體現(xiàn)在通過數(shù)據(jù)申請(qǐng)審批流程使用數(shù)據(jù)，嚴(yán)格控制數(shù)據(jù)外流。

組織內(nèi)部應(yīng)建立一套完善的數(shù)據(jù)備份恢復(fù)體系，部署相應(yīng)的數(shù)據(jù)備份恢復(fù)平臺(tái)，實(shí)現(xiàn)對(duì)生產(chǎn)數(shù)據(jù)的定期備份和恢復(fù)驗(yàn)證。該平臺(tái)應(yīng)包括對(duì)備份數(shù)據(jù)進(jìn)行定期的恢復(fù)驗(yàn)證，周期間隔跨越日、月、季度、半年、年等，恢復(fù)驗(yàn)證策略設(shè)置完畢可自動(dòng)執(zhí)行，確保數(shù)據(jù)的可恢復(fù)性和可用性；該平臺(tái)應(yīng)能對(duì)長(zhǎng)期存儲(chǔ)的備份數(shù)據(jù)進(jìn)行時(shí)效性管理，針對(duì)數(shù)據(jù)的分享、存儲(chǔ)、使用和刪除設(shè)定有效期，過期存儲(chǔ)數(shù)據(jù)可進(jìn)行刪除或再次授權(quán)使用；該平臺(tái)應(yīng)能對(duì)備份數(shù)據(jù)進(jìn)行壓縮或加密存儲(chǔ)，保證存儲(chǔ)空間的有效利用.敏捷數(shù)據(jù)管理平臺(tái)ADM產(chǎn)品數(shù)據(jù)信創(chuàng)產(chǎn)品，實(shí)現(xiàn)了國(guó)產(chǎn)數(shù)據(jù)庫(kù)的備份與國(guó)產(chǎn)操作系統(tǒng)的兼容。敏感數(shù)據(jù)處理效率每秒幾萬條

敏捷數(shù)據(jù)管理平臺(tái)虛擬數(shù)據(jù)秒級(jí)分發(fā)，提升了環(huán)境準(zhǔn)備效率，數(shù)據(jù)交付時(shí)間整體節(jié)約100倍以上。數(shù)據(jù)副本管理

數(shù)據(jù)備份面臨存儲(chǔ)成本高的問題，ADM采用內(nèi)置高效的壓縮存儲(chǔ)池存放數(shù)據(jù)，壓縮比約為3:1，存儲(chǔ)即壓縮，降低了備份數(shù)據(jù)的存儲(chǔ)成本；其次，通過ADM的數(shù)據(jù)庫(kù)虛擬化技術(shù)，一份基礎(chǔ)數(shù)據(jù)即可快速拉起多份虛擬數(shù)據(jù)庫(kù)，由于虛擬數(shù)據(jù)庫(kù)90%的數(shù)據(jù)均與原始數(shù)據(jù)相同，因此拉起時(shí)幾乎不占用額外的物理存儲(chǔ)空間，只對(duì)新增的寫操作計(jì)入容量占用，因此，隨著數(shù)據(jù)分發(fā)使用的場(chǎng)景和頻率增加，虛擬庫(kù)的數(shù)量越來越多，而存儲(chǔ)成本將會(huì)呈倍數(shù)級(jí)節(jié)約，例如針對(duì)同一份數(shù)據(jù)創(chuàng)建N個(gè)虛擬庫(kù)，傳統(tǒng)方法需要N倍的存儲(chǔ)空間占用，而通過ADM只需要占用近乎0TB的存儲(chǔ)空間，節(jié)約了數(shù)據(jù)存儲(chǔ)環(huán)節(jié)的資源和成本。數(shù)據(jù)副本管理