在典型的重復(fù)數(shù)據(jù)刪除技術(shù)中,根據(jù)不同的數(shù)據(jù)備份場景選擇適合的重刪策略與粒度方案。在確定重刪策略與粒度后,會根據(jù)輸入側(cè)不同粒度(卷級、文件級、塊級)的數(shù)據(jù)采取不同的數(shù)據(jù)切分策略,并依據(jù)任務(wù)級與全局指紋庫提供自適應(yīng)源端的全局重刪算法與策略,當(dāng)前支持源端塊級、文件級重刪和并行重刪技術(shù)。源端重刪是采用基于內(nèi)容的可變長數(shù)據(jù)切分算法,通過對數(shù)據(jù)塊進行哈希算法的***標(biāo)記,即指紋(Fingerprint),在指紋庫中尋找相同的指紋。如果存在相同指紋,則表示已保存了相同的數(shù)據(jù)塊,ADM則不再保存此數(shù)據(jù)塊,而是引用已存在的數(shù)據(jù)塊,從而節(jié)省更多的備份空間。該算法還可以智能識別已修改的數(shù)據(jù)和未修改的數(shù)據(jù),從而避免因修改數(shù)據(jù)位移而導(dǎo)致的未修改數(shù)據(jù)切分到新數(shù)據(jù)塊中的問題,比較大限度地提升重刪性能和重刪率,為避免數(shù)據(jù)備份過程中冗余網(wǎng)絡(luò)傳輸與存儲開銷,在源端設(shè)置粗粒度前置數(shù)據(jù)校驗可以明顯縮小備份傳輸過程中的數(shù)據(jù)冗余,目的在于不備份任意一個冗余數(shù)據(jù)。上訊信息敏捷數(shù)據(jù)管理平臺為企業(yè)上中下游數(shù)據(jù)的高效使用、安全管控提供了一套綜合數(shù)據(jù)安全治理解決方案。運營商信創(chuàng)備份
敏捷數(shù)據(jù)管理平臺(ADM)由管理控制中心(Master)、數(shù)據(jù)服務(wù)節(jié)點(CDM Server)、敏感數(shù)據(jù)處理服務(wù)節(jié)點(SDM Server)、客戶端(Client)組成,服務(wù)節(jié)點可通過主備節(jié)點部署實現(xiàn)高可用,通過靈活的橫向節(jié)點擴展實現(xiàn)功能擴展和容量擴充,每個服務(wù)節(jié)點可以安裝在物理服務(wù)器或虛擬服務(wù)器中。一個或多個客戶端連接到服務(wù)節(jié)點,組成一個完整的數(shù)據(jù)管理平臺,客戶端負責(zé)收集數(shù)據(jù)、傳輸數(shù)據(jù),服務(wù)節(jié)點負責(zé)接收數(shù)據(jù)、存儲數(shù)據(jù)、敏感數(shù)據(jù)處理以及管理數(shù)據(jù)。一對一的映射敏捷數(shù)據(jù)管理平臺ADM產(chǎn)品數(shù)據(jù)信創(chuàng)產(chǎn)品,實現(xiàn)了國產(chǎn)數(shù)據(jù)庫的備份與國產(chǎn)操作系統(tǒng)的兼容。
隨著信息化程度的不斷深入,數(shù)據(jù)作為企業(yè)的資產(chǎn)越來越被重視,虛擬化、云化的不斷應(yīng)用,帶來了業(yè)務(wù)系統(tǒng)及數(shù)據(jù)的增長,大數(shù)據(jù)在這種環(huán)境中也有了發(fā)展和應(yīng)用。新技術(shù)的不斷創(chuàng)新與應(yīng)用,促使著數(shù)據(jù)不斷的被拷貝使用,如何能更好的使用這些數(shù)據(jù),如何更好的管理越來越多的拷貝數(shù)據(jù),如何能節(jié)省新需求下的存儲空間,這些都成了當(dāng)下亟待解決的問題。信息化時代,“數(shù)據(jù)”的應(yīng)用較為頻繁,海量數(shù)據(jù)的組成中,備份數(shù)據(jù)占有很大比例,而這些備份數(shù)據(jù)在沒有發(fā)生故障時往往是被擱置不用的,被稱為“暗數(shù)據(jù)”。而對業(yè)務(wù)數(shù)據(jù)的分析、統(tǒng)計、運維等操作都會直接作用在業(yè)務(wù)服務(wù)器,如此將會對業(yè)務(wù)性能產(chǎn)生影響,不利于業(yè)務(wù)系統(tǒng)的高效使用。如何做到解放業(yè)務(wù)系統(tǒng),使其專注于業(yè)務(wù)處理上,也是IT管理者需要考慮的另一個現(xiàn)實問題。
l變化數(shù)據(jù)塊跟蹤技術(shù)塊修改跟蹤技術(shù)(BlockChangeTracking)簡稱BCT,Oracle數(shù)據(jù)庫通過BCT技術(shù)可以只備份新增的或變化的數(shù)據(jù)塊,VMware通過內(nèi)置的CBT技術(shù)獲取新增或變化的虛擬磁盤數(shù)據(jù)塊,從而提升增量備份效率。l備份數(shù)據(jù)傳輸壓縮加密ADM支持AES256和SM4加密算法,用戶可根據(jù)實際情況,靈活選擇。在數(shù)據(jù)傳輸過程中,通過加密算法對備份數(shù)據(jù)進行加密處理,確保抓包、***攻擊、釣魚等惡意方式所截獲的備份數(shù)據(jù)無法被解析,從而有效避免數(shù)據(jù)泄露等安全問題。上訊ADM通過數(shù)據(jù)備份后獲取到的黃金副本開啟數(shù)據(jù)開發(fā)利用的創(chuàng)新流程,充分發(fā)揮數(shù)字資產(chǎn)價值。
l核心專利技術(shù)—數(shù)據(jù)庫虛擬化(1)ADM內(nèi)置獨有的高效壓縮存儲池,壓縮比高達3:1,存儲即壓縮,***降低了基礎(chǔ)數(shù)據(jù)源獲取的存儲成本與持續(xù)增長的副本數(shù)據(jù)存儲成本。(2)ADM的數(shù)據(jù)庫虛擬化技術(shù),是通過獲取一份基礎(chǔ)數(shù)據(jù)源,快速拉起多份虛擬數(shù)據(jù)庫掛載給目標(biāo)業(yè)務(wù)使用,虛擬數(shù)據(jù)庫拉起時幾乎不占用物理存儲空間,在實驗室測試環(huán)境下拉起一個10TB數(shù)據(jù)量的虛擬數(shù)據(jù)庫,*占用1GB左右的存儲空間,明顯節(jié)約了存儲成本和時間周期,因此針對開發(fā)測試場景,需要對同一份數(shù)據(jù)創(chuàng)建N份副本數(shù)據(jù)時,存儲成本節(jié)約近乎N倍。數(shù)據(jù)管理領(lǐng)域的CDM產(chǎn)品哪個廠商做得好?端到端的自動化
上訊信息敏捷數(shù)據(jù)管理平臺ADM產(chǎn)品支持全域重刪技術(shù),重刪指紋庫重建功能。運營商信創(chuàng)備份
上訊敏捷數(shù)據(jù)管理平臺(ADM)既可以封裝在敏捷數(shù)據(jù)管理流程的中間環(huán)節(jié),也可以單獨作為敏感數(shù)據(jù)處理的抽取平臺,兩種模式滿足了當(dāng)前用戶對數(shù)據(jù)處理的全部需求。 提供系統(tǒng)用戶角色權(quán)限的配置管理,負責(zé)系統(tǒng)角色用戶功能的劃分,操作權(quán)限的分配,負責(zé)處理任務(wù)向上級的申請,上級用戶負責(zé)審批、轉(zhuǎn)發(fā)、會簽或駁回以及復(fù)核工作的需求。當(dāng)前系統(tǒng)內(nèi)置豐富的算法,具備廣義的通用型規(guī)則,包括字符替換、隨機生成、截短、加權(quán)生成、加密等;支持保留原有數(shù)據(jù)含義的仿真型規(guī)則,支持中文字典庫與編碼字典庫,保證姓名、身份證號、證件號、地址、組織機構(gòu)代碼等數(shù)據(jù)的有效性、可用性,算法經(jīng)優(yōu)化已處理超長字符截斷和重復(fù)數(shù)據(jù)的問題。運營商信創(chuàng)備份