數(shù)據(jù)流程管理是ADM功能模塊之一,主要通過靈活配置數(shù)據(jù)流轉環(huán)節(jié)實現(xiàn)數(shù)據(jù)管理流程的自動化作業(yè)編排,ADM采用基于畫布的方式默認作業(yè)流程的起止節(jié)點,根據(jù)實際需求將數(shù)據(jù)的獲取、恢復、***、傳輸、共享、交付、銷毀等各個環(huán)節(jié)對應的任務組件靈活拖動到作業(yè)畫布,組成一個完整的任務流程,各任務之間支持依賴關系、延時機制以及斷點處理機制,**終實現(xiàn)數(shù)據(jù)管理流程任務的串聯(lián)組建和并行執(zhí)行,達到數(shù)據(jù)管理流程的自動化執(zhí)行,協(xié)助用戶將數(shù)據(jù)交付流程的各個工作環(huán)節(jié)靈活地組合起來,實現(xiàn)數(shù)據(jù)交付的自動化,從而擺脫人工值守,達到縮減時間成本和人力成本的目標。ADM可實現(xiàn)備份數(shù)據(jù)任意時間點掛載恢復快速對恢復數(shù)據(jù)進行驗證。節(jié)點hosts配置
(1)國產化數(shù)據(jù)備份系統(tǒng)兼容性不足當前國產化數(shù)據(jù)保護系統(tǒng)對國產化數(shù)據(jù)庫、文件、虛擬化平臺、容器、云服務器等備份源類型兼容不***,適配過程中需要更多的時間進行功能穩(wěn)定性驗證。(2)數(shù)據(jù)備份恢復驗證耗時耗力當前采用NetBackup等集中備份系統(tǒng)備份的數(shù)據(jù)需采用手動恢復數(shù)據(jù),過程繁瑣、重復度高、專業(yè)性強,耗費大量的時間和人力成本。(3)數(shù)據(jù)交付時間長不論是通過數(shù)據(jù)恢復還是數(shù)據(jù)拷貝來提供測試數(shù)據(jù),需要幾小時到幾周的時間。(4)占用大量存儲資源數(shù)以千計的數(shù)據(jù)副本占用大量存儲資源,需要更多的維護成本。(5)數(shù)據(jù)版本回退困難開發(fā)、測試環(huán)境中,當完成一輪跑批測試或功能調試后,重置數(shù)據(jù)狀態(tài)需要重新導入數(shù)據(jù)或重新恢復數(shù)據(jù),回退數(shù)據(jù)產生的時間成本巨大。(6)數(shù)據(jù)安全風險真實數(shù)據(jù)被用于測試使用后無法及時回收和銷毀,造成資源浪費,存在敏感信息泄露的安全風險。(7)敏感數(shù)據(jù)安全隱患生產數(shù)據(jù)庫中存在著大量的敏感信息,傳統(tǒng)的手工***效率低、仿真度差、***不完全,交付給測試環(huán)境后存在隱私泄漏的風險。數(shù)據(jù)發(fā)布系統(tǒng)上訊ADM產品是集數(shù)據(jù)備份管理、備份校驗管理、數(shù)據(jù)副本管理、敏感數(shù)據(jù)處理四位一體的數(shù)據(jù)管理產品。
傳統(tǒng)的備份方案大多采用周期性的“全量備份+增量備份”策略,其增量備份大多不可持續(xù),經過一段時間就必須執(zhí)行一次全量備份。因而傳統(tǒng)的備份方案經常面臨備份窗口過大的問題,而且其增量備份數(shù)據(jù)的恢復效率相對低下,因為每個時間點的恢復都依賴于上一次全備副本和上一次全備副本后的所有增量數(shù)據(jù),恢復操作需要進行逐個迭代恢復。此外,過期增量數(shù)據(jù)的清理操作也受限于備份副本之間的依賴關系,不一定能及時被***。而長久增量備份與全量快照合成技術,即***執(zhí)行全量備份,之后只對新增或改動過的數(shù)據(jù)進行增量備份,此增量備份數(shù)據(jù)是持續(xù)的,而且每個增量備份的數(shù)據(jù)副本將自動合成為全量快照副本,便于恢復。因此,長久增量備份與全量快照合成技術能夠大幅度減少備份時間,節(jié)省備份數(shù)據(jù)所需的存儲空間,且提升了恢復效率。長久增量備份與全量快照合成技術適用于單個應用數(shù)據(jù)量大,執(zhí)行一次完全備份比較費時費力的應用場景。若用戶備份數(shù)據(jù)量小,也可使用傳統(tǒng)的全備+增備技術方式,ADM無掛載備份能夠實現(xiàn)此方式。
用戶提出數(shù)據(jù)管理產品的上線既要滿足云技術的部署帶來數(shù)據(jù)遷移和歷史備份數(shù)據(jù)接管的要求,又要對用戶系統(tǒng)更新迭代導致副本數(shù)據(jù)使用管理需求增加、測試場景需求增加的問題予以解決,因此用戶對CDM的部署方式提出了要求:即適應混合多云環(huán)境,支持BaaS和訂閱的模式部署。敏捷數(shù)據(jù)管理平臺(ADM)產品具備靈活的部署模式,既支持單機部署,也支持高可用部署、多云混合部署,且每個功能均支持在線擴展,具備擴展的便捷性。在混合多云環(huán)境中,只需要將ADM在每朵云中進行部署,即可實現(xiàn)備份數(shù)據(jù)、副本數(shù)據(jù)的多云間統(tǒng)一管理,并支持在每朵云中創(chuàng)建虛擬數(shù)據(jù),實現(xiàn)數(shù)據(jù)的分鐘級快速交付;在云環(huán)境中的測試環(huán)境,可以利用云主機的快照功能及ADM的虛擬數(shù)據(jù)功能,達到整個測試環(huán)境的版本管理(包括系統(tǒng)、數(shù)據(jù)),達到數(shù)據(jù)使用及管理的便利性.備份數(shù)據(jù)是一家企業(yè)數(shù)據(jù)資產的來源,要注重安全防護。
通過部署敏捷數(shù)據(jù)管理平臺ADM產品的數(shù)據(jù)副本管理模塊,實現(xiàn)了測試數(shù)據(jù)版本迭代管理,提升了數(shù)據(jù)使用過程中的應用效率。隨著移動互聯(lián)網技術的不斷革新,移動應用業(yè)務不斷擴張,企業(yè)面臨著前臺業(yè)務頻繁更新升級的現(xiàn)狀,為保證既有業(yè)務穩(wěn)定,需要對新提出的升級需求開展仿真測試與回歸測試,因此亟需一套能夠對測試環(huán)境的測試數(shù)據(jù)進行版本靈活切換的解決方案,便于測試數(shù)據(jù)版本的即時調用,迅速適應不同業(yè)務程序提供不同版本的測試數(shù)據(jù)。ADM的虛擬數(shù)據(jù)庫快照功能解決了這一問題,通過對數(shù)據(jù)庫狀態(tài)進行定時或即時的記錄,管理和維護當前虛擬數(shù)據(jù)庫的數(shù)據(jù),使用人員可以隨時通過記錄的虛擬數(shù)據(jù)庫快照提供一個版本的測試數(shù)據(jù),經過測試后保存當前的數(shù)據(jù)庫使用狀態(tài),便于開發(fā)測試的數(shù)據(jù)版本迭代,通過這一功能明顯提升了程序升級測試、版本迭代的效率.上訊ADM通過數(shù)據(jù)備份后獲取到的黃金副本開啟數(shù)據(jù)開發(fā)利用的創(chuàng)新流程,充分發(fā)揮數(shù)字資產價值??绮僮飨到y(tǒng)平臺
上訊敏捷數(shù)據(jù)管理平臺ADM產品能對接NBU直接恢復。節(jié)點hosts配置
上訊敏捷數(shù)據(jù)管理平臺(ADM)支持并行重刪技術,通過在多個不同的節(jié)點上構建指紋庫,并將指紋并行分布于多個節(jié)點,采用內存級指紋庫進行重刪,所有指紋讀寫全部保存于內存中,從而提升指紋查詢和處理效率,并且減少了因磁盤中指紋庫增大所導致的隨機IO壓力。以此識別并消除數(shù)據(jù)備份過程中數(shù)據(jù)源中重復的數(shù)據(jù),該技術適用于不同平臺中的文件、數(shù)據(jù)庫、虛擬機等不同應用類型的數(shù)據(jù),可以大幅度減少需要傳輸?shù)臄?shù)據(jù)量,從而極大地節(jié)省數(shù)據(jù)傳輸帶寬,解決單點性能和存儲空間壓力。節(jié)點hosts配置