失敗問題排查

來源: 發(fā)布時間:2024-12-17

(1)國產(chǎn)化數(shù)據(jù)備份系統(tǒng)兼容性不足當前國產(chǎn)化數(shù)據(jù)保護系統(tǒng)對國產(chǎn)化數(shù)據(jù)庫、文件、虛擬化平臺、容器、云服務(wù)器等備份源類型兼容不***,適配過程中需要更多的時間進行功能穩(wěn)定性驗證。(2)數(shù)據(jù)備份恢復驗證耗時耗力當前采用NetBackup等集中備份系統(tǒng)備份的數(shù)據(jù)需采用手動恢復數(shù)據(jù),過程繁瑣、重復度高、專業(yè)性強,耗費大量的時間和人力成本。(3)數(shù)據(jù)交付時間長不論是通過數(shù)據(jù)恢復還是數(shù)據(jù)拷貝來提供測試數(shù)據(jù),需要幾小時到幾周的時間。(4)占用大量存儲資源數(shù)以千計的數(shù)據(jù)副本占用大量存儲資源,需要更多的維護成本。(5)數(shù)據(jù)版本回退困難開發(fā)、測試環(huán)境中,當完成一輪跑批測試或功能調(diào)試后,重置數(shù)據(jù)狀態(tài)需要重新導入數(shù)據(jù)或重新恢復數(shù)據(jù),回退數(shù)據(jù)產(chǎn)生的時間成本巨大。(6)數(shù)據(jù)安全風險真實數(shù)據(jù)被用于測試使用后無法及時回收和銷毀,造成資源浪費,存在敏感信息泄露的安全風險。(7)敏感數(shù)據(jù)安全隱患生產(chǎn)數(shù)據(jù)庫中存在著大量的敏感信息,傳統(tǒng)的手工***效率低、仿真度差、***不完全,交付給測試環(huán)境后存在隱私泄漏的風險。上訊信息敏捷數(shù)據(jù)管理平臺ADM產(chǎn)品的數(shù)據(jù)備份模塊通過數(shù)據(jù)重刪可節(jié)省傳輸占用的網(wǎng)絡(luò)帶寬和數(shù)據(jù)存儲空間。失敗問題排查

失敗問題排查,上訊敏捷數(shù)據(jù)管理平臺ADM

企業(yè)開發(fā)需求更新頻繁,對測試環(huán)境和測試數(shù)據(jù)提出了同步變更的要求,ADM的虛擬數(shù)據(jù)庫快照功能解決了測試數(shù)據(jù)版本迭代的問題,通過對數(shù)據(jù)庫狀態(tài)進行定時或即時的記錄,保留當前虛擬數(shù)據(jù)庫的狀態(tài)作為測試數(shù)據(jù)版本,一旦需要調(diào)用某個版本時,只需切換到不同時間點的虛擬庫快照即可,靈活實現(xiàn)測試數(shù)據(jù)版本的任意切換,ADM還支持創(chuàng)建和維護虛擬庫級聯(lián)快照,滿足回歸測試等具體應(yīng)用場景,通過這一功能明顯提升了開發(fā)測試效率、升級迭代效率。數(shù)據(jù)分散存放上訊ADM產(chǎn)品是集數(shù)據(jù)備份管理、備份校驗管理、數(shù)據(jù)副本管理、敏感數(shù)據(jù)處理四位一體的數(shù)據(jù)管理產(chǎn)品。

失敗問題排查,上訊敏捷數(shù)據(jù)管理平臺ADM

上訊敏捷數(shù)據(jù)管理平臺(ADM)的主要技術(shù)是(1)ADM內(nèi)置獨有的高效壓縮存儲池,壓縮比高達3:1,存儲即壓縮,降低了基礎(chǔ)數(shù)據(jù)源獲取的存儲成本與持續(xù)增長的副本數(shù)據(jù)存儲成本。(2)ADM的數(shù)據(jù)庫虛擬化技術(shù),是通過獲取一份基礎(chǔ)數(shù)據(jù)源,快速拉起多份虛擬數(shù)據(jù)庫掛載給目標業(yè)務(wù)使用,虛擬數(shù)據(jù)庫拉起時幾乎不占用物理存儲空間,在實驗室測試環(huán)境下拉起一個10TB數(shù)據(jù)量的虛擬數(shù)據(jù)庫,只占用1GB左右的存儲空間,明顯節(jié)約了存儲成本和時間周期,因此針對開發(fā)測試場景,需要對同一份數(shù)據(jù)創(chuàng)建N份副本數(shù)據(jù)時,存儲成本節(jié)約近乎N倍。

上訊敏捷數(shù)據(jù)管理平臺ADM可實現(xiàn)針對數(shù)據(jù)庫的數(shù)據(jù)保護,ADM采用圖形化向?qū)讲僮?,無需用戶手動執(zhí)行備份和恢復腳本,簡化了備份恢復的難度。既支持傳統(tǒng)的無掛載備份,也支持全量備份、后續(xù)增量備份與全量快照合成、事務(wù)日志同步相結(jié)合的方式。數(shù)據(jù)庫備份的基本流程如下:通過管理控制中心(Master)的Web管理頁面推送客戶端(Client)軟件到需要保護的生產(chǎn)服務(wù)器上,自動完成客戶端軟件的安裝和注冊,與Server服務(wù)器端保持通訊??蛻舳藢⒆R別生產(chǎn)服務(wù)器中的數(shù)據(jù)庫數(shù)據(jù),并通過備份API讀取數(shù)據(jù)庫數(shù)據(jù),然后將其傳輸至數(shù)據(jù)服務(wù)節(jié)點完成備份。管理控制中心(Master)負責向客戶端軟件和服務(wù)節(jié)點發(fā)送控制信息,管理整個備份任務(wù)的運行。例如:Oracle數(shù)據(jù)庫采用RMAN接口進行多通道并行備份,備份粒度支持整個實例備份,恢復粒度支持細化到選定表恢復。海量數(shù)據(jù)供數(shù)于下游開發(fā)測試統(tǒng)計分析場景的數(shù)據(jù)使用需求該如何滿足?

失敗問題排查,上訊敏捷數(shù)據(jù)管理平臺ADM

敏捷數(shù)據(jù)管理平臺(Agile Data Management)簡稱ADM,是采用基于CDM(副本數(shù)據(jù)管理)的數(shù)據(jù)庫虛擬化技術(shù),為企業(yè)上中下游數(shù)據(jù)的備份恢復、數(shù)據(jù)驗證、敏感數(shù)據(jù)處理、分發(fā)交付提供的面向數(shù)據(jù)全生命周期的安全管理解決方案,在保證數(shù)據(jù)安全使用的同時,提高了數(shù)據(jù)使用效率并降低了數(shù)據(jù)存儲成本。ADM由數(shù)據(jù)備份管理、備份校驗管理、數(shù)據(jù)副本管理、敏感數(shù)據(jù)處理管理組成,實現(xiàn)了數(shù)據(jù)復制容災(zāi)、數(shù)據(jù)存儲管理和數(shù)據(jù)流程管理,通過自動化流程任務(wù)編排的方式實現(xiàn)了數(shù)據(jù)使用的成本控制、版本管理與開發(fā)利用,能夠充分發(fā)揮了數(shù)據(jù)資產(chǎn)的潛在價值。上訊敏捷數(shù)據(jù)管理平臺ADM產(chǎn)品的合規(guī)性體現(xiàn)在通過數(shù)據(jù)申請審批流程使用數(shù)據(jù),嚴格控制數(shù)據(jù)外流。對系統(tǒng)的配置管理

上訊ADM產(chǎn)品是集數(shù)據(jù)備份管理、備份校驗管理、數(shù)據(jù)副本管理、數(shù)據(jù)脫敏管理四位一體的數(shù)據(jù)管理產(chǎn)品。失敗問題排查

l數(shù)據(jù)壓縮存儲ADM支持同步數(shù)據(jù)壓縮,自動化地將同步數(shù)據(jù)按照3:1的比例壓縮,系統(tǒng)存儲空間顯示已壓縮的容量大小,存儲即壓縮。l自助式數(shù)據(jù)服務(wù)ADM不僅可以靈活地提供任意時間點的數(shù)據(jù),還可以對虛擬數(shù)據(jù)庫進行圖形化、自助式的管理。l虛擬數(shù)據(jù)庫集中管控虛擬數(shù)據(jù)庫集中管控是對虛擬數(shù)據(jù)庫在使用過程中的狀態(tài)進行管理,包括如下功能:①虛擬數(shù)據(jù)庫版本管理②虛擬數(shù)據(jù)庫共享管理③虛擬數(shù)據(jù)庫記錄查詢l敏感信息智能掃描ADM內(nèi)置敏感信息匹配庫,對數(shù)據(jù)庫的敏感信息進行智能定義掃描,成功發(fā)現(xiàn)后自動匹配成敏感類型,以匹配度和敏感信息類型進行靈活排序,避免漏掃。l關(guān)聯(lián)關(guān)系保持一致支持對數(shù)據(jù)庫中表間和表內(nèi)的約束信息和索引信息進行***,支持視圖、序列、觸發(fā)器、存儲過程等數(shù)據(jù)對象的抽取,保持***前后數(shù)據(jù)關(guān)系的一致。失敗問題排查