2024-11-12 02:06:15
上訊敏捷數(shù)據(jù)管理平臺(tái)ADM產(chǎn)品是一款企業(yè)級(jí)CDM產(chǎn)品,通過以數(shù)據(jù)為中心,以**為前提,以使用為導(dǎo)向,以敏捷為目的的產(chǎn)品理念,為企業(yè)提供一套面向上中下游數(shù)據(jù)高效使用與**管控的數(shù)據(jù)**治理解決方案,在保證數(shù)據(jù)**使用的同時(shí),提高數(shù)據(jù)使用效率、降低數(shù)據(jù)存儲(chǔ)成本。ADM產(chǎn)品的應(yīng)用解決了數(shù)據(jù)開發(fā)利用需求下,數(shù)據(jù)使用流轉(zhuǎn)環(huán)節(jié)遇到的**性和效率問題,為企業(yè)在開發(fā)測(cè)試場(chǎng)景中快速供應(yīng)測(cè)試數(shù)據(jù)提供了一種新的解決方案,主要應(yīng)用于開發(fā)測(cè)試部門中對(duì)開發(fā)測(cè)試團(tuán)隊(duì)的功能測(cè)試、回歸測(cè)試等具體的測(cè)試場(chǎng)景提供靈活的測(cè)試數(shù)據(jù)版本,通過一鍵切換立即調(diào)取適用于當(dāng)前業(yè)務(wù)版本的數(shù)據(jù)版本,明顯縮短了業(yè)務(wù)開發(fā)的測(cè)試周期.數(shù)據(jù)備份產(chǎn)品構(gòu)建了數(shù)據(jù)保護(hù)的基礎(chǔ)防線。存儲(chǔ)成本
上訊敏捷數(shù)據(jù)管理平臺(tái)(ADM)支持重復(fù)數(shù)據(jù)刪除技術(shù),在典型的重復(fù)數(shù)據(jù)刪除技術(shù)中,根據(jù)不同的數(shù)據(jù)備份場(chǎng)景選擇適合的重刪策略與粒度方案。在確定重刪策略與粒度后,會(huì)根據(jù)輸入側(cè)不同粒度(卷級(jí)、文件級(jí)、塊級(jí))的數(shù)據(jù)采取不同的數(shù)據(jù)切分策略,并依據(jù)任務(wù)級(jí)與全局指紋庫提供自適應(yīng)源端的全局重刪算法與策略,當(dāng)前支持源端塊級(jí)、文件級(jí)重刪和并行重刪技術(shù)。源端重刪是采用基于內(nèi)容的可變長(zhǎng)數(shù)據(jù)切分算法,通過對(duì)數(shù)據(jù)塊進(jìn)行哈希算法的標(biāo)記,即指紋(Fingerprint),在指紋庫中尋找相同的指紋。如果存在相同指紋,則表示已保存了相同的數(shù)據(jù)塊,ADM則不再保存此數(shù)據(jù)塊,而是引用已存在的數(shù)據(jù)塊,從而節(jié)省更多的備份空間。該算法還可以智能識(shí)別已修改的數(shù)據(jù)和未修改的數(shù)據(jù),從而避免因修改數(shù)據(jù)位移而導(dǎo)致的未修改數(shù)據(jù)切分到新數(shù)據(jù)塊中的問題,較大限度地提升重刪性能和重刪率,為避免數(shù)據(jù)備份過程中冗余網(wǎng)絡(luò)傳輸與存儲(chǔ)開銷,在源端設(shè)置粗粒度前置數(shù)據(jù)校驗(yàn)可以明顯縮小備份傳輸過程中的數(shù)據(jù)冗余,目的在于不備份任意一個(gè)冗余數(shù)據(jù)。測(cè)試數(shù)據(jù)多副本快速交付上訊信息敏捷數(shù)據(jù)管理平臺(tái)ADM包括PDM、BDM、SDM、CDM四大功能模塊。
企業(yè)開發(fā)需求更新頻繁,對(duì)測(cè)試環(huán)境和測(cè)試數(shù)據(jù)提出了同步變更的要求,ADM的虛擬數(shù)據(jù)庫快照功能解決了測(cè)試數(shù)據(jù)版本迭代的問題,通過對(duì)數(shù)據(jù)庫狀態(tài)進(jìn)行定時(shí)或即時(shí)的記錄,保留當(dāng)前虛擬數(shù)據(jù)庫的狀態(tài)作為測(cè)試數(shù)據(jù)版本,一旦需要調(diào)用某個(gè)版本時(shí),只需切換到不同時(shí)間點(diǎn)的虛擬庫快照即可,靈活實(shí)現(xiàn)測(cè)試數(shù)據(jù)版本的任意切換,ADM還支持創(chuàng)建和維護(hù)虛擬庫級(jí)聯(lián)快照,滿足回歸測(cè)試等具體應(yīng)用場(chǎng)景,通過這一功能明顯提升了開發(fā)測(cè)試效率、升級(jí)迭代效率。
在數(shù)據(jù)收集和使用上,通過獲取一份具有應(yīng)用一致性保證的“黃金副本”,分鐘級(jí)虛擬化為多個(gè)副本直接掛載使用,數(shù)據(jù)使用效率明顯得到提升;在數(shù)據(jù)存儲(chǔ)和傳輸上,這些虛擬數(shù)據(jù)副本相對(duì)原始存儲(chǔ)幾乎不占用存儲(chǔ)空間(約為0),且ADM產(chǎn)品將全部數(shù)據(jù)集中存放在統(tǒng)一的存儲(chǔ)池中,既保證了數(shù)據(jù)傳輸流轉(zhuǎn)的閉環(huán)管控,又降低了數(shù)據(jù)的存儲(chǔ)成本;在數(shù)據(jù)加工上,數(shù)據(jù)脫離生產(chǎn)環(huán)境之前增設(shè)了敏感數(shù)據(jù)處理環(huán)節(jié),保障數(shù)據(jù)公開后的隱私**,防止核心數(shù)據(jù)泄露;在數(shù)據(jù)的提供和公開上,虛擬數(shù)據(jù)副本可用于準(zhǔn)生產(chǎn)、測(cè)試環(huán)境等場(chǎng)景的數(shù)據(jù)交付,每一份虛擬數(shù)據(jù)都是互不影響的,并且可讀可寫,數(shù)據(jù)在經(jīng)過變更后可標(biāo)記快照,多個(gè)快照之間可以任意切換實(shí)現(xiàn)數(shù)據(jù)版本的管理。上訊敏捷數(shù)據(jù)管理平臺(tái)ADM產(chǎn)品能對(duì)接NBU直接恢復(fù)。
敏捷數(shù)據(jù)管理平臺(tái)ADM能夠?qū)⑸嫌蔚臄?shù)據(jù)收集、存儲(chǔ),中游的數(shù)據(jù)處理、傳輸,下游的數(shù)據(jù)分發(fā)和交付全流程貫通,形成一套自動(dòng)化、智能化的副本數(shù)據(jù)全生命周期管理解決方案,為**業(yè)實(shí)現(xiàn)測(cè)試業(yè)務(wù)多場(chǎng)景的數(shù)據(jù)覆蓋,實(shí)現(xiàn)業(yè)務(wù)版本的高質(zhì)量交付和快速迭代提供了行之有效的工具。ADM的數(shù)據(jù)庫虛擬化功能與GoldenDB高可用、高可靠的數(shù)據(jù)庫服務(wù)相結(jié)合,為該行提供了敏捷的副本數(shù)據(jù)交付能力與靈活的副本數(shù)據(jù)管理能力,對(duì)**測(cè)試數(shù)據(jù)管理體系的構(gòu)建起到了強(qiáng)有力的助推作用,助力打造數(shù)字化業(yè)務(wù)增長(zhǎng)新模式.上訊信息的敏捷數(shù)據(jù)管理平臺(tái)ADM產(chǎn)品可應(yīng)用于數(shù)據(jù)**治理領(lǐng)域。準(zhǔn)備存儲(chǔ)空間
國(guó)內(nèi)較早發(fā)布CDM領(lǐng)域的平臺(tái)型產(chǎn)品是上訊敏捷數(shù)據(jù)管理平臺(tái)ADM產(chǎn)品。存儲(chǔ)成本
l數(shù)據(jù)壓縮存儲(chǔ)ADM支持同步數(shù)據(jù)壓縮,自動(dòng)化地將同步數(shù)據(jù)按照3:1的比例壓縮,系統(tǒng)存儲(chǔ)空間顯示已壓縮的容量大小,存儲(chǔ)即壓縮。l自助式數(shù)據(jù)服務(wù)ADM不僅可以靈活地提供任意時(shí)間點(diǎn)的數(shù)據(jù),還可以對(duì)虛擬數(shù)據(jù)庫進(jìn)行圖形化、自助式的管理。l虛擬數(shù)據(jù)庫集中管控虛擬數(shù)據(jù)庫集中管控是對(duì)虛擬數(shù)據(jù)庫在使用過程中的狀態(tài)進(jìn)行管理,包括如下功能:①虛擬數(shù)據(jù)庫版本管理②虛擬數(shù)據(jù)庫共享管理③虛擬數(shù)據(jù)庫記錄查詢l敏感信息智能掃描ADM內(nèi)置敏感信息匹配庫,對(duì)數(shù)據(jù)庫的敏感信息進(jìn)行智能定義掃描,成功發(fā)現(xiàn)后自動(dòng)匹配成敏感類型,以匹配度和敏感信息類型進(jìn)行靈活排序,避免漏掃。l關(guān)聯(lián)關(guān)系保持一致支持對(duì)數(shù)據(jù)庫中表間和表內(nèi)的約束信息和索引信息進(jìn)行***,支持視圖、序列、觸發(fā)器、存儲(chǔ)過程等數(shù)據(jù)對(duì)象的抽取,保持***前后數(shù)據(jù)關(guān)系的一致。存儲(chǔ)成本