??數(shù)據(jù)遷移是一種將離線存儲(chǔ)與在線存儲(chǔ)融合的技術(shù)。它將高速、高容量的非在線存儲(chǔ)設(shè)備作為磁盤(pán)設(shè)備的下一級(jí)設(shè)備，然后將磁盤(pán)中常用的 數(shù)據(jù)按指定的策略自動(dòng)遷移到磁帶庫(kù)（簡(jiǎn)稱帶庫(kù)）等二級(jí)大容量存儲(chǔ)設(shè)備上。當(dāng)需要使用這些數(shù)據(jù)時(shí)，分級(jí)存儲(chǔ)系統(tǒng)會(huì)自動(dòng)將這些數(shù)據(jù)從下一級(jí)存儲(chǔ)設(shè)備調(diào)回到上一 級(jí)磁盤(pán)上。那么下面就由新網(wǎng)小編和大家講一講數(shù)據(jù)遷移平臺(tái)的特點(diǎn)有哪些。

??一、直接映射

??原來(lái)是什么就是什么，原封不動(dòng)照搬過(guò)來(lái)，對(duì)這樣的規(guī)則，如果數(shù)據(jù)源字段和目標(biāo)字段長(zhǎng)度或精度不符，需要特別注意看是否真的可以直接映射還是需要做一些簡(jiǎn)單運(yùn)算。

??二、字段運(yùn)算

??數(shù)據(jù)源的一個(gè)或多個(gè)字段進(jìn)行數(shù)學(xué)運(yùn)算得到的目標(biāo)字段，這種規(guī)則一般對(duì)數(shù)值型字段而言。

??三、參照轉(zhuǎn)換

??在轉(zhuǎn)換中通常要用數(shù)據(jù)源的一個(gè)或多個(gè)字段作為Key，去一個(gè)關(guān)聯(lián)數(shù)組中去搜索特定值，而且應(yīng)該只能得到唯一值。這個(gè)關(guān)聯(lián)數(shù)組使用Hash算法實(shí)現(xiàn)是比較合適也是最常見(jiàn)的，在整個(gè)ETL開(kāi)始之前，它就裝入內(nèi)存，對(duì)性能提高的幫助非常大。

??四、字符串處理

??從數(shù)據(jù)源某個(gè)字符串字段中經(jīng)?？梢垣@取特定信息，例如身份證號(hào)。而且，經(jīng)常會(huì)有數(shù)值型值以字符串形式體現(xiàn)。對(duì)字符串的操作通常有類型轉(zhuǎn)換、字符串截取等。但是由于字符類型字段的隨意性也造成了臟數(shù)據(jù)的隱患，所以在處理這種規(guī)則的時(shí)候，一定要加上異常處理。

??五、空值判斷

??對(duì)于空值的處理是數(shù)據(jù)倉(cāng)庫(kù)中一個(gè)常見(jiàn)問(wèn)題，是將它作為臟數(shù)據(jù)還是作為特定一種維成員？這恐怕還要看應(yīng)用的情況，也是需要進(jìn)一步探求的。但是無(wú)論怎樣，對(duì)于可能有NULL值的字段，不要采用“直接映射”的規(guī)則類型，必須對(duì)空值進(jìn)行判斷，我們的建議是將它轉(zhuǎn)換成特定的值。

??六、日期轉(zhuǎn)換

??在數(shù)據(jù)倉(cāng)庫(kù)中日期值一般都會(huì)有特定的，不同于日期類型值的表示方法，例如使用8位整型20040801表示日期。而在數(shù)據(jù)源中，這種字段基本都是日期類型的，所以對(duì)于這樣的規(guī)則，需要一些共通函數(shù)來(lái)處理將日期轉(zhuǎn)換為8位日期值、6位月份值等。

??七、日期運(yùn)算

??基于日期，我們通常會(huì)計(jì)算日差、月差、時(shí)長(zhǎng)等。一般數(shù)據(jù)庫(kù)提供的日期運(yùn)算函數(shù)都是基于日期型的，而在數(shù)據(jù)倉(cāng)庫(kù)中采用特定類型來(lái)表示日期的話，必須有一套自己的日期運(yùn)算函數(shù)集。

??八、聚集運(yùn)算

??對(duì)于事實(shí)表中的度量字段，他們通常是通過(guò)數(shù)據(jù)源一個(gè)或多個(gè)字段運(yùn)用聚集函數(shù)得來(lái)的，這些聚集函數(shù)為SQL標(biāo)準(zhǔn)中，包括sum,count,avg,min,max。

??九、既定取值

??這種規(guī)則和以上各種類型規(guī)則的差別就在于它不依賴于數(shù)據(jù)源字段，對(duì)目標(biāo)字段取一個(gè)固定的或是依賴系統(tǒng)的值。

??通俗地講，數(shù)據(jù)遷移 是一種可以把大量不經(jīng)常訪問(wèn)的數(shù)據(jù)存放在帶庫(kù)、盤(pán)庫(kù)等離線介質(zhì)上，只在盤(pán)陣上保存少量訪問(wèn)頻率高的數(shù)據(jù)的技術(shù)。當(dāng)那些磁帶等介質(zhì)上數(shù)據(jù)被訪問(wèn)時(shí)，系統(tǒng)自動(dòng) 的把這些數(shù)據(jù)回遷到盤(pán)陣中；同樣，盤(pán)陣中很久未訪問(wèn)的數(shù)據(jù)被自動(dòng)遷移到磁帶介質(zhì)上，從而大大降低投入和管理成本。小伙伴們要想獲得更多數(shù)據(jù)遷移平臺(tái)的內(nèi)容，請(qǐng)關(guān)注新網(wǎng)。