9月18日，2020云棲大會(huì)上，阿里云正式推出大數(shù)據(jù)平臺(tái)的下一代架構(gòu)&mdash；&mdash；湖倉(cāng)一體，打通數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)湖兩套體系，讓數(shù)據(jù)和計(jì)算在湖與倉(cāng)之間自由流動(dòng)，從而構(gòu)建一個(gè)完整的有機(jī)的大數(shù)據(jù)技術(shù)生態(tài)體系。為企業(yè)提供兼具數(shù)據(jù)湖的靈活性和數(shù)據(jù)倉(cāng)庫(kù)的成長(zhǎng)性的新一代大數(shù)據(jù)平臺(tái)，降低企業(yè)構(gòu)建大數(shù)據(jù)平臺(tái)的整體成本。

　　大數(shù)據(jù)技術(shù)從本世紀(jì)初發(fā)展至今演進(jìn)出了數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)湖兩種趨勢(shì)，前者通常指云廠商提供的基于大數(shù)據(jù)技術(shù)的一體化服務(wù)，后者通常是由一系列云產(chǎn)品或開(kāi)源組件共同構(gòu)成的大數(shù)據(jù)解決方案。

　　當(dāng)企業(yè)處在初創(chuàng)階段，靈活性就非常重要，數(shù)據(jù)湖的架構(gòu)更適用。當(dāng)企業(yè)逐漸成熟，成長(zhǎng)性成為最關(guān)鍵因素，數(shù)據(jù)倉(cāng)庫(kù)的架構(gòu)就再適合不過(guò)了。那么，數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)湖是否只能是一道單選題？能否有一種方案同時(shí)兼顧數(shù)據(jù)湖的靈活性和云數(shù)據(jù)倉(cāng)庫(kù)的成長(zhǎng)性？

　　阿里巴巴集團(tuán)副總裁、阿里云計(jì)算平臺(tái)負(fù)責(zé)人賈揚(yáng)清表示，MaxCompute湖倉(cāng)一體方案打破了數(shù)據(jù)湖與數(shù)據(jù)倉(cāng)庫(kù)割裂的體系，在架構(gòu)上將數(shù)據(jù)湖的靈活性、生態(tài)豐富與數(shù)據(jù)倉(cāng)庫(kù)的企業(yè)級(jí)能力進(jìn)行融合，從而構(gòu)建數(shù)據(jù)湖和數(shù)據(jù)倉(cāng)庫(kù)融合的湖倉(cāng)一體的全新計(jì)算平臺(tái)。MaxCompute湖倉(cāng)一體方案不僅可廣泛用于支持超大規(guī)模的機(jī)器學(xué)習(xí)和深度學(xué)習(xí)，還能幫助企業(yè)高效提升自身大數(shù)據(jù)能力，實(shí)現(xiàn)敏捷運(yùn)營(yíng)，降本增效。

　　據(jù)悉，MaxCompute在原有的數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)上，融合了存儲(chǔ)計(jì)算一體化數(shù)據(jù)倉(cāng)庫(kù)和云上存儲(chǔ)計(jì)算分離的數(shù)據(jù)湖，最終實(shí)現(xiàn)了湖倉(cāng)一體化的整體架構(gòu)。在該架構(gòu)中，盡管底層多套存儲(chǔ)系統(tǒng)并存，但通過(guò)統(tǒng)一的存儲(chǔ)訪問(wèn)層和統(tǒng)一的元數(shù)據(jù)管理，向上層引擎提供一體的封裝接口，用戶可以Join數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)湖中的兩張表，同時(shí)整體架構(gòu)還具備統(tǒng)一的數(shù)據(jù)安全、管理和治理等中臺(tái)能力。

　　在技術(shù)融合過(guò)程中，MaxCompute不僅實(shí)現(xiàn)了快速接入、統(tǒng)一數(shù)據(jù)/元數(shù)據(jù)管理、統(tǒng)一開(kāi)發(fā)體驗(yàn)、自動(dòng)數(shù)倉(cāng)四個(gè)關(guān)鍵技術(shù)點(diǎn)，更持續(xù)提升了核心性能，在2020 TPCx-BigBench中，MaxCompute基于英特爾至強(qiáng)可擴(kuò)展處理器在100TB規(guī)模保持性能不變的情況下，成本較去年下降了40%；30TB規(guī)模下，性能提升50%以上，成本下降了30%以上。

　　微博是湖倉(cāng)一體的嘗鮮者。此前微博擁有Hadoop數(shù)據(jù)湖和阿里云大數(shù)據(jù)及AI兩套異構(gòu)的大數(shù)據(jù)平臺(tái)，且兩套平臺(tái)在集群層面完全割裂，數(shù)據(jù)和計(jì)算無(wú)法自由流動(dòng)。為了解決這些難題，微博基于阿里云構(gòu)建了湖倉(cāng)一體化的AI計(jì)算中臺(tái)，擺脫了繁重的數(shù)據(jù)搬遷，使得微博的數(shù)據(jù)工程師和算法工程師輕松無(wú)縫的借助阿里巴巴成熟的超大規(guī)模算力和算法賦能業(yè)務(wù)提效。同時(shí)，將MaxCompute云數(shù)據(jù)倉(cāng)庫(kù)(結(jié)構(gòu)化數(shù)據(jù))與數(shù)據(jù)湖(非結(jié)構(gòu)化數(shù)據(jù))構(gòu)成閉環(huán)，極大提升了AI類作業(yè)效率，產(chǎn)生巨大的業(yè)務(wù)價(jià)值。

　　阿里云自研云數(shù)據(jù)倉(cāng)庫(kù)MaxCompute歷經(jīng)近10年技術(shù)沉淀，不僅穩(wěn)定支撐阿里巴巴集團(tuán)的數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)計(jì)算業(yè)務(wù)，更是云上客戶大數(shù)據(jù)平臺(tái)的重要組成部分。此次湖倉(cāng)一體發(fā)布，為企業(yè)提供了一種更靈活更高效更經(jīng)濟(jì)的數(shù)據(jù)平臺(tái)解決方案，既適用于全新構(gòu)建大數(shù)據(jù)平臺(tái)的企業(yè)，也適合已有大數(shù)據(jù)平臺(tái)的企業(yè)進(jìn)行架構(gòu)升級(jí)，切實(shí)以技術(shù)加速了企業(yè)的數(shù)字化重構(gòu)。

　　據(jù)了解，本次云棲大會(huì)上，賈揚(yáng)清還發(fā)布阿里云云原生數(shù)據(jù)湖體系，基于對(duì)象存儲(chǔ)OSS、數(shù)據(jù)湖構(gòu)建Data Lake Formation和云原生開(kāi)源大數(shù)據(jù)產(chǎn)品E-MapReduce的強(qiáng)強(qiáng)組合，提供存儲(chǔ)與計(jì)算分離架構(gòu)下，涵蓋湖存儲(chǔ)、湖加速、湖管理和湖計(jì)算的企業(yè)級(jí)數(shù)據(jù)湖解決方案。以及宣布MaxCompute和Hologres產(chǎn)品融合升級(jí)，提供離線、實(shí)時(shí)、分析、服務(wù)一體的數(shù)據(jù)倉(cāng)庫(kù)。