MaxCompute規格詳解--合理的選擇讓您花更低的成本獲得更高的業務價值-阿里云開發者社區

開發者社區> 阿里巴巴大數據計算> 正文

MaxCompute規格詳解--合理的選擇讓您花更低的成本獲得更高的業務價值

簡介: 本文由阿里巴巴技術專家海清帶來以“MaxCompute規格詳解”為主題的演講。首先概述了在使用MaxCompute時,通常選擇的兩種服務模式,按量計費和包年包月,以及在MaxCompute計費過程中所產生的各項費用。

精彩視頻回看請點擊:

以下為精彩視頻內容整理:
在用戶使用MaxCompute之前,都會考慮成本和業務兩大問題。有些企業處在快速的發展期,在業務上對性能的要求比較高,例如計算業務對資源的需求是彈性的,要求峰谷明顯,一段時間對資源的要求非常高,另一段時間對資源的要求是比較低的,這種類型屬于業務優先于成本。還有一些企業對預算有嚴格的要求,例如進行合同制的企業,在前期必須要有明確的預算,但對性能的要求不是很高,只需要在當天能夠完成任務。基于以上兩大場景MaxCompute推出了一系列格和計費方式。

服務模式

MaxCompute服務模式

圖片 1.png
MaxCompute的服務模式有兩種方式,按量計費和包年包月。開通MaxCompute相當于對服務進行注冊,同時產生有協議的訂單,訂單成功后即可使用該服務。按量計費是指整個訂單計費模式都為使用之后再按量計費,包括計算、存儲、下載幾大塊主要功能。開通時為0元開通,開通后若不使用則無費用產生。包年包月是指訂單計費模式為混合模式,計算資源是按包年包月進行預付費,存儲和下載則為使用之后在按量計費。開通時需要預先對計算資源進行付款。

MaxCompute計費方式

MaxCompute費用由三部分組成,存儲費用、計算費用和下載費用。

  • 存儲費用按存儲的數據容量大小進行階梯計費,包年包月套餐中有固定的存儲量,超出部分按量計費。
  • 計算費用包含SQL任務、MapReduce任務、Lightning任務及Spark任務。
  • SQL任務在按量付費時,如果是標準版,根據計算輸入數據量及SQL的復雜度進行計算。如果是開發者版,根據計算輸入量進行計算。在購買完包年包月的計算資源后,無需額外付費。
  • MapReduce任務在按量付費時,根據計算任務所消耗的計算時進行計費。在購買完包年包月的計算資源后,無需額外付費。
  • Lightning任務是根據查詢輸入量進行計算。
  • Spark任務在按量付費時,根據計算任務所消耗的計算時進行計算。在購買完包年包月的計算資源后,無需額外付費。
  • 下載費用按公網下載的流量進行計費。對上傳、內網的下載不產生費用。

規格介紹

按量計費

圖片 2.png

按量計費-標準版

按量計費包括標準版和開發者版,標準版的計算資源為極致的彈性計算資源,資源池為共享型,計算任務按需搶占,不可指定使用量也無使用限制。包括SQL(含UDF)、MapReduce、Spark、交互式分析(Lightning)、Graph等計算類型資源。存儲資源的資源池為共享型,按需存儲,無使用限制。包括表(Table)和資源(Resource)等存儲。上傳、下載數據資源的資源池為共享型,按需搶占,不可指定用量也無使用限制。主要包括Tunnel的Upload、Download資源。
針對標準版的計費說明,計算資源(CU)收費按各計算類型任務使用量計費。當前僅SQL、MR、Spark、交互式分析幾類計算任務有計費。存儲收費只收表(Table)存儲的容量費用。且容量大小是壓縮后的數據。數據上傳、下載收費指數據上傳至MaxCompute為免費;僅對通過公網下載進行按量收費。

按量計費-開發者版

開發者版的計算資源資源池為共享型,計算任務按需搶占資源,不可指定使用量,只提供MaxCompute SQL(支持使用UDF)、PyODPS計算資源;一個region只能有一個項目選擇使用開發者版資源;每個項目最大作業并發數為5個;單作業最多只能占用10CU計算資源。存儲資源的資源池為共享型,按需存儲。每個項目最大存儲量限制在500GB(含臨時數據大小),超過500GB將無法存入。這兩個因素的限制使得開發者版資源不適合作為生產資源。上傳、下載數據資源的資源池為共享型,按需搶占,不可指定用量也無使用限制。主要包括Tunnel的Upload、Download資源。
針對開發者版的計費說明,計算資源(CU)收費:計算作業按照數據掃描量計費。每個月贈送價值100元的免費計算量,即每月可免費執行掃描666GB數據的作業量,超出部分將按量計費。存儲收費:每個項目空間可免費且只能存儲500GB資源。數據上傳、下載收費:數據上傳至MaxCompute為免費;僅對通過公網下載進行按量收費。

包年包月

3.png

包年包月-標準計算資源

計算資源包含計算資源單元和非預留計算資源兩種。計算資源單元即為預留計算資源,是必選資源。資源池為獨享型,按購買CU量固定分配資源。非預留計算資源為非必選資源,資源數量在[0,購買量]區間內且不可獨享。計算任務只能占用預留和非預留計算資源。資源可以執行SQL(含UDF)、MapReduce、Spark、Graph等計算類型任務。存儲資源的資源池為共享型,按需存儲,無使用限制。包括表(Table)和資源(Resource)等存儲。上傳、下載數據資源的資源池為共享型,按需搶占,不可指定用量也無使用限制。主要包括Tunnel的Upload、Download資源。
針對標準計算資源的計費說明,計算資源(CU)收費:服務開通生成訂單時就需要預先付費,按CU量和購買時長進行收費。預留和非預留資源單價不一樣。存儲收費:只收表(Table)存儲的容量費用。且容量大小是壓縮后的數據。數據上傳、下載收費:數據上傳至MaxCompute為免費;僅對通過公網下載進行按量收費。

包年包月-套餐版

針對計算資源,套餐中的預留計算資源為獨享資源,按購買套餐固定分配計算資源。非預留計算資源為非必選資源,資源數量在[0,購買量]區間內且不可獨享。計算任務只能占用預留和非預留計算資源。資源可以執行SQL(含UDF)、MapReduce、Spark、Graph等計算類型任務。存儲資源的資源池為共享型,按需存儲,無使用限制。包括表(Table)和資源(Resource)等存儲。上傳、下載數據資源的資源池為共享型,按需搶占,不可指定用量也無使用限制。主要包括Tunnel的Upload、Download資源。
針對套餐版的計費說明,計算資源(CU)收費:服務開通生成訂單時就需要預先付費,按套餐和購買時長進行收費。預留和非預留資源單價不一樣。存儲收費:只收表(Table)存儲的容量費用。且容量大小是壓縮后的數據。每日按購買的套餐提供固定的存儲量,超出的量另行計費。數據上傳、下載收費:數據上傳至MaxCompute為免費;僅對通過公網下載進行按量收費。

包年包月-非預留計算資源

針對計算資源,資源數量為[0,購買量]范圍內的彈性資源池。購買后系統不預留資源,任務發起后,系統會在總資源池搶占并分配空閑資源。如果總資源池中空閑資源充足則可能為您分配所購買的最大CU量;如果總資源池繁忙則可能為您分配0CU。MaxCompute可保障您購買的非預留計算資源全天50%的計算力(一天計算力:資源數量*24小時)。資源可以執行SQL(含UDF)、MapReduce、Spark、Graph等計算類型任務。存儲資源的資源池為共享型,按需存儲,無使用限制。包括表(Table)和資源(Resource)等存儲。上傳、下載數據資源的資源池為共享型,按需搶占,不可指定用量也無使用限制。主要包括Tunnel的Upload、Download資源。
針對非預留計算資源的計費說明,計算資源(CU)收費:服務開通生成訂單時就需要預先付費,按CU量和購買時長進行收費。存儲收費:只收表(Table)存儲的容量費用。且容量大小是壓縮后的數據。數據上傳、下載收費:數據上傳至MaxCompute為免費;僅對通過公網下載進行按量收費。

選擇和使用

計算資源的選擇

如何選擇生產計算資源,就要從計算資源需求的場景來考慮。對于極致的彈性計算資源需求,資源為按量計費標準版,計算資源彈性使用,按量付費,其中SQL單價為0.3元/GB/1復雜度。規格優勢在于資源不受限,峰值有保障,劣勢在于費用不受控,目前有消費監控告警。對于重預算、重基線的場景需求,資源類型為包年包月預留計算資源,獨享計算資源,購買后系統固定預留CU。包年包月標準版和套餐中的計算資源單元均為預留計算資源。其中標準版預留計算資源單價為150元/CU/月。規格優勢在于資源獨享,預算可控,劣勢在于資源受限不利于超高峰值任務。
對于重預算、輕基線的場景需求,資源類型為包年包月非預留計算資源,預付彈性計算資源池,購買后使用時可獲得[0,購買量]的彈性資源,單價為40元/CU/月。資源優勢在于價格低廉,預算可控,劣勢在于資源不可獨享,忙時不能保障峰值。

資源類型的使用

  • 按量付費使用

4.png
對于按量付費中的計算資源使用,開通按量計費模式以后,就擁有了共享資源池的使用權,同時創建一個或多個project,就可以指定的使用資源池。MaxCompute會分配共享資源池作為默認資源組,創建MaxCompute project時只要選擇按量計費模式,project都是綁定這個默認公共資源組。當project里發起task,則按需占用該資源池資源。它的優勢在于使用靈活,無需對資源進行管理,只需要按業務進行項目規劃。重點提醒的是需要配置好相關消費監控告警可以领救济金的游戏,避免預料外的高額賬單。
對于按量付費中的存儲資源使用,無使用限制,無需關注存儲資源,只需要按業務需求進行數據存放。重點提醒的是管理好數據生命周期,存在多project時,在滿足業務需求的同時集中存放數據。

  • 包年包月預留資源使用

購買預留計算資源時可以领救济金的游戏,開通包年包月模式,選擇“標準計算資源”,同時非預留計算資源為0;或者選擇3種套餐中的任何一種,同時非預留計算資源為0。
5.png
使用非預留計算資源時,購買包年包月計算資源后,系統默認給分配一個資源組,其中只包含預留計算資源。可以在MaxCompute管家中創建二級quota組細分資源,如果不細分,則只有1中的默認quota組。Project指定使用包年包月計算資源(默認quota組)后,到MaxCompute管家指定具體quota組。Project中單個task按業務需求可通過quota tag功能指定到其他二級quota組執行。

  • 包年包月非預留資源使用

購買非預留計算資源時,當前僅在國內上海、北京、杭州、深圳4個region可購買,其他地區的region沒有開放。購買時有兩種方式,組合購買和單獨購買,同時也要根據自己的業務需求購買。
6.png
組合購買,即標準計算資源或套餐購買的同時加購非預留計算資源。通過購買100CU和300ECU后,系統默認給分配一個資源組。可以在MaxCompute管家中創建二級quota組細分資源,一組為默認100CU,另一組為300ECU。Project指定使用默認quota組后,到MaxCompute管家指定具體quota組。Project中單個task按業務需求可通過quota tag功能指定到其他二級quota組執行。如果沒有進行細分,這種方式會優先使用預留資源,通過細分預留資源可以進行一些重要的任務,非預留資源可以進行一些峰值高、對性能要求不是很高的任務。
7.png
單獨購買,即只購買使用非預留計算資源。購買300ECU后,默認quota組中會有300ECU,project中的所有任務都會使用默認quota組的計算資源。
所有的規格在不同的模式中都是可以切換使用的,比如剛開始使用的是開發者版,也可以切換成標準版來使用,但是不可以將標準版切換成開發者版。使用包年包月時,開通后只能選擇一個規格,當有需求時也可以通過升級和降配的頁面切換成另外的規格。Project創建時,剛開始選擇按量付費,在使用過程中也可以切換成包年包月資源,或者剛開始選擇包年包月,在使用過程中也可以切換成按量付費。

  • 包年包月和按量計費混合使用

在實際使用時,也可以按業務需求,同時開通兩種模式,混合使用。比如,任務的業務數據量很大但是時間要求不高,按量計費不劃算可以使用包年包月資源慢慢執行。再比如,任務需要重點保障時間,且峰值很高,包年包月按峰值數量購買的話很多時間又閑置不劃算,買少了又不能保障峰值和時間,可以放到按量計費資源執行。

示例

案例一:MaxCompute按量計費
8.png
如上圖所示,此案例的需求特點是業務處在需要快速發展階段,對數據基線要求高,集群利用率低可以领救济金的游戏,業務計算閑時占比大于50%,計算峰值是平均水位的大于2倍。這時,推薦規格為按量付費,業務處在高速發展期,使用MaxCompute相比于IDC自建集群,可以省掉集群運維成本,同時靈活的彈性資源可以滿足爆發式分析資源需求。

案例二:MaxCompute包年包月
9.png
此案例的需求特點是成本控制嚴格,特別關注低質量SQL對計費的影響,如果是預算合同制,通過按量不容易估算成本。在前期可評估每天平均作業量和數據量,計算峰值所需核數是平均水位的5倍,但對生產性能要求不高。這時,推薦規格為包年包月的預留資源加非預留預付。如上圖所示,通過獨占計算資源和非預留系統搶占式計算資源的方式,以預留獨享計算資源保障重要業務,非預留作為非保障業務峰值擴充資源。

大家如果對MaxCompute有更多咨詢或者建議,歡迎掃碼加入 MaxCompute開發者社區釘釘群,或 申請加入。
2群.png

版權聲明:本文中所有內容均屬于阿里云開發者社區所有,任何媒體、網站或個人未經阿里云開發者社區協議授權不得轉載、鏈接、轉貼或以其他方式復制發布/發表。申請授權請郵件developerteam@list.alibaba-inc.com,已獲得阿里云開發者社區協議授權的媒體、網站,在轉載使用時必須注明"稿件來源:阿里云開發者社區,原文作者姓名",違者本社區將依法追究責任。 如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至:developer2020@service.aliyun.com 進行舉報,并提供相關證據,一經查實,本社區將立刻刪除涉嫌侵權內容。

分享:
阿里巴巴大數據計算
使用釘釘掃一掃加入圈子
+ 訂閱

阿里大數據官方技術圈

官方博客
鏈接
  • 官網:
  • 控制臺:
  • 線上實驗: