本文的標(biāo)題是《
疫情下的算力“突圍” 綠色計(jì)算正為科技企業(yè)帶來(lái)低碳機(jī)會(huì)
》由作者:李子琪采編而成
上海社會(huì)科學(xué)院互聯(lián)網(wǎng)研究中心主任 惠志斌
**期間,居家、移動(dòng)、分散、遠(yuǎn)程辦公的場(chǎng)景已然成為社會(huì)常態(tài)。脫離企業(yè)內(nèi)部網(wǎng)絡(luò)環(huán)境的辦公模式對(duì)企業(yè)數(shù)字化水平提出了挑戰(zhàn),而在新的“無(wú)邊界”的企業(yè)網(wǎng)絡(luò)結(jié)構(gòu)中,大到企業(yè)數(shù)據(jù)中臺(tái)的運(yùn)轉(zhuǎn),小到一個(gè)數(shù)字化的辦公設(shè)備互聯(lián)、一次遠(yuǎn)程的數(shù)據(jù)傳輸,每一個(gè)習(xí)以為常的辦公**作背后,都是算力的支撐。
數(shù)字化程度決定企業(yè)在數(shù)字化經(jīng)濟(jì)時(shí)代的競(jìng)爭(zhēng)力,如果說(shuō)在數(shù)字化企業(yè)網(wǎng)絡(luò)架構(gòu)中,數(shù)據(jù)是新的生產(chǎn)資料,那么算力則成為新的生產(chǎn)力。算力作為企業(yè)生產(chǎn)的重要基礎(chǔ)設(shè)施,廣義上包括了數(shù)據(jù)采集、存儲(chǔ)、計(jì)算、應(yīng)用等。伴隨著圍繞業(yè)務(wù)開(kāi)展的海量數(shù)據(jù)(603138,診股)加工和處理,算力在支撐企業(yè)業(yè)務(wù)連續(xù)性的同時(shí)也帶來(lái)了巨大的能耗。以數(shù)據(jù)中心為例,每秒百萬(wàn)、千萬(wàn)的數(shù)據(jù)處理流的背后,都是不容忽視的能耗及其對(duì)環(huán)境帶來(lái)的壓力。
近年來(lái),業(yè)內(nèi)開(kāi)始廣泛提及“綠色計(jì)算”(Green Computing)概念。目前,“綠色計(jì)算”雖仍未有權(quán)威定義,但**科學(xué)院院士何積豐提出,綠色計(jì)算包括:采用高效、節(jié)能和低功耗的計(jì)算設(shè)備和配套設(shè)施;在保證信息服務(wù)可靠性的前提下,合理分配計(jì)算資源;保障可持續(xù)發(fā)展的低成本,低能耗的新型系統(tǒng)與應(yīng)用。基于這一概念認(rèn)知,目前業(yè)內(nèi)對(duì)綠色計(jì)算的討論與研究主要圍繞兩個(gè)方面,一是對(duì)PUE(Power Usage Effectiveness,電源使用效率)的討論,二是對(duì)計(jì)算資源合理分配的討論。
前者以谷歌的無(wú)碳能源運(yùn)營(yíng)計(jì)劃為例。4月14日,谷歌能源總監(jiān)邁克爾·特雷爾(Michael Terrell)表示,隨著整體互聯(lián)網(wǎng)使用量和業(yè)務(wù)的增長(zhǎng),該公司的用電量也在增長(zhǎng)。因此,谷歌制定了一個(gè)計(jì)劃,即到2030年實(shí)現(xiàn)全天候的無(wú)碳能源運(yùn)營(yíng)(采用風(fēng)力、水力或太陽(yáng)能(000591,診股)發(fā)電,使得在產(chǎn)生能量的過(guò)程中沒(méi)有碳原子的參與,不會(huì)產(chǎn)生二氧化碳)。從碳中和到無(wú)碳能源運(yùn)營(yíng),越來(lái)越多的科技企業(yè)在致力提升算力的同時(shí),考慮最大化降低計(jì)算的能耗。其中,通過(guò)充分利用自然冷源、利用可再生能源等措施來(lái)降低數(shù)據(jù)中心的PUE值也已成為業(yè)內(nèi)共識(shí)。后者則聚焦對(duì)計(jì)算資源合理分配、提升算力利用率的研究,雖然目前尚未被廣泛實(shí)踐,但相比圍繞PUE的投入,提升算力利用率技術(shù)仍是一片值得探索的藍(lán)海。
PUE之后,節(jié)能減排的破局在于“算力分配”。根據(jù)領(lǐng)先科技公司的平均PUE來(lái)看,試圖通過(guò)電源使用效率進(jìn)一步改善碳排放問(wèn)題的空間已經(jīng)不多。因此,科技公司下一階段的節(jié)能減排仍需尋找新的綠色計(jì)算途徑,而發(fā)展算力利用率提升技術(shù)將是一個(gè)值得投入的領(lǐng)域。提升算力利用率意味著通過(guò)技術(shù)合理分配計(jì)算資源,實(shí)現(xiàn)算力共享、錯(cuò)峰使用,從而提高單位算力的效率,對(duì)減排產(chǎn)生可觀的影響。
事實(shí)上,除了PUE的改善空間有限,發(fā)展算力利用率提升技術(shù)的另一個(gè)關(guān)鍵原因在于國(guó)內(nèi)科技公司一般具備很強(qiáng)的運(yùn)營(yíng)驅(qū)動(dòng)特性,運(yùn)營(yíng)驅(qū)動(dòng)的核心點(diǎn)之一是其對(duì)計(jì)算資源的需求存在峰值。在特定活動(dòng)期間,計(jì)算資源需求量激增;日常階段,計(jì)算資源需求則相對(duì)減少。因此,過(guò)多的算力儲(chǔ)備可能帶來(lái)浪費(fèi),而采用提高單位算力效率的方式則恰好契合運(yùn)營(yíng)驅(qū)動(dòng)的公司特點(diǎn),為下一階段的減排提供可觀的良好效果。
根據(jù)螞蟻集團(tuán)最新的減排報(bào)告數(shù)據(jù),2021年通過(guò)其自研的著眼于提效的綠色計(jì)算技術(shù),共實(shí)現(xiàn)減排量29591.48噸,節(jié)能相當(dāng)于全國(guó)全部的新能源汽車(截止2021年6月,總保有量為603萬(wàn)輛)開(kāi)上50公里的總耗電量。這一數(shù)據(jù)充分體現(xiàn)了算力利用率提升技術(shù)的作用與優(yōu)勢(shì),這也是諸如螞蟻集團(tuán)等大型科技公司在這一領(lǐng)域上率先布局和投入的重要原因。
算法利用率提升技術(shù)發(fā)展的核心在于自研。據(jù)了解,螞蟻集團(tuán)的所有業(yè)務(wù)自2019年開(kāi)始陸續(xù)上云,作為服務(wù)幾億用戶的平臺(tái),每分鐘都在對(duì)海量的數(shù)據(jù)進(jìn)行處理和計(jì)算,因此螞蟻集團(tuán)在追求業(yè)務(wù)穩(wěn)定性的同時(shí),也開(kāi)始系統(tǒng)性地探索綠色計(jì)算技術(shù),提高計(jì)算資源的利用率、降低服務(wù)器數(shù)量。然而,作為提供支付等多種服務(wù)的平臺(tái),如何在減少服務(wù)器用量的同時(shí),保證業(yè)務(wù)穩(wěn)定和用戶體驗(yàn)不變?如何在綠色計(jì)算的同時(shí),維持服務(wù)的安全可靠?螞蟻集團(tuán)首席技術(shù)官倪行軍認(rèn)為,正因?yàn)檫@些困難,逼著我們做出了一些創(chuàng)新”。
自主研發(fā)在綠色計(jì)算技術(shù)的整體發(fā)展進(jìn)程中占據(jù)了重要地位。在多個(gè)技術(shù)團(tuán)隊(duì)的努力下,螞蟻集團(tuán)摸索出一套業(yè)內(nèi)領(lǐng)先的資源調(diào)度技術(shù)體系,并于2021年雙11期間實(shí)現(xiàn)首次規(guī)模化應(yīng)用。據(jù)了解,“綠色計(jì)算”技術(shù)體系來(lái)自可信原生、技術(shù)風(fēng)險(xiǎn)、OceanBase數(shù)據(jù)庫(kù)以及智能引擎等多個(gè)技術(shù)團(tuán)隊(duì),其中有三個(gè)核心技術(shù)點(diǎn):在離線混合部署技術(shù)、云原生分時(shí)調(diào)度、AI彈性容量。
在離線混合部署可以提高服務(wù)器的利用率。在行業(yè)實(shí)踐中,離線任務(wù)和在線任務(wù)往往被分布在不同的數(shù)據(jù)中心,導(dǎo)致了服務(wù)器的資源運(yùn)行效率低且大量的能源浪費(fèi)。針對(duì)這一問(wèn)題的解決思路是將二者混合部署在同一數(shù)據(jù)中心,但技術(shù)上面臨最大的難點(diǎn)是讓在線業(yè)務(wù)不受離線任務(wù)的影響,雙方互不干擾。對(duì)此,以螞蟻集團(tuán)的實(shí)踐為參考,將Kata安全容器的強(qiáng)隔離技術(shù)用于離線任務(wù)與在線任務(wù)在調(diào)度系統(tǒng)內(nèi)的混合部署,將在線應(yīng)用部署到離線集群上面,通過(guò)削峰填谷”可以解決資源利用率問(wèn)題。簡(jiǎn)而言之,在交易高峰時(shí),暫時(shí)減少對(duì)時(shí)效性低的離線服務(wù)”的處理,將更多計(jì)算資源調(diào)度至交易結(jié)算等“在線服務(wù)”。而到了交易低谷期(比如凌晨)時(shí),再重新開(kāi)始處理離線服務(wù)的計(jì)算量。這種彈性的可自由調(diào)度的部署方式是綠色計(jì)算技術(shù)發(fā)展下,值得借鑒的方案之一。
此外,互聯(lián)網(wǎng)公司往往每年都要在大量服務(wù)器上投入高額成本,那么同一份服務(wù)器資源是否可以供給不同時(shí)段的業(yè)務(wù)高峰使用,以提高服務(wù)器的利用率?基于云原生的分時(shí)調(diào)度技術(shù)針對(duì)這一問(wèn)題給了確切的回復(fù):可以把一份資源在不同的時(shí)間段提供給不同的應(yīng)用,按照?qǐng)鼍靶枨箪`活切分資源供給,確保資源的最大復(fù)用和按時(shí)足量供給;AI智能容量技術(shù)則可以利用大數(shù)據(jù)和AI技術(shù)實(shí)現(xiàn)智能預(yù)測(cè)流量,并進(jìn)行合理的擴(kuò)容和縮容。
基于這些創(chuàng)新技術(shù),最終實(shí)現(xiàn)的節(jié)能效果是“螞蟻集團(tuán)的服務(wù)器利用率同比三年前可以提高2倍以上,在同等規(guī)模的業(yè)務(wù)下的每一份算力的耗電減少一半”。
最后,伴隨全球互聯(lián)網(wǎng)的高速發(fā)展,數(shù)字化程度加深,我們預(yù)計(jì)未來(lái)數(shù)據(jù)中心的增長(zhǎng)將直接帶動(dòng)數(shù)據(jù)中心的用電量需求激增。因此,不管是從當(dāng)下的算力能耗考慮,還是從長(zhǎng)遠(yuǎn)發(fā)展眼光來(lái)看,通過(guò)技術(shù)賦能算力節(jié)能都是一個(gè)正確且必要的方向。預(yù)計(jì)綠色計(jì)算在算法利用率提升技術(shù)發(fā)展領(lǐng)域中,一方面將著眼提升算力效率,在物理層面減少服務(wù)器數(shù)量,間接緩解能耗問(wèn)題;另一方面將在代碼層面加大投入,考慮到大型科技公司每年會(huì)生產(chǎn)出數(shù)十億行代碼,通過(guò)整體提升代碼運(yùn)行的性能,讓單位算力的效率最大化將是綠色計(jì)算下一步需要探索的方向。
本文由李子琪采編自網(wǎng)絡(luò)轉(zhuǎn)載,如有侵權(quán) 請(qǐng)聯(lián)系站長(zhǎng)刪除
原創(chuàng)文章,作者:李子琪,如若轉(zhuǎn)載,請(qǐng)注明出處:http://www.uuuxu.com/20220425294223.html