中國(guó)儲(chǔ)能網(wǎng)訊：
1、智算中心發(fā)展背景
隨著AI大模型的快速發(fā)展，各種深度學(xué)習(xí)算法和機(jī)器學(xué)習(xí)模型在復(fù)雜性和規(guī)模上都有了顯著增長(zhǎng)。為了支撐這些先進(jìn)模型的訓(xùn)練與推理，需要強(qiáng)大的計(jì)算能力，由此引發(fā)了智算中心(人工智能計(jì)算中心) 的技術(shù)升級(jí)和方案變革。智算中心基礎(chǔ)設(shè)施不同于傳統(tǒng)機(jī)房，需以算力為中心，在算力需求不斷增長(zhǎng)和綠色節(jié)能的政策要求共同驅(qū)動(dòng)下，液冷技術(shù)已成為解決智算中心高密散熱難題的首要選擇。
智算中心是指專門(mén)配置了用于執(zhí)行人工智能算 法的高性能計(jì)算資源的數(shù)據(jù)中心。它們專為訓(xùn)練復(fù)雜的機(jī)器學(xué)習(xí)模型、支持深度學(xué)習(xí)任務(wù)以及處理大 量AI工作負(fù)載而設(shè)計(jì)。智算中心通常搭載了大量高性能的CPU、GPU或TPUs等處理器以提供必要的計(jì)算能力，采用并行計(jì)算架構(gòu)來(lái)提高處理速度和效率，配有高速且容量巨大的存儲(chǔ)系統(tǒng)用于處理和存儲(chǔ)大量的訓(xùn)練數(shù)據(jù)集。為了滿足AI訓(xùn)練常用的數(shù)據(jù)并行、模型并行、流水線并行等混合并行策略的通信需求，需要為芯片間和節(jié)點(diǎn)間提供低延遲、高帶寬的互聯(lián)，因此AI訓(xùn)練集群化帶來(lái)了數(shù)據(jù)中心高密化需求，從而衍生出了散熱問(wèn)題的技術(shù)革命。高性能計(jì)算(HPC)和AI應(yīng)用產(chǎn)生的熱量巨大，這對(duì)智算中心機(jī)房的冷卻系統(tǒng)提出了極高要求，同時(shí)減少能源消耗和提高能源效率也是降低運(yùn)營(yíng)成本和實(shí)現(xiàn)綠色低碳的關(guān)鍵。
國(guó)家對(duì)PUE日益嚴(yán)格的要求也在激發(fā)數(shù)據(jù)中心采用更高效的制冷技術(shù)。國(guó)家發(fā)展改革委、國(guó)務(wù)院國(guó)資委、工信部等七部聯(lián)合印發(fā)的《信息通信行業(yè)綠色低碳發(fā)展行動(dòng)計(jì)劃(2022—2025年)》指出到2025年，新建大型、超大型數(shù)據(jù)中心PUE優(yōu)于1.3；國(guó)家發(fā)展改革委、國(guó)家數(shù)據(jù)局、中央網(wǎng)信辦、工信部、 國(guó)家能源局印發(fā)的《關(guān)于深入實(shí)施“東數(shù)西算”工程加快構(gòu)建全國(guó)一體化算力網(wǎng)的實(shí)施意見(jiàn)》提出推進(jìn)數(shù)據(jù)中心用能設(shè)備節(jié)能降碳改造，推廣液冷等先進(jìn)散熱技術(shù)。在國(guó)家政策的大力驅(qū)動(dòng)下，液冷已成為實(shí)現(xiàn)數(shù)據(jù)中心綠色低碳發(fā)展的重要技術(shù)手段。
2、冷板式液冷技術(shù)應(yīng)用現(xiàn)狀
液冷技術(shù)對(duì)比傳統(tǒng)風(fēng)冷散熱技術(shù)具有諸多優(yōu)勢(shì)。由于液體比空氣具有更高的熱容和熱導(dǎo)率，可以更有效地吸收和傳輸熱量，這意味著液冷系統(tǒng)可以更快速地從熱源(如處理器)中抽取熱量，并有效地將其傳輸?shù)綗峤粨Q器或冷卻塔中，從而使設(shè)備運(yùn)行在較低的溫度下，減少局部熱點(diǎn)的產(chǎn)生，提高設(shè)備的穩(wěn)定性和壽命。由于液冷系統(tǒng)的高效率，對(duì)冷卻液泵的功率要求遠(yuǎn)低于空調(diào)或風(fēng)扇系統(tǒng)所需的功率，減少了電力消耗，降低了運(yùn)行成本。液冷技術(shù)使得服務(wù)器可以進(jìn)行更緊湊的組件布局，減少所需的基礎(chǔ)設(shè)施和空間，滿足數(shù)據(jù)中心高密化演進(jìn)需求。傳統(tǒng)空調(diào)冷卻系統(tǒng)依賴于大量使用能量密集的壓縮機(jī)和潛在環(huán)境危害的制冷劑(氫氟碳化物)，液冷技術(shù)減少了對(duì)這些制冷劑的依賴，有助于減少溫室氣體排放。
液冷技術(shù)主要分為冷板式液冷和浸沒(méi)式液冷兩個(gè)方向，其中冷板式液冷是目前國(guó)內(nèi)應(yīng)用最成熟和交付規(guī)模體量最大的液冷方式。冷板式液冷可以兼 容多種服務(wù)器架構(gòu)，容易與現(xiàn)有的空氣冷卻數(shù)據(jù)中心設(shè)計(jì)整合，使得過(guò)渡到使用液冷技術(shù)的門(mén)檻較低。與浸沒(méi)式液冷相比，冷板式液冷的設(shè)計(jì)和工程實(shí)施相對(duì)簡(jiǎn)單。冷板可直接替代傳統(tǒng)的風(fēng)冷散熱器安裝到現(xiàn)有的服務(wù)器硬件上，對(duì)服務(wù)器硬件的修改設(shè)計(jì)要求更低，并且更容易標(biāo)準(zhǔn)化，實(shí)現(xiàn)服務(wù)器與機(jī)柜解耦。冷板式液冷系統(tǒng)相對(duì)容易維護(hù)，初期投資和運(yùn)維成本相比浸沒(méi)式液冷較低。冷板式液冷技術(shù)目前得到了大量的實(shí)踐檢驗(yàn)，解決方案較為豐富，供應(yīng)鏈相對(duì)完善。但在場(chǎng)景應(yīng)用、方案選擇、成本優(yōu)化、 交付模式、運(yùn)維模式等方面仍存在諸多挑戰(zhàn)。因此深入研究冷板式液冷技術(shù)具有較大的現(xiàn)實(shí)意義和發(fā)展空間。
在數(shù)據(jù)中心的冷板式液冷解決方案中，整機(jī)柜交付方式與解耦交付方式是兩種不同的商業(yè)模式和工程實(shí)施方式。數(shù)據(jù)中心需要綜合考慮需求差異性、 成本、運(yùn)營(yíng)效率、生態(tài)成熟度、長(zhǎng)期發(fā)展計(jì)劃等多方面因素選擇兩種交付方式。
整機(jī)柜交付方式指的是由設(shè)備廠商預(yù)先將服務(wù)器、存儲(chǔ)設(shè)備、網(wǎng)絡(luò)設(shè)備、供電系統(tǒng)以及必要的管路連接系統(tǒng)集成為一體柜形式整體交付給用戶側(cè)。整機(jī)柜交付可以實(shí)現(xiàn)快速部署，減少現(xiàn)場(chǎng)安裝和配置的工作量，加快數(shù)據(jù)中心建設(shè)部署速度。整機(jī)柜設(shè)備的所有組件通常都是由同一家廠商提供的，確保了系統(tǒng)的兼容性和可靠性，但是由于液冷系統(tǒng)和IT設(shè)備緊密耦合，更換或升級(jí)單個(gè)組件相比解耦交付方式會(huì)更為復(fù)雜。整機(jī)柜產(chǎn)品在研發(fā)階段對(duì)于技術(shù)要求較高，生產(chǎn)廠商需具有較高的集成能力和設(shè)計(jì)能力，系統(tǒng)驗(yàn)證周期較長(zhǎng)，研發(fā)成本較大，不同廠商間易存在技術(shù)壁壘。
解耦交付方式指的是液冷機(jī)柜與IT設(shè)備分開(kāi)提供和安裝，交付時(shí)先部署液冷機(jī)柜，隨著需求的增長(zhǎng)再逐步部署IT負(fù)載，這種方式為用戶側(cè)提供了更大的靈活性，可以分階段進(jìn)行服務(wù)器上架，并且可以選擇不同廠商的IT設(shè)備配合特定的液冷機(jī)柜，根據(jù)業(yè)務(wù)需求進(jìn)行定制和優(yōu)化。解耦交付相比整機(jī)柜交付而言可以通過(guò)形成統(tǒng)一的設(shè)計(jì)標(biāo)準(zhǔn)來(lái)減少產(chǎn)品研發(fā)成本，降低對(duì)生產(chǎn)廠商的技術(shù)能力要求，減輕供應(yīng)鏈壓力。解耦后整個(gè)系統(tǒng)更加白盒化，可促進(jìn)液冷生態(tài)良性發(fā)展，為用戶側(cè)節(jié)省成本。因此解耦交付有助于推動(dòng)整個(gè)液冷生態(tài)朝著標(biāo)準(zhǔn)化、經(jīng)濟(jì)化、 規(guī)?；焖侔l(fā)展。
3、冷板式液冷解耦化研究
冷板式液冷系統(tǒng)的工作原理是通過(guò)冷板(通常由銅、鋁等高導(dǎo)熱金屬構(gòu)成的封閉腔體)將發(fā)熱元器件的熱量間接傳遞給封閉在循環(huán)管路中的冷卻液體，然后通過(guò)冷卻液體的循環(huán)將熱量帶走。其主要組成部分包括冷板、冷卻液、分集液器、流體連接器、 冷卻液分配單元(CDU)、室外冷卻設(shè)備、供電系統(tǒng)等。解耦冷板式液冷系統(tǒng)的特點(diǎn)主要體現(xiàn)在IT設(shè)備與液冷機(jī)柜生產(chǎn)來(lái)源不同，可能存在冷卻液兼容材質(zhì)、流體連接器接口類(lèi)型、供電形式等方面的差異， 導(dǎo)致在交付適配時(shí)無(wú)法使用。實(shí)現(xiàn)冷板液冷系統(tǒng)解耦化的關(guān)鍵問(wèn)題在于如何保證液冷機(jī)柜與不同IT設(shè)備之間的兼容性和運(yùn)行可靠性。因此需要對(duì)流體連接器、冷卻液、供電形式等方面進(jìn)行統(tǒng)一接口定義實(shí)現(xiàn)標(biāo)準(zhǔn)化。
3.1 流體連接器
流體連接器是一種不依靠工具、能夠反復(fù)連接和斷開(kāi)的連接組件，具有快速、簡(jiǎn)便、安全的特點(diǎn)，可以實(shí)現(xiàn)流體的傳輸與通斷，是連接服務(wù)器與機(jī)柜的核心組件，冷板式液冷的解耦化進(jìn)程需依托流體連接器的標(biāo)準(zhǔn)化產(chǎn)品定義、完善的第三方測(cè)試體系建設(shè)及規(guī)?；a(chǎn)品驗(yàn)證等多維度舉措來(lái)實(shí)現(xiàn)。流體連接器的傳輸介質(zhì)為液體或氣體，具有雙向自密封功能，插合和斷開(kāi)過(guò)程中不會(huì)有液體泄漏，在液冷系統(tǒng)敏捷交付要求下扮演著至關(guān)重要的角色。其安裝簡(jiǎn)單、操作快捷，大大提高了電子設(shè)備的可維護(hù)性。在冷板式液冷解耦中，需定義好流體連接器的類(lèi)型、 材質(zhì)、公差等重要規(guī)格，以保證流體連接器的安全可靠性，防止冷卻液泄露帶來(lái)設(shè)備受損、業(yè)務(wù)中斷甚至安全問(wèn)題。
根據(jù)操作方式，流體連接器可以分為手插式和盲插式兩大類(lèi)別。如圖1和圖2所示，手插流體連接器與盲插流體連接器相比，內(nèi)部密封設(shè)計(jì)、閥芯 結(jié)構(gòu)完全相同，區(qū)別僅在于鎖緊機(jī)構(gòu)和浮動(dòng)結(jié)構(gòu)。手插流體連接器是指流體連接器在公頭和母頭進(jìn)行插合和分離時(shí)，需要通過(guò)人為手動(dòng)的形式進(jìn)行插拔。當(dāng)手動(dòng)插合后，流體連接器通過(guò)自身的鎖緊機(jī)構(gòu)進(jìn)行鎖定，實(shí)現(xiàn)產(chǎn)品的快速連接和鎖緊，并確保產(chǎn)品密封可靠。手插流體連接器通常公頭為固定端，母頭為活動(dòng)端，且母頭與軟管配合使用，達(dá)到柔性補(bǔ)償?shù)哪康摹?
盲插流體連接器與手插則不同，在公頭和母頭插合、分離過(guò)程中均不需要人為手動(dòng)去操作流體連接器，而是依靠設(shè)備與框架之間的導(dǎo)軌、導(dǎo)向，通過(guò)推/拉動(dòng)設(shè)備實(shí)現(xiàn)與框架之間的連接/分離。當(dāng)盲插流體連接器插合后，流體連接器不具備鎖緊機(jī)構(gòu)， 依靠外部裝置鎖定。盲插流體連接器可以節(jié)省外部軟管，從而節(jié)省大量布線空間。盲插結(jié)構(gòu)集成度更高， 適用于服務(wù)器高密化的使用場(chǎng)景，支持向未來(lái)免人工安裝、維護(hù)演進(jìn)。
實(shí)現(xiàn)冷板式液冷解耦化需重點(diǎn)保證流體連接器的安全可靠連接。在流體連接器設(shè)計(jì)及使用過(guò)程中會(huì)有很多因素導(dǎo)致故障，從而引發(fā)密封失效、漏液、腐蝕等問(wèn)題，嚴(yán)重影響液冷系統(tǒng)安全性。其中常見(jiàn)故障原因及解決建議如表1所示，需對(duì)冷卻液介質(zhì)、 流體連接器材質(zhì)及結(jié)構(gòu)設(shè)計(jì)進(jìn)行嚴(yán)格要求，對(duì)操作流程進(jìn)行嚴(yán)格把控，以保證解耦后的液冷系統(tǒng)穩(wěn)定可靠運(yùn)行。
3.2 冷卻液
在解耦冷板式液冷系統(tǒng)中，冷卻液是至關(guān)重要的組成部分，它的主要功能是傳輸熱量，將熱量從熱源輸送到散熱器或熱交換器中，然后將熱量釋放到周?chē)h(huán)境中。冷卻液的類(lèi)型和質(zhì)量對(duì)整個(gè)系統(tǒng)的性能、效率和可靠性都有顯著的影響。
冷卻液應(yīng)具有良好的熱傳導(dǎo)性能，能夠快速吸收和傳遞熱量，從而提高系統(tǒng)的散熱效率。冷卻液還應(yīng)具有良好的流動(dòng)特性，使得在泵送和循環(huán)過(guò)程中的壓降和能耗降至最低。冷卻液應(yīng)維持穩(wěn)定的化學(xué)性質(zhì)，即在工況溫度范圍內(nèi)仍能維持緩蝕、抑菌、 阻垢等作用。目前市面上冷板式液冷主流冷卻液包括乙二醇型冷卻液、丙二醇型冷卻液、去離子水型冷卻液。
冷卻液應(yīng)與系統(tǒng)中部件使用的材料兼容、如銅或鋁冷板、不銹鋼管道、不銹鋼或黃銅閥件、橡膠軟管、橡膠密封件、塑料水泵葉輪等，以避免兼容性不佳引起的腐蝕泄漏、密封件失效等問(wèn)題。冷卻液應(yīng)具備緩蝕、抑菌、阻垢、抗泡的功能，需要添加緩蝕劑，以減緩金屬部件的腐蝕；需要添加抑菌劑， 避免微生物滋長(zhǎng)導(dǎo)致系統(tǒng)產(chǎn)生沉積物污染；需要添加阻垢劑，防止冷卻液中水垢積聚；需要添加消泡劑， 防止冷卻液循環(huán)過(guò)程中產(chǎn)生大量氣泡影響傳熱效率。
因此在解耦液冷系統(tǒng)中需針對(duì)冷卻液進(jìn)行充分的使用性能評(píng)測(cè)，確保冷卻液可支持解耦液冷系統(tǒng)安全、 可靠、長(zhǎng)效運(yùn)行。
冷卻液未來(lái)也應(yīng)考慮朝著低電導(dǎo)率配方體系進(jìn)行研發(fā)設(shè)計(jì)，防止液體泄漏后帶來(lái)的電氣短路和設(shè)備損壞風(fēng)險(xiǎn)。在液冷技術(shù)廣泛應(yīng)用的發(fā)展趨勢(shì)下， 冷卻液的使用還應(yīng)兼顧生物安全與環(huán)境友好性，冷卻液的回收和處理也應(yīng)遵守相關(guān)的環(huán)保監(jiān)管法規(guī)。這不僅是對(duì)液冷系統(tǒng)性能提升的需求響應(yīng)，更是企業(yè)履行社會(huì)責(zé)任、推動(dòng)可持續(xù)發(fā)展的重要體現(xiàn)。要保證液冷系統(tǒng)長(zhǎng)期穩(wěn)定運(yùn)行，科學(xué)的選擇和維護(hù)冷卻液至關(guān)重要。冷卻液需定期監(jiān)測(cè)來(lái)對(duì)其有效性進(jìn)行評(píng)估和預(yù)警，通過(guò)監(jiān)測(cè)結(jié)果來(lái)進(jìn)行維護(hù)處置或整體更換。必要時(shí)根據(jù)項(xiàng)目需求可設(shè)置在線水質(zhì)監(jiān)測(cè)傳感器，實(shí)時(shí)監(jiān)測(cè)關(guān)鍵性能指標(biāo)；或設(shè)置在線凈化處理裝置，維持冷卻液的可用性。
3.3 供電形式
目前液冷系統(tǒng)中機(jī)柜內(nèi)服務(wù)器的供電形式主要為分布式供電和集中供電兩種形式。分布供電指的是電源分布在每個(gè)服務(wù)器節(jié)點(diǎn)上，主要由電源分配單元(PDU)和每個(gè)服務(wù)器節(jié)點(diǎn)內(nèi)的電源組成。集中供電指的是將服務(wù)器電源集中部署在機(jī)柜內(nèi)部的電源框中進(jìn)行池化管理，統(tǒng)一為服務(wù)器供電，主要由電源框、電源模塊、供電母排和電源連接器組成。
分布式供電在數(shù)據(jù)中心被廣泛應(yīng)用著，通常通過(guò)PDU為服務(wù)器提供雙路供電，可充分保證供電安全性和可靠性。如采用智能PDU則能實(shí)現(xiàn)監(jiān)控和管理功能，如環(huán)境監(jiān)測(cè)、警報(bào)設(shè)置、電源使用報(bào)告、 自動(dòng)化控制等。分布式供電形式在服務(wù)器高密部署的場(chǎng)景存在一定的局限性。由于服務(wù)器功率不斷升高，單柜內(nèi)服務(wù)器數(shù)量不斷增加，分布式供電需配置的PDU數(shù)量也在增多，走線問(wèn)題變得更加棘手， 需要更多的柜內(nèi)空間才能滿足要求。因此在單機(jī)柜功率密度迅速增長(zhǎng)的未來(lái)，集中供電形式可能更適用于液冷機(jī)柜使用。
集中供電將各個(gè)服務(wù)器中的電源模塊統(tǒng)一池化集成在了機(jī)柜內(nèi)部的電源框中，將輸入電通過(guò)電源框及電源模塊進(jìn)行轉(zhuǎn)換，輸出直流電通過(guò)供電母排直接實(shí)現(xiàn)服務(wù)器供電。集中供電可實(shí)現(xiàn)服務(wù)器與機(jī)柜盲插設(shè)計(jì)，免除電纜布線空間，配合盲插流體連接器可大幅提升服務(wù)器安裝運(yùn)維效率。綜合來(lái)說(shuō)， 集中供電形式是未來(lái)冷板液冷供電演進(jìn)的重要方向。
4、結(jié)語(yǔ)
在人工智能快速發(fā)展的背景下，實(shí)現(xiàn)冷板液冷服務(wù)器與機(jī)柜解耦是是生態(tài)發(fā)展的不可逆需求，具有多方面優(yōu)勢(shì)。解耦設(shè)計(jì)使得數(shù)據(jù)中心更能適應(yīng)快速變化的AI技術(shù)，確保能夠高效、靈活并可持續(xù)地支持AI應(yīng)用的發(fā)展。對(duì)于整個(gè)液冷生態(tài)來(lái)說(shuō)，實(shí)現(xiàn)服務(wù)器與機(jī)柜解耦有助于整個(gè)行業(yè)向標(biāo)準(zhǔn)化方向發(fā)展，加快液冷相關(guān)技術(shù)創(chuàng)新和迭代速度，降低技術(shù)門(mén)檻，擴(kuò)大生態(tài)參與度，促進(jìn)液冷生態(tài)可持續(xù)發(fā)展。本文針對(duì)解耦冷板式液冷系統(tǒng)中流體連接器、冷卻液和供電形式的選擇進(jìn)行了研究，為解耦冷板式液冷系統(tǒng)中規(guī)劃設(shè)計(jì)提供理論依據(jù)。
