隨著人工智能和元宇宙的應(yīng)用需求強(qiáng)勁的高性能計算逐漸成為一個新的市場驅(qū)動的半導(dǎo)體行業(yè),內(nèi)存的性能開發(fā)已經(jīng)成為一個重要的支持這些應(yīng)用程序,這也成為一個重要的驅(qū)動力,內(nèi)存行業(yè)繼續(xù)大力投資開發(fā)新技術(shù)。

在這些高性能計算系統(tǒng)中，內(nèi)存帶寬和容量將決定計算性能，這在高性能計算領(lǐng)域經(jīng)常被提及“內(nèi)存墻”。在許多高性能計算應(yīng)用中，邏輯計算實(shí)際上并不是整個系統(tǒng)的瓶頸，數(shù)據(jù)訪問是整個系統(tǒng)速度的決定性因素。一方面，內(nèi)存芯片BD675A技術(shù)需要進(jìn)一步提高帶寬和容量，另一方面，在設(shè)計整個系統(tǒng)時需要確保有效的內(nèi)存訪問機(jī)制，以打破內(nèi)存墻的限制，進(jìn)一步提高高性能計算的性能。

上周，三星舉行了2022年的技術(shù)發(fā)布會，其中公布了三星未來幾年的內(nèi)存技術(shù)發(fā)展路線圖。因此，我們認(rèn)為其內(nèi)存開發(fā)的主題圍繞著“更快，更大，更智能”在幾個方面，這也與之前討論的內(nèi)存需求的高性能計算一致。由于三星是內(nèi)存芯片領(lǐng)域的領(lǐng)導(dǎo)者，我們相信其發(fā)布的路線圖將在很大程度上反映整個內(nèi)存芯片行業(yè)的發(fā)展趨勢。

更快:新的內(nèi)存接口將成為突破內(nèi)存墻的主力軍

內(nèi)存接口決定了整個系統(tǒng)能夠以多快的速度訪問內(nèi)存中的數(shù)據(jù)，因此它也是決定整個系統(tǒng)性能的一個重要因素。隨著新一代內(nèi)存接口的出現(xiàn)，高性能計算系統(tǒng)的性能有望進(jìn)一步提高。

在三星發(fā)布的內(nèi)存接口路線圖中，我們可以看到內(nèi)存接口在不同領(lǐng)域的進(jìn)化速度。首先，在云高性能服務(wù)器領(lǐng)域，HBM已成為高端GPU這也是三星投資的重點(diǎn)領(lǐng)域之一。HBM其特點(diǎn)是采用先進(jìn)的包裝技術(shù)，采用多層堆疊實(shí)現(xiàn)超高IO與高速接口傳輸速率相匹配的接口寬度，從而達(dá)到超高帶寬的高能效比。

在2022年三星發(fā)布的路線圖中，HBM3技術(shù)已批量生產(chǎn)，其單芯片接口寬度可達(dá)1024bit，接口傳輸速率可達(dá)6.4Gbps，與上一代相比，單芯片接口帶寬提升1.8倍，實(shí)現(xiàn)819倍GB/s，如果使用6層堆疊，可以實(shí)現(xiàn)4層堆疊.8TB/s總帶寬。在三星公布的路線圖上，接口速度預(yù)計將在2024年達(dá)到70%，因此，與這一代相比，數(shù)據(jù)傳輸率進(jìn)一步提高了10%，從而將堆疊的總帶寬提高到5%TB/s以上。此外，這里的計算沒有考慮到先進(jìn)包裝技術(shù)帶來的高層多層堆疊和內(nèi)存寬度增加。我們預(yù)計到2024年將是單芯片和堆疊芯片的時候HBM3p將實(shí)現(xiàn)更多的總帶寬改進(jìn)。這也將成為人工智能應(yīng)用的重要驅(qū)動力。我們預(yù)計三年后的新一代云旗艦GPU中看到HBM3p從而進(jìn)一步增強(qiáng)云人工智能的計算能力。

除了HBM此外，渲染正成為元宇宙相關(guān)應(yīng)用在桌面和移動應(yīng)用中的重要支柱。例如，在虛擬現(xiàn)實(shí)應(yīng)用中，對圖像渲染的需求越來越強(qiáng)高端虛擬現(xiàn)實(shí)設(shè)備將使用桌面級別GPU渲染并通過串行傳輸將渲染圖像傳輸回虛擬現(xiàn)實(shí)設(shè)備，目前最流行的虛擬現(xiàn)實(shí)一體機(jī)將需要使用移動級GPU直接在一體機(jī)中進(jìn)行圖像渲染。這些應(yīng)用程序需要越來越大的存儲帶寬，三星這次發(fā)布的GDDR7和LPDDR5X這些應(yīng)用都是重要的技術(shù)支柱。

總的來說，三星從內(nèi)存接口的角度發(fā)布的路線圖顯示了這次“更快”從這個角度來看，三星將進(jìn)一步成為內(nèi)存行業(yè)的領(lǐng)頭羊之一，從而為下一代應(yīng)用提供支持，比如半導(dǎo)體行業(yè)進(jìn)一步賦能人工智能和元宇宙。

更大:芯片和系統(tǒng)級創(chuàng)新將成為更大內(nèi)存系統(tǒng)的關(guān)鍵

隨著人工智能技術(shù)的發(fā)展，神經(jīng)網(wǎng)絡(luò)模型的參數(shù)越來越多，需要在計算中使用的中間結(jié)果的存儲需求對于DRAM提出新的容量要求。

為了滿足存儲容量的需求，我們還需要芯片級和系統(tǒng)級的解決方案。在芯片層面，三星給出了新一代使用1的答案b生產(chǎn)特征尺寸DRAM，從而實(shí)現(xiàn)更大的集成度。三星宣布1bDRAM將于2023年量產(chǎn)，這意味著三星將在2023年量產(chǎn)DRAM進(jìn)一步鞏固其領(lǐng)先地位。

除了芯片級方案，系統(tǒng)級方案也是增加內(nèi)存容量的重要方向。例如，在云服務(wù)器市場，使用CXL內(nèi)存擴(kuò)展技術(shù)是一個非常有潛力的方向。CXL內(nèi)存擴(kuò)展的原理是大量擴(kuò)展內(nèi)存DRAM芯片集成在同一個內(nèi)存擴(kuò)展卡中，然后使用CXL使用主控芯片CXL協(xié)議連接到高速接口，這樣系統(tǒng)就可以直接使用而不占用DRAM插槽和接口，以擴(kuò)大內(nèi)存容量。

今年早些時候，三星宣布了自己的基礎(chǔ)CXL為了使用內(nèi)存擴(kuò)展技術(shù)的最新結(jié)果CXL專門開發(fā)的ASIC在機(jī)器學(xué)習(xí)等重要應(yīng)用中，主控芯片獲得并使用了傳統(tǒng)芯片DDR內(nèi)存接口的性能幾乎相同，這表明使用CXL做DRAM就性能而言，能力擴(kuò)展將是一種可行的技術(shù)解決方案，目前主要需要解決的是成本方面的考慮，從而進(jìn)一步應(yīng)用該技術(shù)。

三星這次也宣布了自己CXL我們預(yù)計未來將看到更多領(lǐng)域的持續(xù)投資CXL產(chǎn)品的內(nèi)存擴(kuò)展。我們預(yù)計，CXL首先，它將被用于需要巨大內(nèi)存容量和強(qiáng)大性能的應(yīng)用程序，并將在未來擴(kuò)展到其他應(yīng)用程序。

更智能:內(nèi)存計算有望成為下一代內(nèi)存的新范式

三星的另一個布局方向是智能外，三星的另一個布局方向是智能DRAM，也就是說，使用存款計算和近內(nèi)存計算等新技術(shù)來應(yīng)用機(jī)器學(xué)習(xí)和人工智能。

三星的主要存款計算技術(shù)稱為三星HBM-PIM，其中PIM即存內(nèi)計算（processinmemory）縮寫。其具體原理是在HBM計算單元直接集成在內(nèi)存中。在傳統(tǒng)的計算過程中，數(shù)據(jù)首先從內(nèi)存中讀取，然后在其他芯片中的計算單元中計算，然后將結(jié)果寫回內(nèi)存。HBM-PIM在中，三星的技術(shù)路徑是給予DRAM指令不僅可以讀寫，還可以直接計算，比如可以給出“寫入數(shù)據(jù)A同時添加數(shù)據(jù)和B”這樣，下次閱讀時，您可以直接獲得已計算的數(shù)據(jù)，而無需再次閱讀和計算。這節(jié)省了大量額外的數(shù)據(jù)移動費(fèi)用，可以實(shí)現(xiàn)更好的延遲和能效比。

除了存款計算之外，這種技術(shù)方案是DRAM加速器邏輯直接集成以減少訪問內(nèi)存的成本存的成本。這種技術(shù)叫做三星AXDIMM，預(yù)計2024-2025年開發(fā)將在三星公布的路線圖上完成。

我們相信三星是智能的DRAM從長遠(yuǎn)來看，布局將對內(nèi)存技術(shù)和市場格局產(chǎn)生深遠(yuǎn)的影響。未來，隨著機(jī)器學(xué)習(xí)等應(yīng)用對內(nèi)存訪問的進(jìn)一步需求，我們相信這類技術(shù)將有機(jī)會在主流系統(tǒng)制造商中獲得越來越多的應(yīng)用。

結(jié)語

隨著人工智能等應(yīng)用的發(fā)展，DRAM未來的發(fā)展也更接近于賦能等下一代應(yīng)用。從三星發(fā)布的路線圖來看，未來的未來DRAM除了進(jìn)一步改進(jìn)外，技術(shù)發(fā)展DRAM除了芯片的容量和接口速度，還有系統(tǒng)層面的創(chuàng)新方向(包括CXL內(nèi)存擴(kuò)展和內(nèi)存計算/近內(nèi)存計算DRAM），DRAM技術(shù)的發(fā)展將為芯片和系統(tǒng)制造商帶來越來越多的技術(shù)創(chuàng)新機(jī)會，這將進(jìn)一步促進(jìn)新應(yīng)用和新場景的出現(xiàn)，從而進(jìn)一步發(fā)展整個領(lǐng)域。