近年、急速にAIや半導体が注目されるようになってきました。そのため化学工業や材料を扱ううえでも集積回路やトランジスタなどの半導体の背景の知識の重要性も増してきています。そこで集積回路やトランジスタといった意味での半導体に関する用語などの基礎を学んで、理解を深めることを目的として記事を作成しています。
HBM (High Bandwidth Memory, 高帯域幅メモリ) とは？
HBM (High Bandwidth Memory, 高帯域幅メモリ) は、一言でいうと、非常にデータ転送速度が速いDRAM (メモリ) です。
HBM (高帯域幅メモリ) が登場した簡単な背景を参考文献1より紹介します。
プロセッサ (CPU、GPUなど) の性能の向上に伴って、メモリの役割も注目されるようになってきました。
高いクロック周波数や多くのコアをもつプロセッサ (CPU、GPU) は、多くのデータを処理することができますが、その一方でメモリへのアクセスや、メモリのパフォーマンスがボトルネックとなることがあります。
メモリは、プロセッサがデータを読み書きするためのストレージ領域です。
一般的なDRAM (メモリ) は、ノートパソコン等のような一般的なアプリケーションには充分ですが、特にGPU等のような多くの並列計算を行うシステムでは、メモリの高速化、高密度化、低電力化などが求められるようになりました。
さらにGPTなどの生成AIモデルの登場によって、高速かつ大容量のメモリの需要が急増してきました。
そこで Through Silicon Via (TSV)や、ダイ スタッキング (die stacking) といったIC パッケージング技術を利用した高帯域幅メモリの開発が要請され、開発が行われました。
つまりHBMの開発の目標の1つは、HPC (high-performance computing) や、グラフィックス アプリケーションなどの高いパフォーマンスのCPUやGPUに対して、充分なパフォーマンスをもっているメモリを開発することにありました。
ちなみにメモリ帯域幅 (bandwidth) とは、プロセッサ(CPU、GPU)とメモリの間でデータをやり取りする時の速度のことです。
素人向けにおっさんに例えて考える
さて、ここまでで人によっては、あまり聞きなれない半導体やPC関連の用語で、すでに理解が進まなくなるかもしれません。そこで、完璧ではない部分もありますが、別の例えを紹介します。
SNSなどで広く拡散された、PC用語をおっさんに例えるというものがあり、次のように紹介されています。
・コア→おっさんの数
・スレッド→ペンの数（デュアルコア4スレッドはおっさん二人が両手にペンを持ってる）
・周波数→ペンを動かす速さ
・ターボブースト→おっさん残業時の腕の速さ
・ストレージ→引き出し
・メモリ→机の大きさ
・グラボ→色鉛筆
・OS→おっさんの話す言語（国籍）
・水冷式のPC→おっさんを無限に残業させることができる無敵アイテム(参考文献2より引用)
つまりおっさんに例えると、一般人が使うようなパソコンやスマートフォンのCPUは超優秀なおっさん数人に作業をしてもらっています。
しかし、綺麗なゲーム画面の描画 (のための計算) などや、近年急速に注目されているAI学習や画像の生成などのためには、個人が持っているパソコンやスマートフォンとは桁違いのレベルのおっさんの作業量が必要になってきました。
そこで、超優秀なおっさん数人に頑張ってもらう方法ではなく、小学生レベルのことができるようなそこそこのおっさん数千人に同時に分担して作業させるシステム (GPU) が開発されてきました。
例えるならば、100マス計算を優秀なおっさん1人にやってもらう (CPU) より、そこそこのおっさん100人に1人1マスやってもらい、その結果をまとめた (GPU) 方式が計算が速いというわけです。
これは100マス計算じゃなくて、塗り絵と言い換えることもできるでしょう。
さらに、AI関連となると、おっさん数千人が同時にバリバリ働けるように会社内に机 (メモリ) もどんどん増やす必要があります。
しかし机を横に並べて広げていくだけだと、非常に広いスペースが必要になってしまいます。そこで解決策として、会社を8階建てや12階建てにして、エレベーターなどで素早く机と行き来できるようにオフィスフロアを繋ぐことで、縦にフロアを増やす (パッケージング) ことにしました。
こうして、小さい会社の土地でおっさんが、バリバリ仕事ができるように、使える机をさらに確保しようとしたというわけです。
HBMの基本構造
HBMの基本構造は下の図のようになっています。
参考文献1より引用
一番下にベース ロジック ダイがあり、その上にメモリのダイが層状に積み重なっています。また、このダイは、TSV (Through Silicon Via) によって相互接続がされています。
こうして、HBMはパッケージングの技術を使用することによって、一般的なDRAMと比較して、容量、帯域幅、電力効率などを向上させています。
HBMの歴史
HBM開発初期~2020年
HBMの開発で大きく先行した企業がSK hynix (SKハイニックス) です。
メディア報道によると、SK hynixのHBM開発は任天堂の提案から始まったと言われています。任天堂はグラフィックス性能の強化のために、メモリ帯域幅(I/O)を増やそうという提案をしたそうです。また、グラフィックのためのGPUを製作するAMDも参画し、SK hynixによるHBMの開発のプロジェクトが開始しました。この当時は、将来のゲーム市場の成長を意識していたプロジェクトだったようです。
初期のHBMは、ゲームメーカーやGPUメーカーのニーズにそれぞれ合わせてカスタマイズして製作する製品でした。そのため、大きな収益を期待することが難しい製品という見方がされていました。こういったニッチな市場でありながら、将来の超高速大容量データ処理の必要性も鑑みたSK hynixがHBMの技術開発に乗り出し、2013年に世界初のHBM開発成功を発表しました。
しかしながらHBM第一世代はGDDRと比べると明確な優位性が無く、厄介者といわれていることもありました。2010年代には、HBMの配置数は4個程度であり、GDDRを12個配置したものと比較しても、帯域幅や容量の差は、あまり大きくない一方で、HBMは価格が高く不利であったからです。
そのためHBMは、大学やAIの研究所などの一部の施設でしか利用されませんでした。
こうした状況なども見て、市場性が無いと判断したサムスンは2019年にHBM開発から、実質的に撤退したという報道もありました。
しかしながら、GDDRなどの単層のメモリは、物理的、構造的な技術の限界が近づいており、性能の改善の速度が遅くなっていることに対して、メモリダイを積み重ねることで容量と帯域幅が倍増できるHBMは性能の向上が比較的早く進んでいました。
さらに、必要なパラメータが膨大であり、大量のメモリを必要とするGPTやStable Diffusionのようなトランスフォーマー型AI分野で、HBMが注目され、需要が急増するようになりました。特に多くのモデルデータを短時間で処理するためには、メモリ帯域幅が重要となり、AI学習にはHBMが必須とされるようになってきました。
サムスンは、フラッシュボルトとして知られているHBM2Eを2020年2月に量産開始しました。
SK hynixもHBM2Eを開発し、2020年7月に量産開始と報道されました。
そして、2020年11月16日、NVIDIAがHBM2Eを採用したA100 80 GBを発表しました。
2021年~2022年
SK hynixは2021年にHBM3の開発を発表しました。
その後、2022年1月27日にHBM3のJEDEC標準規格が発表されました。
一方で、サムスンは2019年にHBM開発から一時撤退していましたが、その後4世代目にあたるHBM3の開発に再着手し、2022年にアイスボルト（Icebolt）といわれているHBM3を開発しました。
しかしながら、この時点でSK hynixより1年遅れての開発となってしまい、この遅れはNVIDIAへの供給が難しくなった要因の1つといわれています。
2023年
SK hynixはNVIDIAのH100にHBM3を供給するようになりました。
2023年8月にSK hynixがHBM3Eの開発の成功を発表しました。
2023年9月に、一方のサムスンは、NVIDIAにHBM3を供給することで合意しました。しかし、サンプルを確認したNVIDIAは、HBMの歩留まり等の懸念から、サムスンとの最終契約には至らずに、条件付き仮契約を締結しました。
2023年11月には、NVIDIAが、HBM3Eが搭載されたH200とB100を2024年中に発売することを発表しました。
この2023年には、HBMの市場規模や約40億ドルと推定されており、2024年には120億ドルと約3倍の成長が見込まれ、HBMの市場規模の拡大も大きく注目されるようになりました。
こうしてAIチップの需要の急増に伴って、HBM市場も大きく成長していきました。
2024年
2024年になるとSK hynix、サムスン、Micron (マイクロン) の3社がHBMに関した発表を積極的に行うようになり、メモリの中でもHBMが注目されていることが伺えます。
2024年2月には、SK hynixが16層のHBM3E技術を初公開しました。
またアメリカのメモリメーカーであるMicronもHBM3Eの量産開始を発表し、NVIDIAのH200へ搭載されることを発表しました。
2024年3月に、SK hynixが8層のHBM3Eの量産開始を発表し、Micronより先行して、納品を行いH200へ搭載されることを発表しました。
また5月の報道では、HBM3Eの歩留まりが80%に近いことも明らかにされました。
2024年5月に、一方のサムスンは、HBMに対するNVIDIAのテストで、サムスンのHBM3とHBM3EがNVIDIAの要求を満たせなかったと報じられました。
2024年6月に、Micronは決算発表にて、2025年度のHBM3E生産分が完売したと発表しました。ただし、MicronはHBM製造の歩留まりや生産キャパシティの確保に苦戦しているという話も出ていました。
2024年7月には、サムスンのHBM3がNVIDIAの認証テストをクリアしたものの、サムスンのHBM3の大部分は中国向けのH20に使用されるという報道も出ました。このH20は、NVIDIAの主力製品のH100と比べると、性能が5分の1程度であると言われています。
またサムスンのHBM3Eは、NVIDIAの基準を満たさなかったと言われています。
2024年8月には、中国のCXMTがHBMの生産ラインを構築する計画があると報じられました。ただし、CXMTが2026年ごろに製造するHBM2は、最先端のHBM開発から10年程度遅れており、CXMTのHBM市場への影響は非常に小さいと見られています。
2024年9月には、SK hynixがHBM3E 12層 36GBの量産開始を発表しました。
2024年11月には、SK hynixがHBM3E 16層 48GBを開発中であり、2025年上半期に量産開始し、供給する計画であることを発表しました。また、NVIDIAのCEOのジェンスン・フアンからHBM4の供給を6ヶ月前倒してほしいと要請されたことも明らかにされました。
トレンドフォースの予想では、2024年のHBM市場規模が182億ドルだったことに対して、2025年には467億ドルに成長すると発表されました。
このように、特に2022年にChatGPTが公開されて以降は、AIへの注目が急増したことに伴って、HBMへの注目も増し、主要なメモリメーカーであるSK hynix、サムスン、Micron等からの発表や関連報道も盛んに行われるようになっており、2025年以降も注目されている半導体製品の1つです。
2024年最新のHBM3E
ChatGPTなどで急速に注目されているlarge-language models (LLM) や生成AIでは、求められているメモリ帯域幅と容量も増加しています。そこで、iPhoneもiPhone13やiPhone15のように次々と高性能な次世代モデルが開発されてきたのと同じようにHBMも新しい世代が開発されてきました。
HBMは、128GB/sの速度と最大4スタックの2Gbのメモリの登場がスタートでした。
その後、開発が続けられた結果、10年間で1.18TB/sを超える帯域幅のメモリが登場しています。
HBMは2014年にHBM1が登場後に、HBM2、HBM2E、HBM3と開発が続けられてきました。新しいHBMは、それぞれ帯域幅と容量の性能が向上してきました。
2024年での最新世代がHBM3Eです。これは、HBM3 DRAMの拡張バージョン (Extended version) でHBM3Eと呼ばれております。
HBM3Eは最大で、48GBのキューブ密度 (Cube density)、1280GB/sの帯域幅で、その他は下記のように性能等が公開されています。
このHBM3Eは1秒あたりに1.18TBを超えるデータを処理することが可能となっています。SK hynixのHBM3とHBM3Eを比較すると、速度は1.4倍、容量は1.5倍向上しています。
下記の表を見てもわかるように、HBM3とHBM3Eの比較すると帯域幅が高くなっており、データをやりとりする速度が有利であり、さらに積総数次第では1つのメモリのキューブ密度が48GBとなり得る点も、大量のデータを利用するLLMなどでの利用で注目されている点だと思われます。
参考文献3からの紹介ですが、HBM3Eでは、
・all-around power-through-silicon via (TSV)
・6-phase read-data-strobe (RDQS) scheme
・byte-mapping swap scheme
・voltage-drift compensator for write data strobe (WOOS)
といった新しい設計スキームや機能の実装が行われているようです。
一方で、Bump map footprint、ChannelやI/Osの数、動作電圧などの全体的な構成はHBM3と同一でHBM3Eは下位互換性があり、システムの変更の負担が軽減されています。
つまり新しいHBM3Eを既存のCPUや既存のGPUで使用することができます。これによって、HBM3を使用するシステムは設計や構造の変更を行わないまま、HBM3Eを採用することができます。
HBMの課題
HBMであっても、DRAMのセルが基本構造となっています。このDRAMセルに固有の基本的な制限によって、HBMの高速化のハードルが、さらに高くなってきています。
また、速度と容量の増加とともに、発熱も課題となっています。HBMの構造も制約がありますが、その制約の中で容量を増加させる方法も課題となっています。
そのため、メモリメーカーが開発を行っているHBM4では、2048ビットのメモリ インターフェイスを採用することで、HBMのさらなる性能向上が計画されています。
参考文献
参考文献1
H. Jun et al., "HBM (High Bandwidth Memory) DRAM Technology and Architecture," 2017 IEEE International Memory Workshop (IMW), Monterey, CA, USA, 2017, pp. 1-4
https://doi.org/10.1109/IMW.2017.7939084
こちらは2017年に韓国のSK hynixに所属している人が書いたPaperです。
時代としては、HBM2という世代の頃に書かれたものです。
参考文献2
https://www.kobe-np.co.jp/rentoku/omoshiro/202201/0015018061.shtml
「PCをおじさんに例える」が紹介されている記事です。
参考文献3
J. Lee et al., "13.4 A 48GB 16-High 1280GB/s HBM3E DRAM with All-Around Power TSV and a 6-Phase RDQS Scheme for TSV Area Optimization," 2024 IEEE International Solid-State Circuits Conference (ISSCC), San Francisco, CA, USA, 2024, pp. 238-240,
https://ieeexplore.ieee.org/abstract/document/10454440
こちらもSK hynixに所属している人たちが執筆したものとなります。
参考文献4
https://www.etnews.com/20231102000158
HBM開発初期のSK hynixに関する報道記事です。
