化学徒の備忘録(かがろく)|化学系ブログ

理系の筆者が化学系の用語や論文、動画、ノウハウなどを紹介する化学ブログ

【半導体メモリ】HBMとは何か?

近年、急速にAIや半導体が注目されるようになってきました。そのため化学工業や材料を扱ううえでも集積回路やトランジスタなどの半導体の背景の知識の重要性も増してきています。そこで集積回路やトランジスタといった意味での半導体に関する用語などの基礎を学んで、理解を深めることを目的として記事を作成しています。

HBM (High Bandwidth Memory, 高帯域幅メモリ) とは?

HBM (High Bandwidth Memory, 高帯域幅メモリ) は、一言でいうと、非常にデータ転送速度が速いDRAM (メモリ) です。
HBM (高帯域幅メモリ) が登場した簡単な背景を参考文献1より紹介します。

プロセッサ (CPU、GPUなど) の性能の向上に伴って、メモリの役割も注目されるようになってきました。
高いクロック周波数や多くのコアをもつプロセッサ (CPU、GPU) は、多くのデータを処理することができますが、その一方でメモリへのアクセスや、メモリのパフォーマンスがボトルネックとなることがあります。

メモリは、プロセッサがデータを読み書きするためのストレージ領域です。

一般的なDRAM (メモリ) は、ノートパソコン等のような一般的なアプリケーションには充分ですが、特にGPU等のような多くの並列計算を行うシステムでは、メモリの高速化、高密度化、低電力化などが求められるようになりました。

そこで Through Silicon Via (TSV)や、ダイ スタッキング (die stacking) といったIC パッケージング技術を利用した高帯域幅メモリの開発が要請され、開発が行われました。
つまりHBMの開発の目標の1つは、HPC (high-performance computing) や、グラフィックス アプリケーションなどの高いパフォーマンスのCPUやGPUに対して、充分なパフォーマンスをもっているメモリを開発することにありました。

ちなみにメモリ帯域幅 (bandwidth) とは、プロセッサ(CPU、GPU)とメモリの間でデータをやり取りする時の速度のことです。

素人向けにおっさんに例えて考える

さて、ここまでで人によっては、あまり聞きなれない半導体やPC関連の用語で、すでに理解が進まなくなるかもしれません。そこで、完璧ではない部分もありますが、別の例えを紹介します。

SNSなどで広く拡散された、PC用語をおっさんに例えるというものがあり、次のように紹介されています。

・コア→おっさんの数
・スレッド→ペンの数(デュアルコア4スレッドはおっさん二人が両手にペンを持ってる)
・周波数→ペンを動かす速さ
・ターボブースト→おっさん残業時の腕の速さ
・ストレージ→引き出し
・メモリ→机の大きさ
・グラボ→色鉛筆
・OS→おっさんの話す言語(国籍)
・水冷式のPC→おっさんを無限に残業させることができる無敵アイテム

(参考文献2より引用)

つまりおっさんに例えると、一般人が使うようなパソコンやスマートフォンのCPUは超優秀なおっさん数人に作業をしてもらっています。
しかし、綺麗なゲーム画面の描画 (のための計算) などや、近年急速に注目されているAI学習や画像の生成などのためには、個人が持っているパソコンやスマートフォンとは桁違いのレベルのおっさんの作業量が必要になってきました。


そこで、超優秀なおっさん数人に頑張ってもらう方法ではなく、小学生レベルのことができるようなそこそこのおっさん数千人に同時に分担して作業させるシステム (GPU) が開発されてきました。
例えるならば、100マス計算を優秀なおっさん1人にやってもらう (CPU) より、そこそこのおっさん100人に1人1マスやってもらい、その結果をまとめた (GPU) 方式が計算が速いというわけです。
これは100マス計算じゃなくて、塗り絵と言い換えることもできるでしょう。

さらに、AI関連となると、おっさん数千人が同時にバリバリ働けるように会社内に机 (メモリ) もどんどん増やす必要があります。
しかし机を横に並べて広げていくだけだと、非常に広いスペースが必要になってしまいます。そこで解決策として、会社を8階建てや12階建てにして、エレベーターなどで素早く机と行き来できるようにオフィスフロアを繋ぐことで、縦にフロアを増やす (パッケージング) ことにしました。
こうして、小さい会社の土地でおっさんが、バリバリ仕事ができるように、使える机をさらに確保しようとしたというわけです。

HBMの基本構造

HBMの基本構造は下の図のようになっています。

参考文献1より引用

一番下にベース ロジック ダイがあり、その上にメモリのダイが層状に積み重なっています。また、このダイは、TSV (Through Silicon Via) によって相互接続がされています。

こうして、HBMはパッケージングの技術を使用することによって、一般的なDRAMと比較して、容量、帯域幅、電力効率などを向上させています。

2024年最新のHBM3E

ChatGPTなどで急速に注目されているlarge-language models (LLM) や生成AIでは、求められているメモリ帯域幅と容量も増加しています。そこで、iPhoneもiPhone13やiPhone15のように次々と高性能な次世代モデルが開発されてきたのと同じようにHBMも新しい世代が開発されてきました。
2024年での最新世代がHBM3Eです。

参考文献

参考文献1 
H. Jun et al., "HBM (High Bandwidth Memory) DRAM Technology and Architecture," 2017 IEEE International Memory Workshop (IMW), Monterey, CA, USA, 2017, pp. 1-4

https://doi.org/10.1109/IMW.2017.7939084

こちらは2017年に韓国のSK hynixに所属している人が書いたPaperです。
時代としては、HBM2という世代の頃に書かれたものです。

参考文献2

https://www.kobe-np.co.jp/rentoku/omoshiro/202201/0015018061.shtml