AIの問題は『消費電力』って知ってましたか
――米マイクロソフトの新AIチップ、ラック1本で
写真はイメージ Photo by Domaintechnik on Unsplash
米マイクロソフトの新AIチップ、売り文句は賢さではなく電気代だった
マイクロソフトが10月12日、自社で設計したAI用のチップ「Azure Maia 300」を発表した。クラウドとAIの部門を率いるスコット・ガスリーの名前で出た告知に、AIが賢くなるという話はない。並ぶのは、1メガワットの電気でトークンを何個作れるか、という数字だ。
96基を1本のラックに詰めると、ラック1本が作るトークンは1つ前のMaia 200の最大7倍。マイクロソフトによれば、同じ電気から引き出せる性能も2.5倍を超える。主要なGPUの基盤より、1メガワットで作れるトークンは40%多くなる見込みだという。
どこで使うのか。長い文章を読ませる推論、待たされると困る会話、何段階も手順を踏むAIエージェント。この3つを挙げている。生産と配備は2027年から。
Maia 200の発表は今年の1月。およそ9か月で次が出てきた(PC Watch)。2027年からは、Copilotなど自社製品のAI推論の主力をMaiaに移すという。
なぜ、電気の話ばかりなのか
ラック1本に収まる電力は167キロワット。チップ1基で使える上限は950ワット。熱の8割以上は液体で冷やし、設備の水に直接つなぐ場合もあるという。
167キロワットと言われても、ぴんとこない。環境省の統計では、日本の1世帯が1年に使う電気は全国平均で3,911キロワット時(令和5年度)。167キロワットを1年回し続けると約146万キロワット時、家庭でいえば370世帯の1年分になる。ラック1本で、である。
2027年から目指すのは「複数ギガワット」の規模だ。1ギガワットなら、167キロワットのラックで約6,000本分になる。
電気そのものは足りるのか。IEAの推計では、2025年に世界のデータセンターが使った電気は約485テラワット時。ドイツが1年に作る電気とほぼ同じ量だ。2030年には945テラワット時、世界の電気の3%まで増えそうだという(予測で、ぶれ幅は大きいとも書かれている)。賢さより先に、電気が壁になる。発表に並ぶ数字は、そう読める。
40%は、まだ測った数字ではない
ただ、この40%には注意が必要だ。CellCogの創業者ニティシュ・ガーグは、発表当日の分析で、計算そのものの電力効率はほとんど動いていないと書いた。計算の効率(FP4)は1ワットあたり13.5テラオプスから14.5テラオプスへ、1割も伸びていない。
伸びたのはメモリだ。1ワットで動かせるデータの量は毎秒9.5ギガバイトから18.9ギガバイトへ、ここだけが倍になった。マイクロソフト自身、HBMの帯域は1ワットあたり約2倍だと書いている。
しかも、比較相手の「主要なGPUの基盤」は、製品名も作業の内容も書かれていない。公式の書き方も「そうなると見込む」だ。
ネットの評判
PC Watchの記事には、はてなブックマークが110件。電力の心配が目立つ。「950W。ホンマに電力効率いいのか」「ラック電力が167kwって本当に意味がわからない。電源のほうが気になってしまう。」「電気と水の奪い合いになる」と並ぶ。一方で、「GPUの調達性とコストが悪すぎる」から作れるところは自分で作るだろう、という受け止めもあった。Hacker Newsには、NVIDIAの利益分を払わずに済むぶん2〜3倍安いはずだ、と書いた人もいた。
賢さを競う話だと思って読むと、拍子抜けする。並ぶのは、ラック1本167キロワットで答えを何個返せるかという数字だ。その40%を、まだ誰も測っていない。
43万円の新型冷蔵庫、錆びて見える
Xで話題のアクア「AQR-DUX51B」
中止が4公演。倉敷は、無事に終わった
徳永英明、喉の不調からツアー復帰
高校が遠くなると、
お金がかかる
――兵庫県で、1万3000筆の署名に出た声
- Microsoft to expand Azure Maia system to multi-gigawatt deployments
- Deep dive into Azure Maia 300 architecture
- 脱NVIDIAを急ぐMicrosoft、わずか9カ月で次世代AIチップ「Maia 300」(PC Watch)
- Microsoftが第3世代AIチップ「Maia 300」を発表(GIGAZINE)
- Microsoft Maia 300: Specs, the 40% Claim, vs Maia 200(CellCog、Nitish Garg)
- Microsoft's new Maia 300 packs 96 chips into one 167-kW rack(Interesting Engineering)
- Deep dive into Azure Maia 300 architecture(Hacker News、25ポイント・コメント4件)
- Microsoft Maia 300: multi-gigawatt from 2027(frontiernow、Hacker Newsのコメントを引用)
- はてなブックマーク(PC Watchの記事、110件。ページは開けず)
- 家庭でのエネルギー消費量について(環境省)
- How much energy do data centers and artificial intelligence use?(Our World in Data、IEA推計)
- トークンについて(Microsoft Learn)
