2023年から急速に広まった生成AI関連では、クラウド側で学習(トレーニング)を行い、推論(インファレンス)もクラウドで行うのが中心ながら、今後はクライアント側でも一部の処理が行われようとしています。
ハードウェア面では様々な動きがありますが、本格的なAI関連の演算は当面クラウドが中心になるでしょう。そのクラウド側の増強は必須となっています。
サーバーを導入すればAIを活用し放題となるのが理想でしょうが、導入から運用まで様々な課題があり、そもそも導入することも難しいのではという状況もあり得ます。
AIサーバーの導入問題
課題となるのが、サーバー自体の購入から運用までの様々な問題です。
サーバーの購入自体は必須ではなく、クラウドで借りることも可能ですが、本格的に行う場合は自社で自由に運用管理できるサーバーが必須になっていくでしょう。
高性能なAI用サーバーの中心となっているのがNVIDIAのサーバーで、例えばHGX H100や同等のサーバーは数千万円しますが、今購入しようとしても納期は年単位で時間がかかるそうです。
2024年2月に行われたdynabook Days 2024では、IngrasysのHGXサーバーが展示されていました。
これは、IngrasysはFoxconnの関連会社で、NVIDIAのGPUを実際に製造しているのがFoxconnで、FoxconnはSHARPの、そしてdynabookの関連会社のため、製造元に近いdynabookから購入した方が納期が早いのだそうです。
AIサーバーは重過ぎ
このHGXサーバーで使われているNVIDIAのロゴの1つの固まりが1つのGPU部分になり、それが8つで構成されています。この1つの重さが実際に持ってみましたが10kgを超えているような持つのも大変な重量で、それが8つで構成されているので、普通の人にはとても持てない重量です。
おそらく、このサーバーだけで100kgはありそうな重量で、とても一人では持てない重さです。実際にDGX H100の場合は約130kgだそうです。
かなりの重量のため、設置の際にはいくつかの問題もいくつかあります。
設置には何らかの重量物を運搬できる機器の使用が必須で、施設自体がそれに対応できる場所でないと搬入自体が出来ません。
また、それを一つのラックで設置した場合は全体の重量の問題も出てきます。
2024年3月にオープンしたMCデジタル・リアルティのNRT12データセンターは、AI時代に備えて、1平方メートルあたり2トンに耐えるように設計されているそうです。
この画像は、まだ何も設置されていないデータホールです。
今後はここに多数のラックが並ぶのでしょうが、設置自体もかなりの重労働な事は想像に難くないです。
AIサーバーの電力をどうする
その設置したサーバーを動かすための電力をどうするかという問題もあります。
電源容量は今後も増えることが予想されているそうで、既存の事務所の一部屋をサーバールームにするようなことは、重量面、電力面で難しくなっていくのではないでしょうか。
AIをどう活用していくかというソフトウエア側の問題もありますが、それを実現するためのサーバーの管理運用というハードウェア面での課題も深刻です。
