大きな言語モデルを自分の手元で動かすために、オーストラリアのアンドリュー・リーチ（Andrew Leech）さんが選んだのは、2017年に登場したデータセンター向けのGPU「NVIDIA Tesla V100」だった。それも中古で買ったものを2枚、自分で設計した基板に載せて、机の下のデスクトップパソコンに組み込んでいる。
世代としてはもう古いカードだ。それでも実際にGoogleのGemma 4とアリババのQwen3.6が動いていて、文章を吐き出す速さだけを見れば、クラウドの有料AIと同じ土俵に乗っている。産業側で役目を終えた計算資源が、個人の机の上でまだ働いている、という話である。
中古のデータセンター向けGPUという選択肢
V100はサーバーのラックに積むために作られたカードで、画面をつなぐ端子がひとつもない。ゲーム用のグラフィックスカードとは見た目からして別物だ。NVIDIAが新型を出すペースが速いぶん、役目を終えたものが中古市場に流れてくる。
リーチさんが真っ先に挙げる理由は値段だ。彼自身がカードのテストと組み立てをして販売もしており、静音の冷却をつけた動作確認済みの1枚が720豪ドル（2026年7月末のレートでおよそ8万円）、GPU同士をつなぐNVLinkブリッジ付きの2枚構成が1,550豪ドル（およそ17万円）と書いている。買い切りなので毎月の支払いは発生しないし、入力した文章が箱の外に出ることもない。リポジトリ全体をAIに読ませるような使い方では、そこが効いてくる。
性能面での取り柄は、16GBのHBM2というメモリだ。読み書きの速さがおよそ毎秒900GBある。ふつうのパソコンのメインメモリが毎秒数十GB程度なので、その10倍以上ということになる。言語モデルが文章を1文字ずつ作っていくとき、速度を決めるのは計算力よりもこのメモリの帯域なので、ここが速いのはそのまま効く。
もちろん古さは残っている。Voltaと呼ばれる古い世代の設計で、数値の扱い方が今どきのやり方に対応していない。最近のモデルを軽くする手法の多くはその新しい形式を前提にしているため、ネット上に転がっている設定をそのまま持ってきても動かない。カードが実際に持っている機能に合わせて、自分でビルドし直す必要がある。
動かした2つのモデルとメモリの制約
リーチさんが常用しているのは2本のモデルだ。
ひとつはGoogleのGemma 4 26B-A4B。2026年4月に公開されたもので、全体では260億のパラメータを持つが、1回の生成で実際に動くのはそのうち38億ぶんだけという「専門家混合（MoE）」という作りになっている。4ビットに圧縮した版を読み込むと約13.4GiB、これに会話の途中経過を保っておく領域が3万2千トークン分で約1.3GiB加わり、16GBにぎりぎり収まる。CPU側に逃がすものが何もないので、すべてGPUの中だけで完結する。
もうひとつがアリババのQwen3.6 35B-A3B。同じ時期に公開されたやはりMoE型で、350億のうち30億が動く。こちらは4ビットにしても16GBに収まりきらず、はみ出したぶんをCPUのメモリに逃がすことになる。そのやりとりのぶん遅くなるが、モデルとしての賢さはこちらが上だという。
ややこしいのは、この2本が実行エンジンに求めるものが違うことだ。リーチさんはllama.cppという実行ソフトを2種類ビルドして使い分けている。Gemma 4は本家の版でないと動かない。派生版のほうは会話の途中経過を圧縮するしくみに対応しておらず、同じモデルを読ませると4千トークンの時点で56GBを確保しようとしてメモリ不足で落ちてしまう。Qwen3.6は逆で、はみ出したぶんをCPUに逃がす処理とCPU側の計算が派生版のほうが速い。エンジンが1つで済まないあたりが、このカードの手のかかるところでもある。
クラウドのAPIとの速度比較
WindowsからGPUを直接叩く構成で、リーチさんが測った文章の生成速度は、Gemma 4が毎秒99.8トークン、Qwen3.6が毎秒54.5トークン（トークンは単語や文字を細かく区切った単位）。同じモデル・同じ設定でも、WSL2という仮想環境を経由すると毎秒47トークンまで落ちたそうで、この差が大きいので仮想環境は使わないことにしたという。
本人が載せている比較によると、単発の応答に限れば、この数字は有料APIの上位群と同じ帯に収まっている。Gemma 4はフルサイズの最上位モデルを上回り、速さに振った小型モデルだけが上だった。2017年のカードが最新のクラウドに桁で負けている、という予想とはだいぶ違う。
ただしリーチさんはすぐに断りを入れている。これは書き出しの速さだけを見た数字で、質問してから最初の1文字が返るまでの時間はクラウドの圧勝だ。加えて、トークンの区切り方はモデルによって違うので、厳密に横並びの比較にはならない。そして本当の差は速さではなく賢さのほうで、最上位のモデルは明らかに賢い。つまりここで買っているのは同等の性能ではなく、データが外に出ないことと、使っても増えない費用のほうだ、というのが本人の整理である。なお比較に使ったクラウド側の数値は外部の計測サービスによる2026年6月時点の中央値で、混み具合によって上下する。
コーディング支援ツールとの組み合わせ
実際の使い道として挙げられているのが、Claude Codeをこのローカルのモデルにつなぐ構成だ。V100側で動かしているサーバーがAnthropicのAPIと同じ形式で応答するため、あいだに変換をはさむ必要がなく、接続先を書き換えるだけで動いたという。メッセージアプリ越しに使う個人向けのエージェントツールも、同じ要領でつながったと書かれている。
意外だったのは、指示文のキャッシュがよく効くことだったそうだ。Claude Codeは毎回2万4千トークンほど（文章にすると数万字ぶん）の長い指示文を送ってくるが、サーバー側が1回目のあとにそれを保持してくれるので、時間がかかるのは最初の1往復だけになる。Gemma 4では最初が約15秒、2往復目からは約2.5秒。Qwen3.6は1枚差しの状態だと最初に約2分半かかるが、その後は約4.5秒で返る。毎回遅いのではなく、最初だけ遅い。
この最初の待ち時間の差が、そのままモデル選びの決め手になっている。Gemma 4はすべてGPU内で処理できるぶん長い指示文を読むのが速く、Qwen3.6はCPUへの逃がしがあるせいでその処理が10倍以上遅い。だから使い心地はGemma 4のほうがいい、というのがリーチさんの結論だ。どちらも既定では考えてから答えるモードなので、作業に使うときは思考を切って走らせているという。
ちなみに、本当に手元で動いているのかを確かめる方法として、モデル自身に何者かを聞いてみる、という手が紹介されている。素のチャットならGemmaは自分をGoogleのGemmaだと答え、Qwenはアリババのモデルだと答える。クラウドのモデルが競合他社を名乗ることはない。ただしClaude Code経由で聞くと、送られている指示文に「あなたはClaude Codeです」と書いてあるので、素直なモデルはそれに従って「Claudeです」と答えてしまう。最初はこれで外部と通信しているように見えて焦った、と正直に書いてある。
2枚目のカードが効く条件
リーチさんはV100を2枚まとめて載せるPCIeカードを自作し、あいだをNVLinkブリッジで結んでいる。GPU同士が直接やりとりするための橋渡しで、本体側を経由せずにデータを行き来させられる。
結論から言うと、1枚に収まるモデルをひとりで使うぶんには、2枚にしても速くならない。Gemma 4を2枚に分けても、分割にともなう待ち合わせのぶんむしろ遅くなる。ここは「2枚目は要らない」とはっきり書かれている。
効いてくるのは、1枚に収まらないQwen3.6のほうだ。2枚に分けて置けばモデル全体がGPUのメモリに収まり、CPUへの逃がしがなくなる。さきほどの「最初に2分半」が約13秒まで縮み、2往復目以降は1秒程度になる。1枚では実用にならなかった賢いほうのモデルが、2枚目を足すことでようやく普段使いに耐えるようになった、という関係になっている。
もうひとつの用途が同時実行で、エージェントを何本も並列で走らせるような使い方では2枚あることが効く。ただしNVLinkブリッジそのものの寄与について、リーチさんは自分の測定を訂正している。最初の計測では40〜50%も速くなったように見えたが、そのとき片方のカードが熱で性能を落としており、比較の土台が下がっていただけだった。冷却を直して測り直すと、実際の差は16〜32件を同時に処理した場合で7〜9%ほど。しかもそのほとんどは指示文を読み込む側の高速化で、答えを書く速さはほとんど変わらなかった。期待したより小さかった、と本人が書いている。
電源ユニットの落とし穴
2枚構成にしてから、ベンチマークの途中で前触れもなくパソコンが再起動する症状が出たという。熱でもドライバでもNVLinkでもなく、犯人は古い電源ユニットだった。しかもそのとき引いていた電力は140〜150Wで、定格には十分すぎる余裕がある。
問題だったのは合計のワット数ではなく、2枚のカードが同時に休止状態から立ち上がって電流を一気に引く、その瞬間の変化のほうだった。古い電源はその急な段差を吸収しきれず、一瞬電圧が落ちて機械がリセットしてしまう。850Wの新しい電源に替えたところ、再起動はぴたりと止まった。2枚構成で原因不明の再起動が起きたら、ソフトより先に電源を疑うといい、というのが本人からの助言である。
いっぽう温度のほうは、意外と余裕があったようだ。2枚構成で25分間まわし続けても58〜65℃で安定していた。1枚だけの静音冷却版はさらに低く、300W近くまで引く重い処理を15分続けても50℃で頭打ち。性能を落とし始める温度まで34℃の余裕があった。実際のエージェント作業はもっと軽い処理が中心なので、44℃程度で動くという。静音にしたぶん性能を我慢している、という構図にはなっていないことになる。
解釈上の留意点
これは個人の製作記であって、誰でも同じことができるという話ではない。2枚を載せる基板は自作だし、電源も冷却も自分で見極める必要がある。中古のデータセンター向けカードには家庭向けの保証もなければ、家庭用の箱に入れる前提の冷却設計もない。「こういう道もある」という紹介として読むのがちょうどよく、そのまま真似することを勧めるものではない。
記事に出てくる速度や温度の数値も、すべてリーチさん本人が自分の環境で測ったもので、第三者による検証を経たものではない。モデルの版や設定、実行エンジンの違いで変わりうる。価格についても本人が販売している構成のものなので、中古市場の相場そのものとは別に考えたほうがいい。
それでも、産業側で「もう古い」と判断されたハードが個人の手元ではまだ十分に働く、という事実は残る。データセンターの世代交代が進むほど、この種のカードは中古市場に降りてくる。AIを使うことが必ずしも月額を払ってクラウドに投げることを意味しない、という選択肢が、机の下に置ける大きさで存在している。
コメント