中古GPUでLLM環境、初心者が必ずハマる3つの罠

導入で痛い目を見る前に

「月額3万円のAIサービス代をゼロにしたい」そう思ってメルカリでポチったTesla V100。到着した瞬間は優雅に勝ち誇りましたわ。しかし、自作PCに差し込んだ瞬間、わたくしの顔から血の気が引きましたの。画面は真っ暗、ファンは爆音、そして部屋中に漂う焦げ臭い匂い。これが、4畳半で起きた絶望の幕開けでしたわ。

中古のサーバ用GPUでローカルLLM（大規模言語モデル）を動かす——これがどれだけ茨の道か、身をもって味わったわたくしが、その現実をお伝えしますの。安さに飛びつく前に、貴方にも知ってほしいのですわ。

なぜサーバ用GPUは普通のPCで動かないのか

そもそも、データセンターで余生を終えたTeslaやRadeon Instinctは、普通のデスクトップPCとは設計思想が違いますの。参考元の試算にもある通り、メモリ1GBあたりの価格は驚異的ですが、その裏には「使うための工夫」が山ほど隠れているのですわ。

GPU選びは、ホームセンターで木材を選ぶのに似ていますのよ。カタログ上の長さや厚み（メモリ容量や演算性能）だけ見ていてはダメ。反りや節にあたる「補助電源コネクタの形状」「冷却ファンの有無」「ビデオ出力の有無」を見極めないと、後で泣きを見ますわ。

確かに、メモリ単価で見れば新品の10分の1以下。これだけ見れば「買い」ですが、落とし穴はここからですの。

わたくしがV100で体験した3つの地獄

ここからが本題。わたくしが実際にTesla V100（32GB）を5万円で落札し、味わった苦難を公開しますわ。

地獄その1：冷却ファンがない

届いたV100にはファンがついていませんでしたの。データセンターではサーバーラックの強力なFANで冷やす前提。そのままPCに差せば、わずか数分で100℃に達し、サーマルスロットリングどころかシステムが強制終了。冷蔵庫の在庫管理ではありませんが、熱を逃がす仕組みなしに高性能部品を詰め込むのは自殺行為。わたくしは急遽、3Dプリンタでダクトを作り、そこにうるさいブロアファンをテープで固定するという、見るも無惨な姿になりましたの。

地獄その2：補助電源が合わない

一般のグラボは8ピンや6ピンのPCIe補助電源を使いますが、サーバ用はEPS 8ピンという別物。変換ケーブルを買い忘れ、PCが起動せず。ようやく起動しても、今度は電源容量不足で突然シャットダウン。750W電源ではV100のピーク消費に耐えられなかったのですわ。結局1000W電源に買い替え。初期投資がどんどん膨らみますの。

地獄その3：ドライバが地獄絵図

NVIDIAのデータセンター向けドライバは、ゲーム用とは別物。インストールすると、なぜか内蔵グラフィックが無効化され、PCが文鎮化。セーフモードで復旧するも、今度はCUDAのバージョンが合わず、LLMの推論エンジンが動かない。わたくしはOSのクリーンインストールを3回繰り返しましたわ。この苦労、貴方にも味わわせたいとは思いませんの。

それでも導入したい貴方へ、3つのチェックポイント

ここまで読んで「それでも挑戦したい」という猛者だけ、次に進みなさい。

1. 冷却手段を事前に確保：ブロアファン＋ダクト、あるいは水冷化キットの準備を。静音性は諦めなさい。
2. 電源は余裕を持って：カタログTDPの1.5倍以上の定格出力を推奨。変換ケーブルも忘れずに。
3. ドライバの地雷原を覚悟：クリーンインストール前提で、OSとツールのバックアップを。

もしここまでの手間を「給料の対価として割に合わない」と感じたなら、ラズパイ5でAI常駐を試す方が身の丈に合っているかもしれませんわね。

こんな貴方は絶対に手を出してはいけません

• 会社の業務用PCで試そうとしている方 → セキュリティ規定違反でクビですわ
• 「とにかく簡単に」が口癖の方 → 間違いなく挫折しますの
• 静音PCにこだわる方 → 爆音ファンで家族が離れていきますわよ

逆に、「安く大量のVRAMが欲しい」「失敗を楽しめる」という変態紳士には、これ以上ない趣味となりましてよ。わたくしのように、4畳半にこもってLLMを好き放題に動かす悪魔的愉悦を味わいたければ、どうぞご勝手に。