ローカルLLM構築
ご無沙汰しております。gctです
最近、ローカルLLMを構築してみました。
LLMとは
日本語にすると大規模言語モデル
意味が分からないですね……
簡単に言うと、最近世間を賑わせている生成AIの中核となる技術です
与えられた文章を解釈し、それに対する回答を準備する
のみならず、最近では「こういう深堀もできますよ」という提案もしてくれます
ネット上には有料/無料を問わず様々なLLMのサービスがあります
ただし、情報漏洩などのリスクがあります
そこで、ローカルの閉じた環境にLLMを構築するとそういったリスクが軽減されます
ローカルLLMを構築する上で重要となってくるのが、パソコンのスペックです
現在LLMを動作させるのに最適とされる環境は次の通りです
- NPU + メモリ
- (CPU +) グラフィックボード
ちょっと見慣れない言葉が出てきました
- NPU:Natural Processing Unit
- LLM用に開発されたを複数の条件分岐の並列処理を得意とするユニット
- CPU:Central Processing Unit
- 汎用性が高く直列処理を得意とするユニット
- グラフィックボード(GPU:Graphics Processing Unit)
- 膨大な量の単純な計算の並列処理を得意とするユニット
- メモリ
- コンピューターの作業領域となるユニット(ちなみに上の3ユニットと比べるととても遅い)
今回私が構築したのは2.のパターンです
2.の場合に重要なのがVRAMの(GPU専用の高速なメモリ)の容量です
もちろん、実際に処理を担うGPUの能力も重要ですが、作業領域となるVRAMが重要となります
「ある程度の(能力を持った)LLMがそこそこ(快適に)動作する」というのが16GBと言われています
私が今使っているパソコンがたまたま、上記のボーダーをクリアする性能がありました
実際に使ってみると、ほぼ瞬時に結果を返してくれます
こう書くと一瞬ですべての結果を表示しているように見えますが、正しくは瞬時に「結果の表示が開始」されます
内容によりますが、数十秒から数分にかけて結果を表示します
つまりは結果を表示しながら、同時に推論を展開、結果の生成を行っています
実際に趣味で作っているツールのプロジェクト管理などが楽になりました
単体で動かしても、簡単な質問に答えてくれますしなかなか便利ではあります
ネット・ローカル問わずにいえることですが、まだLLMは発展途中にあります
なので、必ずしも正確な答えが返ってくるとは限りません
重要な結果は十分に検討、検証を行ってから用いるようにしましょう
日進月歩という言葉が生ぬるいぐらいに変化が激しい分野なので、ここに書いてあることももう古い！という可能性が多分にあります
なので、自分で確認しながら進めていきましょう！
次はLAN内に上の1.のパターンを作ってみたいなぁ……
※ちなみに現在最も高級品とされるストレージとメモリは確保済みです
