ローカルLLMを自分のPCで試す——安全な試し方と、社内に広げる前に分かること

試す前に確認すること

セットアップ自体は15分ほどで終わります。ただしローカルで動くことと、安全に使えることは別です。手順に入る前に、4点だけ確認してください。

最初はダミー文書か、マスキングした文書で始めます。動作確認の段階で実物の顧客情報を使う必要はありません。まず社名や氏名を置き換えた文書で、期待した動きになるかを見ます。

実文書を使うのは、社内の許可を取ったあとにします。多くの社内規程は「外部サービスへの送信」を禁じており、ローカル処理は想定されていません。規程が想定していないことと、使ってよいことは違います。判断するのは情シスです。情シスや管理者に、ローカルで完結する処理として認められるかを先に確認します。

入力した内容がPCのどこに残るかを把握します。チャットの履歴はアプリ内に保存されます。検証が終わったら履歴を消せるか、PCを紛失したときにその中身が守られるか（ディスク暗号化がかかっているか）を確認してください。

通信が発生する場面を区別します。アプリの取得とモデルのダウンロード、アプリの更新確認では通信します。処理が端末内で完結するのは、ダウンロード済みのモデルを選んで会話しているときです。気になる場合は、モデルを入れ終えたあとに通信を切って、応答が返るかを見れば確かめられます。

4点のうち一つでも未確認なら、セットアップを止めて、情シスと保管・通信の条件を先に決めてください。ここが曖昧なままだと、うまく動いても業務では使えません。

セットアップ

使うのは「Ollama」です。もとはコマンド操作のツールでしたが、2025年7月からMac・Windows向けにチャット画面付きのアプリが提供されています。チャット画面からモデルを選べるので、最初の検証はコマンド操作なしで進められます。

必要な環境は次のとおりです。

• OS：macOS 14以降、またはWindows 10以降
• メモリ：16GB以上を推奨。モデルのファイルサイズに加えて、OSと他のアプリの使用分が要ります。試すときは重いアプリを閉じてください
• ディスク空き容量：使うモデルのサイズの1.5倍程度。7.6GBのモデルなら12GB前後は空けておく

手順は3つです。

1. アプリを入れる
公式サイト（ollama.com）からダウンロードし、通常のアプリと同じようにインストールします。Macで「開発元を確認できないため開けません」と出たら、システム設定のプライバシーとセキュリティから許可します。WindowsでSmartScreenの警告が出た場合も同様に、詳細情報から実行を選びます。

2. モデルを入れる
アプリを開くとチャット画面が出ます。入力欄の右下にモデルの選択欄があるので、使いたいモデルを指定するとダウンロードが始まります。最初の1本は、16GBのPCなら gemma4:12b （約7.6GB）が扱いやすい大きさです。この文字列をそのまま選択欄に入力してください。ダウンロードは回線次第で数分から十数分かかります。

3. 話しかけて動作を確かめる
チャット欄に日本語で入力します。返答が返ってくれば動いています。ファイルをドラッグすればテキストやPDFの中身も読ませられます。長い文書を扱うときは設定でコンテキスト長（一度に読める量）を増やせますが、そのぶんメモリを使います。

うまくいかないときの対処はこうです。ダウンロードが止まったら、回線と空き容量を確認します。返答が極端に遅い、途中で止まるなら、他のアプリを閉じ、ひとつ小さいモデルに替えます。再起動してもアプリが落ちるなら、そのPCにはそのモデルが重すぎます。

業務で使えるかを見極める

動いた時点ではまだ何も判断できません。自社の業務に近いことを、記録を取りながら試します。ポイントは1回で判定しないことです。

文書の要約。議事録や報告書を読ませて、まずは単純に箇条書きで要約させます。それが安定したら「決定事項・未決事項・ToDo」のように構造を指定します。小さいモデルは複雑な指示ほどズレるので、崩れたら指示を具体的にして再試行します。

規程への質問。就業規則やセキュリティ規程を読ませ、社員から実際に来そうな質問をぶつけます。

この規程に書かれている内容だけを根拠に答えてください。
規程に記載がない場合は「記載がありません」と答えてください。
質問：（ここに質問を書く）

ここで大事なのは、正解が分かっている質問を10問以上、しかも規程に書いていない質問を混ぜて用意することです。1問答えられたかではなく、記載のないことを「記載がありません」と言えた割合を見ます。書いていないことをそれらしく補うようなら、問い合わせ対応には使えません。

定型文の下書き。納期連絡や日程調整のメールを書かせます。

次の条件で取引先へのメール本文を書いてください。
条件：（納期・理由・代替案などを箇条書きで）
書いていない情報を補わないでください。

3つとも、所要時間・手直しした量・明らかな誤りの有無をメモしてください。「なんとなく使えそう」ではなく、いまの手作業と比べて速いのか、手直しにどれだけかかるのかが、次の判断材料になります。

参考までに、私たちが同じ手順で試した結果を載せます。MacBook Pro（M1 Max・メモリ64GB）で、条文4つ分の社内規程を読ませ、10問の質問に答えさせました。10問のうち3問は、規程にわざと書かれていない内容です。

差がはっきり出たのは、規程に書かれている内容の方でした。5GB級は「私物のUSBメモリに顧客リストをコピーして持ち帰ってよいか」という質問に対し、規程がはっきり禁じているにもかかわらず「記載がありません」と答えました。条文には「私物のUSBメモリの使用を禁止する」と書いてあるのに、「その行為そのものの記載がない」と解釈したのです。答えないより危ないのは、この向きの外し方です。

8GB級は10問とも正解しましたが、回答の中で条文を引用する際、原文より短く要約している箇所がありました。条番号は合っています。そのまま社内に配るなら、引用部分は原文と突き合わせる工程が要ります。

メモリ実測8.9GBは、16GBのPCなら重いアプリを閉じれば収まる大きさです。もちろんモデルは大きいほど賢くなりますが、そこから先は32GB・64GB級の機材の話になります。まずは手元の16GBで届く範囲に、実用ラインがあるかどうかを見てください。

限界と、結果別の次の行動

1台のPCで動く規模のモデルは、クラウドの最上位モデルには及びません。試すと差が見えます。

速度は、返答がゆっくり流れてくる感覚になります。一問一答なら問題ありませんが、大量の文書を順に処理する用途では待ち時間が積み上がります。精度は、要約や規程の質問応答なら十分実用になる一方、複雑な企画の相談や、曖昧な依頼の意図をくむ作業では、クラウドの上位モデルのほうが明らかに強いです。そして1台で動かしている間は、その人しか使えません。「他の部署でも試したい」と言われた時点で、PC1台の検証は行き止まりになります。

検証の結果は、だいたい次の3つに分かれます。

• 基準を満たしたなら、複数人で使える形にする段階です（次章）
• 一部だけ届かない——用途は合っているが精度が足りない——なら、メモリの大きい機材で同じ検証をやり直す価値があります。前回の機材記事が判断材料になります
• 用途自体が合わないなら、その業務はクラウドAIか、AI以外の手段を検討します

見送る判断ができることも、1台で試した成果です。ここで基準を決めずに機材を買うと、あとから「思ったほどではなかった」と言うしかなくなります。

社内に広げるときに変わること

ここから先は、アプリを入れるだけでは済みません。主導するのは情シスか、それに相当する管理者です。検証を担当した人がそのまま設計まで背負うと、たいてい途中で止まります。

置き場所を決める。選択肢は3つです。各自のPCに入れる方式は、少人数で用途が限られるなら成立しますが、人数が増えるとバージョンも設定もばらつき、何がどこで処理されているか誰も把握できなくなります。部署ごとにサーバーを置く方式は、データの境界が部署単位で切れる代わりに台数が増えます。全社1台に集約する方式は管理は楽ですが、そこが止まれば全社が止まり、機密が1箇所に集まります。人数・用途・止まったときの影響で選ぶことになります。

権限を設計する。ローカルで動いていても、誰でも全社の文書を読ませられる状態なら機密は守れていません。「Driveで閲覧できること」と「AIに読ませてよいこと」は別です。詳しくはAIに社内データを読ませる前に、企業が設計すべきことで扱っています。

ログを残す。誰がいつ何を処理したかが分からないと、問題が起きたときに範囲を特定できません。特に集約方式では、ログ自体に機密が集まる点も設計に含めます。

更新の担当を決める。新しいモデルが出たら、品質・ライセンス・必要なメモリを見て入れ替えるか判断します。誰が評価し、駄目だったときにどう戻すかまで決めておきます。

必要になるのは、業務のどこにAIを置くかの設計と、セキュリティ・運用の設計の両方です。PC1台の検証で残した記録が、そのまま導入範囲と運用ルールを決める材料になります。

まとめ

• 機材を買う前に、手元のPC1台でローカルLLMを試せる
• ただし試す前に、ダミー文書から始める・実文書は許可を取る・履歴の保存先と削除方法を確認する
• セットアップはOllamaのアプリを入れてモデルを選ぶだけ。8GB級モデルのメモリ実測は8.9GBで、16GBのPCなら重いアプリを閉じれば収まる
• 判定は1回でしない。正解の分かる質問を10問以上、記載のない質問を混ぜて測る。手元の実測では8GB級が10/10、5GB級が8/10だった
• 結果は「使えそう／機材を上げて再検証／見送り」の3つに分かれる。見送る判断も成果
• 社内展開では、置き場所の方式選択・権限・ログ・更新担当が新たに必要になる

見るべきなのは「動いたかどうか」ではなく、「許可されたデータで、決めた基準を超える成果が安定して出るか」です。手元のPCで測って、基準を超えた用途だけを社内展開に進めてください。そこから先の設計は、一緒に組み立てられます。