VAIO TypeZ（VJZ13A）発売から10年以上経過したノートPCですが、いろいろとスペック不足な部分が目立ち始めた事とWinodws10サポート終了の話もあり3年前から放置気味でした。
ジャンク扱いでオークション出品や廃棄も考えましたが起動はするので、LinuxをインストールしてローカルLLMを構築することにしました。
はじめに
環境
構築環境は以下の通りです。LLMモデルの選定にあたっては、PCのスペックとOSの情報をAIにインプットし、おすすめされたモデルを採用しました。
PC：VAIO TypeZ（VJZ13A）Gen5_i7+16GB+SSD256GB
OS：Rocky Linux （CLI環境）
LLM：Ollama（オラマ）
インストール
Linuxインストール
PCにLinuxを入れる作業です。Rocky Linux9.8を用意。
余分なものを入れたくなかったのでCLI環境でインストールしたのですが、無線LANが認識せず。
GUI環境でインストールして、あっさりと認識を確認した後にXは停止させました。
本当ならCLIで頑張るつもりでしたが、今回の目的はLLM構築なのでまた別の機会です。
Ollamaインストール
ステップ1: Ollamaのインストール
ターミナルで以下のインストールスクリプトを実行します。
curl -fsSL https://ollama.com/install.sh | sh
ステップ2: AIモデルの起動（例：Llama 3.2 3Bモデル）
以下のコマンドを叩くと、自動的にモデルがダウンロードされ、そのままCUI上で対話モードに入ります。
ollama run llama3.2:3b
※PCのスペックが低いので小さいモデルを選択しています。
ステップ3: AIと対話する
プロンプト（ >>> ）が表示されたら、何か話しかけてみる。
>>> こんにちは。
終了したいときは /exit と入力します。
会話が出来るようになりました。
起動しない時は
1. Ollamaサービスの状態を確認する
まずは、裏で動くはずのシステムサービスがどうなっているか確認します。
Bash
systemctl status ollama
Active: inactive (dead)やfailedと表示されている場合、サービスが止まっています。- もし
Unit ollama.service could not be found.と表示された場合は、インストールが途中で失敗している可能性があります。
2. サービスを起動して自動起動を有効にする
サービスが止まっている、またはインストール直後に自動起動していなかった場合は、以下のコマンドで起動します（sudo が必要な場合は先頭につけてください）。
# Ollamaの起動
sudo systemctl start ollama
# PC起動時に自動で立ち上がるように設定
sudo systemctl enable ollama
3. 起動したか確認する
もう一度状態を確認します。
systemctl status ollama緑色の文字で Active: active (running) と表示されていれば、バックグラウンドでの起動は成功になります。
ダメな場合（手動での強制起動）
もしSystemdのサービス登録がうまくいっていない場合、エラーメッセージに書いてある通り、ターミナル上で手動でサーバーを立ち上げることもできます。
- 新しいターミナル（またはスクリーン/tmuxなど）を開きます。
- 以下のコマンドを実行して、サーバーをフォアグラウンドで起動します。
ollama serve- このターミナルは起動したまま（ログが流れる状態）にしておき、別のターミナル画面を開いて、そこで以下の対話コマンドを実行します。
ollama run llama3.2:3b
システム（systemd）のサービス登録失敗の場合
実行してもUnit ollama.service could not be found. と表示される場合は、何らかの理由でインストーラーがシステム（systemd）へのサービス登録に失敗した状態です。
この場合、「 手動でサービスを登録する」PC起動時に自動で立ち上がるようにしたいので下記の方法を行いました。
それぞれのやり方を記載しますので、やりやすい方をお試しください。
解決策：最も簡単！手動でバックグラウンド起動（推奨）
サービス登録が面倒な場合は、バックグラウンド実行コマンド（nohup）を使って、裏側でOllamaサーバーを走らせます。
1. サーバーを裏側で起動する ターミナルで以下のコマンドを実行します（最後に & をつけます）。
nohup ollama serve > /dev/null 2>&1 &
(これでターミナルを閉じても裏でOllamaが動き続けます)
2. 起動したか確認する
ollama --version
これでバージョン情報が正常に返ってくれば、問題なく接続できています！
3. AIを起動する
Bash
ollama run llama3.2:3b