コンテンツにスキップ
Reports
Qiita Com Tateishi T Items F42b3e7eb2741cac3a98

Intel Mac 2018（i7/32GB）で動く“日本語OKなローカルLLM”を比較・選定する（実施編）

  • URL: https://qiita.com/tateishi-t/items/f42b3e7eb2741cac3a98
  • 日付: 2026-06-26
  • Tier: Tier 3
  • 要旨: Intel Mac（2018、i7/32GB）上でLlamaIndex・Ollama・ChromaDBを統合したローカルRAGシステムを構築した実践記録。LlamaIndexエコシステムの依存関係衝突という最初の壁を、各コンポーネントのバージョンを厳密に固定することで突破している。用途別（note・Qiita・ビジネス）にドキュメントを整理し、フォルダを分けてベクトルDBに格納することで回答ノイズを削減する設計を採用した。実際の使用感として文章生成に時間がかかり実務でのリアルタイム利用は難しいと正直に評価されている。

詳細

  • 要件: 完全ローカル稼働・用途別カスタマイズ（note/Qiita/ビジネス）・Intel MacでのCPU推論
  • 依存関係の解決が最大の課題。安定バージョンセット:
    • llama-index-core: 0.11.0
    • llama-index-llms-ollama: <0.5（0.4.x系）
    • llama-index-embeddings-huggingface: <0.4（0.3.x系）
    • llama-index-vector-stores-chroma: 0.3.0（core<0.12.0かつchromadb>=0.5.17の制約で全体の鍵）
    • chromadb: >=0.5.17
    • sentence-transformers: 2.7.0
    • pypdf: 4.3.1
  • RAGパイプライン: SimpleDirectoryReader → HuggingFaceEmbedding → ChromaVectorStore → VectorStoreIndex → Ollama（llama3.1-8b-ja）
  • 用途別データ構造: corpus/note/・corpus/qiita/・corpus/business/ でフォルダを分離。メタデータフィルター（filters={“domain”: “business”}）で検索対象を限定
  • 拡張計画: domainメタデータでプロンプトを動的分岐し、回答のトーンやフォーマットをユーザーが制御できる設計
  • 実用上の課題: CPU推論のため文章生成に時間がかかり、リアルタイムの実務利用は困難
Qiita Com Tateishi T Items 85af44e9d6fe11a047b4Tech Layerx Co Jp Entry 2026 06 25 162902