閉域・自社管理
Local LLM
推論データを外部事業者へ送らず、管理下のPC、サーバー、プライベートクラウドで処理します。
- 選ぶ理由
- データを外部送信できず、利用するモデルや処理環境を自社の管理下に置く必要がある
Local LLM・閉域生成AIの適用判断・技術検証支援
生成AIは導入した。
けれど、最も重要な業務データには使えていない。
生成AI活用は、その有用性を確認するPoCの段階から、業務改善や生産性向上など、具体的な成果を求める段階へ移りつつあります。
一方で、重要な業務データほど外部サービスへ送信できず、生成AIを活用できる業務が限られている企業もあります。日本明月ソフトは、Local LLM、クラウドAPI、ハイブリッド構成を比較し、対象業務で必要な品質と処理性能を検証します。GPU使用量や人による確認工数も測定し、費用対効果と本番化の可否を判断するための材料を整理します。
Local LLMを導入することが目的ではありません。
クラウドAIでは扱えず、取り残されている業務を前へ進めることが目的です。
生成AIの有用性を確認するだけでなく、実際の業務で成果につながるかまで検証します。
Local LLMの位置づけ
Local LLMは、クラウドAIより安く使うための選択肢ではありません。
クラウドAPIは、高性能なモデルを初期投資を抑えて利用でき、運用負担も小さいため、多くの業務では第一候補になります。Local LLMには、モデルの品質や処理性能、導入・運用の負担といった制約があります。ただし、外部へ送信できないデータを扱う業務や、閉域環境のためクラウドAPIを利用できない業務では、Local LLMが現実的な選択肢になります。
高度な推論・運用性
クラウドAPI
外部送信が認められる情報を、高品質・高性能なモデルと運用済みの基盤で処理します。
- 選ぶ理由
- 高い回答品質と処理性能、導入・運用負担の小ささを重視する
データ境界と性能を両立
ハイブリッド
自社管理が必要なデータはLocal LLMで処理し、外部送信が認められる情報はクラウドAPIで処理します。
- 選ぶ理由
- データの機密性に応じて処理先を分け、クラウドAIの品質とLocal LLMの閉域性を両立したい
構成比較のご支援
クラウドAPIとLocal LLMを同じ評価項目で比較し、対象業務に対する優位点と課題を報告書にまとめます。
クラウドAPIとの比較には、外部送信可能な代表データまたは代替データを使用し、同じ評価項目で確認します。
業務品質 必要な正答、根拠、許容できる誤り
処理性能 1件の時間、処理件数、同時実行
計算資源・費用 GPU使用量、API利用料、運用負担
人の確認工数 確認、修正、差し戻しに必要な時間
ご支援できること
はじめからLocal LLMありきで進めるのではなく、比較結果から対象業務に適した構成を整理します。構成ごとの評価結果、優位点、課題、選定理由を、社内の導入判断に使える報告書として残します。
Local LLMの活路
クラウドAPIを利用できない業務でも、Local LLMによって生成AIを活用できる場合があります。
多くの業務では、高品質・高性能なモデルを少ない運用負担で利用できるクラウドAPIが第一候補です。ただし、機密データを外部へ送信できない場合や、閉域環境から外部APIへ接続できない場合には、Local LLMを使うという選択肢があります。
クラウド利用上の制約
クラウドAPIでは扱えないデータ・環境
機密データを外部へ送信できない、閉域環境から外部APIへ接続できない。このような制約がある場合、クラウドAPIは利用できません。一方、Local LLMならデータを社内環境から出さずに処理できるため、生成AIの活用をあきらめずに済む可能性があります。
機密データを外部へ送信できない
契約や社内ルールにより、クラウド事業者へ対象データを送信できない。
外部APIへ接続できない
閉域ネットワークやオフライン環境で処理を完結する必要があり、クラウドAPIを利用できない。
Local環境に置くだけで、安全性が保証されるわけではありません。
Local LLMであっても、推論基盤、RAGデータベース、ログ、アクセス権限、モデル・ソフトウェアの更新を適切に管理する必要があります。
Local LLMの適用可能性
Local LLMで処理可能な業務かを確認する
Local LLMには、利用できるモデルの品質やGPUの処理能力に制約があり、GPUやサーバーの導入・運用費もかかります。対象業務のデータ量、処理形態、必要な品質、確認方法の四つの観点から、Local LLMで処理できるかを確認します。
処理するデータ量が多い
従量課金型のクラウドAPIでは、主に入出力トークンなどの利用量に応じて費用が増えます。Local LLMでは外部APIの従量課金は発生しませんが、設備、電力、保守、運用に費用がかかります。処理するデータ量が多いほど費用面の利点が出やすくなりますが、必要なGPUや運用体制を含めた全体費用で判断します。
バッチ・順次処理ができる
Local環境では、同時実行数を増やすほど多くのGPUが必要になります。夜間処理やキュー処理で順番に実行できる業務なら、少ないGPUでも対応でき、ハードウェアへの投資を抑えられます。
対象業務を限定できる
幅広い質問や高度な推論ではなく、対象文書、判断基準、出力形式を限定できれば、比較的小規模なモデルでも業務に必要な品質を目指せます。
人が結果を確認できる
AIの出力を最終判断にせず、担当者が確認・修正できる業務が前提です。生成AI全般に必要な考え方ですが、性能制約のあるLocal LLMでは特に重要です。
Local LLMは、生成AIを活用するための手段です。
対象業務のデータ量、処理形態、必要な品質、確認方法がLocal LLMに合えば、クラウドAPIを使えない業務でも、データを外部へ出さずに生成AIを活用できます。
Local LLMを採用した場合の処理イメージ
機密文書や業務データを社内環境で処理し、担当者が結果を確認します。
データをクラウドAIへ送信せず、Local LLMが対象文書から確認候補と根拠を整理します。AIの出力はそのまま確定せず、担当者が原文と照らし合わせて確認・修正します。
適用判断
クラウドAPIを使えない業務を、Local LLMで実現できるか判断します。
Local LLMは第一候補ではなく、クラウドAPIを利用できない場合の代替案です。その場合に、必要な品質を実現できるか、費用を許容できるか、誤りの影響を管理できるかを確認します。
適用判断の前提
クラウドAPIで問題なく処理できる業務には、クラウドAPIを利用します。
データの外部送信が認められ、高い回答品質やリアルタイム処理が必要な業務では、Local LLMへ置き換える必要はありません。データや環境の制約でクラウドAPIを利用できない業務を対象に、Local LLMの適用可否を判断します。
Local LLMを利用する場合に確認すること
- 01
Local LLMで、業務に必要な品質を実現できるか
一般ベンチマークではなく、実際の業務ルールと代表データを使い、正答、根拠、見逃しなどを評価します。
必要に応じて、RAGやプロンプトの改善に加え、合成データの生成、SFT、DPOによるポストトレーニングまで行い、改善前後の品質を比較します。
- 02
導入・運用に必要な費用を許容できるか
必要なGPU、処理時間、処理可能件数を測定し、ハードウェアの導入、保守、モデル更新や再評価に必要な費用と作業を整理します。
生成AIによって得られる業務上の効果と比較し、導入する構成や適用範囲を判断します。
- 03
誤りの影響に応じた確認方法を設計できるか
チャットやRAGを使った問い合わせ対応など、回答を参考情報として扱える業務では、注意事項を示したうえで利用できます。一方、契約書の確認、審査、承認など、誤りの影響が大きい業務では、人による最終判断を強く推奨します。
業務ごとに、AIの回答をそのまま利用できる範囲と、人による確認・承認が必要な範囲を明確にします。
評価結果を、業務での使い方へ落とし込みます。
Local LLMを使うこと自体を結論にはしません。評価結果をもとに、適用する業務範囲、必要な品質改善、GPU構成、確認方法を整理します。費用や誤りの影響を許容できない場合は、適用範囲を狭めるか、生成AIを利用しない判断も行います。
Local LLMを業務に組み込む方法
生成AIに任せる範囲を、業務ごとに明確にします。
Local LLMに業務全体を任せるのではありません。社内環境で処理するデータ、Local LLMが行う作業、出力結果の使い方を定め、生成AIを業務の一部へ組み込みます。
大量の文書を読み、必要な情報と根拠を整理する
分類、要約、確認候補の抽出、根拠となる原文の提示など、対象と出力を限定できる処理を社内環境で行います。
参考情報として提示するか、人の確認へ回すかを決める
チャットやRAGによる問い合わせ対応では、注意事項を示して回答を提示できます。契約書の確認、審査、承認などでは、担当者が原文と根拠を確認して最終判断します。
人の最終判断が必要な業務の例
Local LLMが候補と根拠を提示し、担当者が確認・承認します。
契約書の確認や審査などでは、Local LLMの出力をそのまま確定せず、担当者の判断材料として利用します。
人が確認する業務では、確認対象を絞ることが効果になります。
全件を人が読む状態から、AIが絞り込んだ候補と根拠を人が確認する状態へ変えることで、確認工数を削減できるかを評価します。
活用例
生成AIに任せる処理と、期待できる業務上の効果。
全件確認から、要確認箇所の確認へ
確認基準に沿って、記載不備や要確認箇所の候補を、根拠となる原文とともに抽出します。
人の仕事がどう変わるか 担当者は候補と根拠を重点的に確認する
大量の記録から、見るべき記録を絞る
異常、変化、確認が必要な記述の候補を抽出し、優先順位と原文箇所を提示します。
人の仕事がどう変わるか 担当者は異常候補から確認を始める
閉域内で、検索・再利用できる形へ整える
外部へ送れない文書を分類、要約、タグ付けし、検索や後続の確認に利用できる形へ構造化します。
人の仕事がどう変わるか 担当者は文書を探す時間を減らせる
確認基準をそろえ、例外を人へ戻す
社内ルールに基づく確認結果の候補を生成し、自信がないケースや例外を要確認として振り分けます。
人の仕事がどう変わるか 担当者は例外判断と承認に集中する
日本明月ソフトの強み
クラウドAPIを使えない業務に、Local LLMを適用できるかを評価します。
対象業務と利用用途を整理し、実際の業務データを使って、候補となるLocal LLMの品質、処理能力、GPU使用量、費用を評価します。Local LLMを適用できるか、適用できる場合はどの業務範囲と構成が適切かを、判断根拠とともに報告書へまとめます。
対象業務と利用用途を具体化する
対象データ、利用者、期待する効果、AIに任せる処理、人が確認する範囲を整理し、Local LLMを評価する前提を明確にします。
業務に必要な品質を測る基準を設計する
一般ベンチマークだけで判断せず、実際の業務ルール、正答、見逃し、許容できる誤り、根拠の示し方を評価項目として設計します。
複数のLocal LLMを業務データで比較する
特定のモデルを前提にせず、複数の候補モデルとRAG構成を、同じデータ、評価基準、測定条件で比較します。
GPU・処理能力・費用を含めて適用可否を判断する
回答品質に加え、処理時間、同時実行数、GPU使用量、人の確認工数を測り、Local LLMを業務で利用できる条件を整理します。
必要な場合のみ
RAGやプロンプトで必要な品質に届かない場合は、ポストトレーニングも検討します。
GPUの制約でより大きなモデルを利用できない場合や、利用用途が非常に特殊で既存モデルでは対応できない場合に、期待できる改善と追加費用を確認したうえで、合成データの生成、SFT、DPOを実施します。
ご支援の進め方
Local LLMの適用確認から、必要に応じた品質改善、本番利用に向けた条件整理まで、段階的にご支援します。
適用確認の結果、Local LLMでは対象業務の要件を満たすことが難しいと判断した場合は、その理由をご報告します。その後は、対象業務や適用範囲を見直すか、クラウドAPIを含む別の構成を検討するかなど、今後の進め方をお客様と改めてご相談します。
- 工程 01適用判断
対象業務と利用用途を整理する
生成AIをどの業務で、誰が、どのように利用するかを確認し、必要な品質と評価方法を整理します。
主な確認・実施内容- 対象業務、利用者、期待する効果の整理
- 正答、見逃し、誤検出、根拠の評価方法の設計
- 許容できる誤りと合格基準の整理
- 代表データ、例外データ、評価データの設計
- 人が確認、修正、承認する範囲の整理
- 想定するデータ量、処理期限、利用方法の確認
成果物・判断結果：評価対象の業務、利用用途、評価項目、評価データ、合格基準
- 工程 02適用判断
業務データでLocal LLMの適用可否を評価する
実際の業務データ、または検証に利用できる代替データを使い、候補となるLocal LLMの品質と処理能力を評価します。
主な確認・実施内容- 複数のLocal LLMによる業務ベンチマーク
- RAG、プロンプト、評価手順の検証
- 正答、見逃し、誤検出、根拠の評価
- 推論速度、同時実行性能、GPU使用量の測定
- 人による確認工数の測定
- 必要な品質に対する不足点の整理
成果物・判断結果：候補モデルの比較結果、品質・処理能力の測定結果、適用可否とその理由
- 工程 03品質改善 必要な場合のみ
必要な場合に品質改善を試す
RAGやプロンプトで必要な品質に達せず、より大きなモデルもGPUの制約で利用できない場合や、用途が非常に特殊な場合に限り、追加学習を検討します。
期待できる改善に対して、学習用GPU、データ作成、評価に必要な費用と作業量が見合うかを確認したうえで、実施を判断します。
主な確認・実施内容- 合成データ生成パイプラインの構築・改善
- SFT、DPOによる追加学習
- 学習パラメータの探索・最適化
- LLM-as-a-Judgeを用いた評価
- 複数の評価モデルによる評価の偏りの確認
- 学習前後の品質と処理性能の比較
成果物・判断結果：学習データ、学習条件、改善前後の評価結果、追加費用に対する改善効果
- 工程 04本番条件
本番利用に必要な条件を確認する
必要な品質に達しても、対象データを期限内に処理できなければ業務では利用できません。処理量と処理期限を測定し、本番に必要な構成と運用条件を整理します。
具体的なハードウェアの選定、販売、価格見積もりは、お客様またはハードウェア販売会社にご確認いただきます。
主な確認・実施内容- モデルサイズと必要なGPUメモリの整理
- 1件当たりの処理時間、処理可能件数、同時実行数の測定
- バッチ、キュー、再実行方式の検討
- 監視、ログ、アクセス制御の確認項目整理
- モデル変更時に必要となる再評価手順の検討
成果物・判断結果：必要なGPU、処理可能件数、費用算定に必要な条件、運用上の課題
- 工程 05引き継ぎ
評価結果と実装内容を引き継ぐ
検証結果だけでなく、構成、評価方法、実装内容、運用上の注意点を共有し、お客様自身で継続評価や改善を進められる状態を目指します。
主な確認・実施内容- 環境構築手順と構成情報の整理
- 評価データ、評価方法、判断基準の共有
- 合意した範囲のソースコード提供
- 運用手順と再評価方法の整理
成果物・判断結果：構成・手順・評価方法・ソースコードなど、合意した技術資料
成果物
成果物の例
実際の成果物は、ご相談内容と合意した対応範囲に応じて決定します。
- Local LLM、クラウドAPI、ハイブリッド構成の比較結果と選択理由
- 検証対象、評価基準、評価データ、評価手順
- 候補モデルごとの品質、処理能力、GPU使用量の測定結果
- RAG、プロンプト、および実施した場合のポストトレーニング前後の比較結果
- 人による確認工数を含む、業務運用上の評価結果
- 対象業務への適用可否と適用範囲の判断材料
- 本番化に必要な技術条件、運用課題、再評価方針
- 継続検証に必要な構成・手順・ソースコード
検証を進めるために
業務上の判断についてお客様にご協力いただきながら、Local LLMの適用可否を検証してまいります。
Local LLMの品質や処理能力は当社が検証します。一方、業務上の正解や許容できる誤りは、お客様の業務知識がなければ判断できません。業務ルールや代表データをご共有いただき、評価結果を一緒に確認しながら適用可否を判断します。
日本明月ソフトが行うこと
技術評価と必要な改善を行います
- 対象業務、利用用途、評価目的の整理
- 業務に合わせた評価基準と評価データの設計支援
- 候補となるLocal LLMの比較と業務評価
- RAG、プロンプト、評価手順の検証・改善
- 必要な場合の合成データ生成、SFT、DPO
- 処理能力、GPU使用量、費用算定に必要な条件の整理
- 適用可否、判断根拠、残る課題、次の選択肢の報告
- 評価方法、実装内容、合意した技術資料の引き継ぎ
お客様にお願いすること
業務上の確認・判断にご協力をお願いします
- データの外部送信に関する規程、契約、セキュリティ要件の確認
- 対象業務のルール、正しい処理例、例外事例の共有
- 評価に利用できる代表データまたは代替データのご提供
- AIの出力に対する業務担当者の評価
- 許容できる誤りと、人が確認・承認する範囲の判断
- 評価結果を踏まえた適用範囲と今後の進め方の判断
本番導入に向けた対応について
Local LLMを適用できると判断した場合は、評価結果、利用規模、既存システム、セキュリティ要件、必要な可用性を確認し、本番システムの設計、開発、運用支援の範囲を改めてご提案します。
評価前の段階で、実現できる品質、必要な費用、期間を正確に決めることはできません。あらかじめ評価基準を合意し、評価結果と残る課題を報告したうえで、次の進め方をお客様とご相談します。
協業について
Local LLMの適用評価・技術検証を、プロジェクトの一部として支援します。
SIer・コンサルティング会社の皆様が、クラウドAPIを利用できないお客様へLocal LLMを提案する際に、技術面からご支援します。
提案前の技術検討、評価基準の設計、候補モデルの業務評価、GPU・処理条件の確認、評価報告書の作成など、必要な範囲を担当します。既存プロジェクトの方針やお客様との役割分担に合わせて、支援範囲、体制、契約形態をご相談します。
Local LLM案件の技術協業について相談する対象業務・利用用途・Local LLMの適用条件の整理
業務に合わせた評価基準・評価データセットの設計
複数のLocal LLM・RAG構成の業務評価
閉域・オフライン環境での評価環境構築
必要な場合の合成データ生成、SFT、DPO
推論性能、GPU使用量、処理可能件数の測定
適用可否、品質改善、残る課題の評価報告書作成
評価方法・実装内容・技術資料の引き継ぎ
ご相談前の確認
よくあるご質問
ご相談の入口
クラウドAPIを使えない業務でも、
Local LLMで生成AIを活用できるか、まず確かめませんか。
Local LLMが適している業務は限られます。だからこそ、構築を始める前に、対象業務、データ、必要な品質、処理量、GPU使用量、人による確認工数を確認し、費用対効果を判断できる状態にすることが重要です。
ご相談時に、分かる範囲でお知らせください
- 対象としたい業務
- 扱うデータの種類と機密性
- 外部APIの利用に関する制約
- 1日または1か月当たりのおおよその処理量
- AIの出力を確認する担当者の有無
- 現在利用している生成AIや検証環境