ローカルLLMの応答時間を見直すプロンプト設計：Ollamaで検証

最終更新日：2026年8月19日

ローカル環境で大規模言語モデル（LLM）を動かしていると、「応答が思ったより遅い…」と感じることはありませんか？ ローカルLLMの応答速度は、ユーザー体験の質を左右するだけでなく、大量データのバッチ処理時間やインフラコストにも直結する、ビジネス上の重要な課題です。

高性能なモデルを手元で動かせるようになった一方で、クラウドサービスのような快適な速度を得るには、マシンスペックだけでなく「賢い使い方」が求められます。実は、その解決策の一つが、私たちが日常的に使っている「プロンプト」に隠されています。

本コラムでは、出力形式や長さをプロンプトで指定した場合に、応答全体の所要時間がどのように変わるかを、Ollamaを使った検証結果とともに紹介します。

なぜプロンプトで速度が変わるのか？

プロンプトの工夫が、なぜ推論の「速度」にまで影響を与えるのでしょうか？

LLMの応答時間は、モデルやハードウェアだけでなく、入力と出力のトークン数にも左右されます。プロンプトで出力形式や長さを指定すると、生成される文章量が抑えられ、応答全体の所要時間が短くなる場合があります。

• 制約なし: 「要約して」という指示だけでは、出力の形式や長さがモデルの判断に委ねられるため、生成量が実行ごとに変わります。
• 制約あり: 「3つの箇条書きで、各200字以内」と指定すると、出力の上限と形式が明確になり、生成量を抑えやすくなります。

ただし、プロンプトを変えるだけでモデル自体の処理性能が向上するわけではありません。ここでは、同じ環境でプロンプトを変えたときの応答全体の所要時間を比較します。

検証：プロンプトによる速度比較

では、この仮説が本当か、Ollamaを使って検証してみましょう。

検証環境

今回の検証で使用した環境は以下の通りです。

• ハードウェア:
  • CPU: Intel(R) Core(TM) Ultra 9 185H
  • GPU: NVIDIA GeForce RTX 5090 (VRAM 32GB)
  • メモリ: 64GB
• ソフトウェア:
  • OS: Windows 11
  • ツール: Ollama
• 使用モデル:
  • qwen3:8b (パラメータ数: 80億)
  • gpt-oss:20b (パラメータ数: 200億)

検証方法

2026年の大河ドラマの主人公は「豊臣秀長」らしいです。せっかくなのでどのような人物か要約してもらいましょう。

Wikipediaの「豊臣秀長」のテキストを要約させるタスクを、2種類のプロンプトで推論速度を比較しました。

• 要約対象テキスト: 豊臣秀長.txt(Wikipediaの内容をファイルに保存)
• プロンプトA (要約方法の指定なし):

1与えられたテキストを要約してください。
2 
3{豊臣秀長のテキストの内容}
              

• プロンプトB (要約方法の指定あり):

1与えられたテキストを、以下の制約に従って3つの箇条書きで要約してください。
2・各箇条書きは200文字以内とする。
3 
4{豊臣秀長のテキストの内容}
              

「指定あり」のプロンプトでは、文字数や出力形式に具体的な制約を設けています。これが推論時間にどう影響するかが今回の検証のポイントです。 一つのモデルだけだと、固有の事象の可能性があるため、2つのモデル(qwen3, gpt-oss)で検証しました。

Pythonデモ：推論時間を計測する

Ollamaは、Pythonから非常に簡単に利用できます。今回の検証で使用した実際のスクリプトは以下の通りです。

プロンプトA(要約方法の指定なし) ※qwen3

main.py

1import time
2from langchain_ollama import OllamaLLM
3 
4PROMPT = """
5与えられたテキストを要約してください。
6 
7{topic}
8"""
9 
10with open("豊臣秀長.txt", encoding="utf-8") as reader:
11hidenaga = reader.read()
12 
13prompt = PROMPT.format(
14topic=hidenaga
15)
16 
17llm = OllamaLLM(model="qwen3:8b") #gpt-ossの場合はここをgpt-oss:20bに変更
18start = time.perf_counter()
19response = llm.invoke(prompt)
20print(response)
21print(f"{time.perf_counter() - start:.2f}秒")
              

プロンプトB (要約方法の指定あり)

※プロンプトの部分を次のように書き換えます

1PROMPT = """
2与えられたテキストを、以下の制約に従って3つの箇条書きで要約してください。
3・各箇条書きは200文字以内とする。
4 
5{topic}
6"""
              

このように、ollamaを使えば、ファイル操作や時間測定を含めても、直感的なコードでローカルLLMを操作できます。

結果

推論時間の比較

各モデルとプロンプトの組み合わせで50回ずつ推論を実行し平均所要時間を表にまとめました。

今回の検証では、いずれのモデルでも、出力形式と長さを指定したプロンプトの方が平均応答時間は短くなりました。 qwen3:8bでは約46%、gpt-oss:20bでは約8%の短縮でした。ただし、生成された文章量も異なるため、この結果だけでモデル自体の処理速度が向上したとは判断できません。

生成された要約の比較

速度だけでなく、生成された要約の質も見てみましょう。

• 指定なし: モデルによって、要点のまとめ方が異なりました。以下は要約例です。

  qwen3:8b

1**豊臣秀長の要約**
2 
3豊臣秀長（羽柴秀長）は、戦国から安土桃山時代に活躍した武将で、豊臣秀吉の異父弟（または同父弟）として知られる。秀吉の弟として織田信長の家臣となり、戦功を積み、天下統一に貢献。最終的に大和・紀伊・和泉の3ヶ国（約110万石）を領し、従二位権大納言の官位を歴任。大和大納言と尊称され、政権の安定に欠かせない人物として重用された。
4 
5**戦功と統治**
6- **織田時代**：信長の家臣として活躍。浅井氏滅亡や長島一向一揆討伐に参戦し、羽柴家の重臣となる。
7- **秀吉時代**：備中高松城の包囲戦や九州平定に参戦。紀州征伐で秀吉の副将となり、紀伊・和泉の所領を与えられる。
8- **統治手腕**：大和での土地調査（検地）、法令制定、陶器産業の振興など、内政改革を進め。しかし、高利貸し（「ならかし」）などの強引な政策も実施。
9 
10**問題と死**
11- **腐敗の影**：紀伊の材木取引事件や「ならかし」の継続が問題視される。
12- **死後遺効**：死後も旧臣を通じて政策が継続。享年52（1591年）。家督は養嗣子の秀保に継いだが、後に断絶。
13 
14**評価**
15温厚で寛仁な性格で、秀吉の補佐役として活躍。大和の統治で実務能力を発揮し、豊臣政権の安定に貢献。しかし、強引な政策も残り、後世への影響は二面的。
16 
17**結論**
18秀長は豊臣政権の中枢として戦功と統治手腕を発揮し、天下統一の基盤を築いたが、死後もその政策は影響を残した。彼の生涯は戦国時代の権力構造と統治の難しさを象徴する。
              

gpt-oss:20b

1**豊臣秀長（とよとみ ひでなが／羽柴 ひでなが）**
2（1540年頃–1591年2月15日）
3豊臣秀吉の異父弟（あるいは同父弟）で、戦国・安土桃山時代を通じて武将・大名として活躍。秀長は信長・秀吉の家臣として数多くの戦いに参加し、特に但馬・播磨の征服で功績を上げる。後に紀伊・和泉・大和を含む約110万石の領地を与えられ、官位は従二位権大納言に昇進。大和郡山城を居城とし、名号は「大和大納言」。
4 
5**主な業績と役割**
6- 但馬・播磨の征服で領地拡大、後に紀伊・和泉を含む10万石以上の領地を獲得。
7- 大和・紀伊・和泉地方の治めは寺社勢力が強く難解だったが、治め方に実務的かつ厳格な手法を用い、長期的な安定を図った。
8- 秀吉の軍事・政治の重要補佐役として、徳川家康や伊達政宗ら外様大名との調整、そして大規模な征伐（中国・越前・四国・九州等）に携わった。
9- 大和・和泉の土地改革や盗賊対策、検地・掟制定など内政政策にも力を入れ、領土経済を整備。
10 
11**人柄と評価**
12温厚で寛容だが、強硬な高利貸や金銀蓄積を行うなど、財政面での争点もあった。秀吉に対しては「異を唱える」側面も持ち、両者のバランスを取りつつ政権安定に寄与。死去後は家督を養嗣子へ継いだが、家系は後に絶縁。
13 
14**死去**
151591年2月15日、郡山城で病死（享年52）。当時の文献では「金銀充満」と記され、政治・経済的影響の大きさが示唆される。
16 
17総じて、豊臣政権の支柱として大和大納言を務め、天下統一の過程で重要な役割を担った人物である。
              

• 指定あり: 箇条書きと文字数制限のおかげで、どのモデルでも簡潔で要点がまとまった出力が得られました。プロンプトで出力形式を制御することが、安定した品質を得る上で有効であることが確認できます。

  qwen3:8b

1- 豊臣秀長は秀吉の異父弟で、戦国時代から安土桃山時代に活躍した大名。内外の政務・軍事で貢献し、約110万石の領地を獲得。大和大納言と尊称された。
2- 織田信長の家臣として成長し、羽柴家を支える要人物。備中高松城攻略や紀州征伐で活躍。秀吉の代理として四国攻めを主導した。
3- 病弱となり大坂城を最後に死去。大和の統治で寺社と経済政策を実施し、豊臣政権の安定に貢献。死後も影響力は続き、遺産の金銀蓄積も。
              

gpt-oss:20b

1- 豊臣秀長（羽柴秀長）は戦国期から安土桃山期にかけて豊臣政権を支える重要人物で、秀吉の異父弟・同父弟とされ軍事・内政を統括し天下統一に寄与した。
2- 領地は大和・紀伊・和泉を含め約110万石に達し、従二位権大納言へ昇進。大和大納言と称され、官位・地位で秀吉と同等に尊重された。
3- 1589年に病死し享年52、家督は甥秀保に継がれ羽柴家はその後文禄4年に断絶。業績は豊臣家の安定と政務調整に大きく貢献した。
              

考察

今回の結果から、以下の3点が考察できます。

1. 出力長の指定による所要時間短縮の可能性: 出力形式と文字数を指定したことで生成量が抑えられ、応答全体の所要時間が短くなった可能性があります。今回の検証では出力トークン数を記録していないため、要因を特定するには追加の計測が必要です。

2. モデルサイズと速度の関係: 今回は要約という比較的簡単なタスクだったため、qwen3については32bではなく8bを使用しました。 このように、タスクの複雑さに応じて適切なサイズのモデル（パラメータ数）を選択することが、速度と精度のバランスを取る鍵となります。パラメータ数が大きいモデルは表現力が高い反面、推論に時間がかかる傾向があります。

3. 出力品質の安定化: 明確な指示は、速度だけでなく品質の安定化にも寄与します。複数のLLMを試す際や、システムに組み込む際には、プロンプトで出力形式を固定化することが重要です。

4. 継続的な最適化の必要性: LLMの世界は日進月歩であり、現在利用しているモデルやプロンプトが今後も同じ結果を示すとは限りません。業務で利用する場合は、モデルや実行環境を変更した際に再評価することが重要です。

終わりに：プロンプトと実行環境の両面から応答時間を確認する

本コラムでは、プロンプトで出力形式と長さを指定した場合に、応答全体の所要時間が短くなる例を紹介しました。あわせて、出力形式をそろえることは、結果を業務で扱いやすくするうえでも有効です。

一方で、プロンプトの工夫だけですべての性能問題を解決できるわけではありません。業務で求められる処理量や応答時間を満たせるかは、モデル、生成量、同時実行数、ハードウェアなどを含めて評価する必要があります。

しかし、いざ自社の業務に適用しようとすると、次のような、より具体的で実践的な課題に直面するかもしれません。

当社では、実際の業務データを用いて、Local LLMが必要な品質と処理性能を満たせるかを評価します。Local LLMの採用が難しい場合は、その理由をご報告し、クラウドAPIを含むほかの構成についてもご相談いただけます。