LLMの「聞きすぎ」を止める：ラベル付きデータで自己分析させたプロンプト改善

url: https://tech.layerx.co.jp/entry/2026/05/taming-llm-overquestioning date: 2026-05-19 topics: ai-agent-implementation, ai-llm, corporate-engineering tier: Tier2（企業技術ブログ・実験報告）

要約

LayerXバクラクのQAエンジニアが、LLMが過剰に質問を生成する問題（NG率80%）に対し、「ラベル付きNG出力をLLM自身に分析させてルール化」するアプローチで改善（NG率61%）。LLMがStep 2.5「質問してはいけない除外ルール」を自ら提案。

主要な主張

• 問題：LLMが調査不要な情報（内部確認可能、再現済みなど）まで質問として出力（NG率80%）
• 解決策：NG出力にOK/NGラベルを付けLLMに渡し、禁止ルールをLLM自身に提案させる
• 結果：NG率80%→61%（統計的有意性は限定的だが傾向確認）
• 副産物：「質問が0件のときは追加確認不要と出力する」というルールも自動提案
• 教訓：データ先行でルールを帰納的に作る順序が重要、11件でも4パターン抽出可能

Tier判定

Tier2 - LayerX技術ブログ（実践改善報告）