Amazon Bedrock AgentCore Managed Harness で LiteLLM Proxy をモデルソースとして設定してみた

• URL: https://dev.classmethod.jp/articles/bedrock-agentcore-harness-litellm-proxy-model-source/
• 日付: 2026-06-10
• Tier: Tier 2
• 要旨: Bedrock AgentCore Managed HarnessのモデルソースにLiteLLMが新たに追加。LiteLLM Proxy経由で仮想APIキー・チーム単位アクセス制御・使用量トラッキングなどガバナンス機能をHarnessに組み込み可能に。TerraformによるLiteLLM Proxyデプロイから接続まで一気通貫で検証。

詳細

追加されたLiteLLMサポートの意義

• 従来: BedrockモデルソースはAmazon Bedrock/OpenAI/Google Geminiの3択
• 今回追加: LiteLLM Proxyを経由したモデルアクセス
• LiteLLMのプロキシ層で仮想APIキー発行・チーム別制限・ガードレール適用等のガバナンスをHarnessに持ち込める

セットアップ手順

1. LiteLLM ProxyをECS Fargate+ALBにTerraformでデプロイ（リポジトリ: yuu551/lite-llm-sample）
2. LiteLLM Admin APIでチームと仮想APIキーを発行（モデルアクセス制限付き）
3. AgentCore Identityに仮想APIキーをCredential Providerとして登録（Secrets Manager経由で暗号化保存）
4. Harness編集でModel sourceをLiteLLMに選択、モデルIDをlitellm_proxy/claude-haiku形式で指定

ハマりポイント

• モデルID指定はclaude-haikuではなくlitellm_proxy/claude-haiku形式が必要（プレフィックスなしはプロバイダー判定できずエラー）

検証環境

• LiteLLM Proxy: main-v1.81.14-stable（ECS Fargate + ALB）
• モデル: claude-sonnet（Bedrock経由）、claude-haiku（同）
• Claude Sonnet 4.5 / Haiku 4.5をBedrock経由でルーティング