top of page

AIエージェント・セキュリティ防衛Team

● NORMAL_PATH — 正常系:低リスク入力は属性付与・分離を経てコアへ到達

JUDGE ≠ EXECUTOR // ZERO_TRUST_BOUNDARY

SEC-ARCH // 01 — IMPLEMENTATION SPEC

AIエージェント入力側セキュリティ実装設計書

根本課題は、同じモデルに「指示を実行する者(実行者)」と「指示の安全性を判断する者(審判員)」を兼ねさせていることです。攻撃者の入力はモデルの判断そのものを書き換えられるため、安全判定はモデルの外側、推論エンジンに到達する前の独立した境界で行う必要があります。

⇢

外部リクエスト

ユーザー入力・外部文書・ツール応答など、信頼できない全入力。

◈

独立安全ゲートウェイ

モデル外で動く検査層。審判員の役割をここに分離。

▤

リスク分類

入力を低・中・高の3段階に判定。

⚙

処置

誘導・是正/無害化・クリーニング/直接拒否。

⊕

属性付与

送信者IDと権限を静的に紐付け(静的バインディング)。

▥

コンテキスト分離

システム指示と外部データを物理的に別領域へ格納。

◉

エージェントコア

検証済み入力のみを受け取り、実行者に専念。

3層リスクとの対応マップ

[ RISK LAYER MAPPING ]

INPUT LAYER / 入力層

独立安全ゲートウェイ

インジェクション・脱獄を到達前に遮断/無害化。

EXECUTION LAYER / 実行層

権限の静的バインディング

権限外のツール呼び出しを機械的に拒否。

OUTPUT LAYER / 出力層

コンテキストの物理的分離

汚染された文脈による内部情報の漏えいを防止。

[ 02 / ARCHITECTURE & SPECS ]

入力側を守る3つの前置防壁

LLMに入力が到達する前に、判定・権限・文脈の3点を構造的に固定します。モデルの判断に依存せず、仕組みとして悪意ある指示を無効化するための技術仕様です。

BARRIER-01 / GATEWAY

独立安全ゲートウェイ

入力がLLMに到達する前に静的解析を実施。判定はLLMから隔離された独立コンポーネントが行い、危険と判断した入力は遮断、または無害化してから後段へ渡します。

> PRE-LLM STATIC SCAN
> ISOLATED VERDICT ENGINE
> BLOCK / SANITIZE

BARRIER-02 / IDENTITY

権限の静的バインディング

認証済みユーザーの識別情報と権限タグを、リクエストに静的に紐付けます。ツールの実行可否はプロンプトの内容ではなく、権限タグに基づいて機械的に判定されます。

> AUTHENTICATED USER ID
> PERMISSION TAGS
> DETERMINISTIC TOOL ACL

BARRIER-03 / CONTEXT

コンテキストの物理的分離

外部データには「Untrusted External Data」の標識を付与。システム指示と内部メモリを別区画に置き、外部入力がルールを上書きできない構造を設計段階で確立します。

> UNTRUSTED DATA MARKER
> PARTITIONED MEMORY
> NO RULE OVERRIDE

[ FAQ // Q&A ARCHIVE ]

セキュリティFAQ

入力側防御の設計・実装で技術リードから寄せられる代表的な論点を、短時間で確認できるQ&A形式で整理しました。

[01] SYSTEM PROMPT

Q: なぜSystem Promptだけでは不十分なのですか?

System Promptはユーザー入力と同じコンテキスト内で処理されるため、巧妙な指示で上書き・無効化される余地が残ります。防御をモデルの自己判定に依存させず、モデルの手前に独立したセキュリティゲートウェイを置き、入力を事前に検査・分類することが前提となります。

[02] RISK CLASSIFICATION

Q: 低・中・高リスクをなぜ分けて処理するのですか?

すべてを一律に拒否すると正当な利用まで妨げ、一律に許可すると攻撃を通してしまうためです。低リスクは誘導・是正で意図を正しい方向へ戻し、中リスクは無害化・クリーニングで危険な要素のみを除去し、高リスクは直接拒否で処理を遮断します。

[03] AUTHORITY TAGGING

Q: 権限をモデルに判断させないにはどうすればよいですか?

認証済みのアイデンティティに基づく権限タグを、ゲートウェイ側でリクエストへ静的に紐付けます。モデルは付与されたタグの範囲内でのみツールを実行でき、「管理者として振る舞え」といった入力文によって権限が変わることはありません。

[04] MEMORY ISOLATION

Q: コンテキスト分離では何を守るのですか?

システム指示領域と、ユーザー入力・外部データ・会話メモリを物理的に別領域として扱い、外部データが指示として解釈されることを防ぎます。これにより、メモリへの汚染や間接インジェクションがシステム指示へ波及する経路を断ち切ります。

[05] VALIDATION CRITERIA

Q: 本番リリース前に何を検証すべきですか?

リスク階層ごとに誘導・是正、無害化・クリーニング、直接拒否が想定どおり作動するかを、攻撃パターンを用いて確認します。あわせて、権限タグが入力で変化しないこと、指示領域とメモリが分離されていること、判定がモデルの自己判定に依存していないことを整合性基準として検証します。

bottom of page