ChatGPTやCopilotのような生成AIを社内業務に取り入れたり、自社サービスに大規模言語モデル（LLM）を組み込んだりする企業が増えています。一方で「便利だが、セキュリティは大丈夫なのか」という不安を具体的な形にできないまま使い始めている、という声も少なくありません。
結論から言えば、LLMには従来のシステムとは異なる固有のセキュリティリスクがあります。入力する文章（プロンプト）そのものが攻撃の入口になり、プロンプトインジェクションや機微情報の漏えい、幻覚（ハルシネーション）による誤情報などが代表例です。
これらは国際的な指針である「OWASP Top 10 for LLM Applications 2025」が10種類に整理しており、取るべき対策はLLMを「使う側」と「作る側」で異なります。
この記事では、LLM特有のリスクの全体像をOWASPの枠組みにもとづく一覧で示し、主要なリスクが「どう悪用され、何が起きるのか」を具体的に解説します。そのうえで、立場別に取るべき対策と、自社のLLM利用やLLM組み込みアプリが安全かを外部から確かめる手段である脆弱性診断までを整理します。
目次
一括ダウンロードする
LLMのセキュリティとは｜従来システムと何が違うのか
LLMのセキュリティを考えるうえで、まず押さえるべき違いがあります。従来のシステムでは、脆弱性の多くはプログラムの欠陥や設定の不備に起因していました。これに対してLLMでは、利用者が入力する自然言語の文章（プロンプト）そのものが、動作を狂わせる攻撃の入口になります。
総務省のICTサイバーセキュリティ政策分科会に提出された資料でも、LLMアプリケーションには従来とは異なる新たな攻撃面が存在すると整理されています。攻撃者は入力するプロンプトを細工することで多様な攻撃を仕掛けられ、特にLLMと連携するシステムが攻撃を受けると、大量の情報漏えいや改ざん、システム侵入につながる可能性があります。
LLMアプリケーションには、従来のセキュリティとは異なる新たなアタックサーフェスが多数存在する。攻撃者はLLMアプリケーションに入力するプロンプトを細工することで、多種多様な攻撃を行うことができる。特にLLMと連携するシステムが攻撃された場合、大量の情報漏えいや改ざん、システム侵入などの被害が発生する。
出典：LLMとセキュリティ（資料8-4）｜総務省 ICTサイバーセキュリティ政策分科会（第8回）
従来システムとLLMで「攻撃の入口」がどう違うかを整理すると、次のとおりです。
このように、ファイアウォールやコードの脆弱性対策といった既存の仕組みだけでは、LLM特有のリスクは防ぎきれません。LLMを安全に使う・作るには、入力と出力、権限、学習データといったLLMならではの観点でリスクを捉え直す必要があります。次章から、その全体像を確認します。
LLM特有のセキュリティリスク一覧（OWASP Top 10 for LLM）
ここからは、LLMにどんなリスクがあるのかを一覧で確認します。LLMアプリケーションのセキュリティリスクを整理した国際的な指針が、OWASPが公開する「OWASP Top 10 for LLM Applications」です。最新の2025年版（Version 2025、2024年11月公開）では、代表的なリスクが10のカテゴリにまとめられています。
次の表は、2025年版の10カテゴリと、それぞれで何が起きるかを整理したものです。カテゴリ名はOWASPの公式日本語版の表記にもとづいています。
| OWASP Top 10 for LLM Applications 2025 | LLM01 プロンプトインジェクション | LLM02 機密情報の開示 | LLM03 サプライチェーン | LLM04 データとモデルポイズニング | LLM05 不適切な出力処理 | LLM06 過剰なエージェンシー | LLM07 システムプロンプトの漏洩 | LLM08 ベクトルと埋め込みの脆弱性 | LLM09 誤情報 | LLM10 際限のない消費 |
|---|---|---|---|---|---|---|---|---|---|---|
| どんなリスクか（何が起きるか） | 細工した入力でLLMの動作や出力を意図せず変えられる。Webサイトやファイル経由で間接的に仕込まれることもある | 個人情報・認証情報・社外秘データなどが出力を通じて漏れる | 学習データ・モデル・プラグインなど外部由来の要素が汚染・改ざんされる | 学習データやモデルが改ざんされ、出力に偏りやバックドアが仕込まれる | LLMの出力を検証せず使い、XSSやSSRF（サーバー側のリクエスト偽造）、リモートコード実行などを誘発する | LLMに与えた権限や機能が過剰で、想定外の操作が実行される | 内部の指示（システムプロンプト）に含めた情報が引き出される | RAGで使うベクトルや埋め込みを経由して情報が引き出される・汚染される | 幻覚（ハルシネーション）により、本当らしく見える誤った情報が生成される | 大量リクエストでサービス停止や過大なコストを引き起こされる |
| 主に備える立場 | 両方 | 両方 | 作る側 | 作る側 | 作る側 | 作る側 | 作る側 | 作る側 | 両方 | 作る側 |
※カテゴリ名はOWASP Top 10 for LLM Applications 2025（公式日本語版）による。「主に備える立場」は総務省資料の被害者視点にもとづく目安で、多くの項目は使う側・作る側の双方が関与します。
「主に備える立場」は、そのリスクにどちらの立場がより深く関わるかの目安です。総務省の資料は、LLMにまつわる脅威を「被害を受けるステークホルダー」で整理し、幻覚・機微情報の漏えい・悪意あるLLMの利用は主に利用者が、LLMアプリへの攻撃は主に開発者・提供者が被害を受けると説明しています。
ただし、多くの項目は双方が関わります。たとえば機密情報の開示は、使う側が機微情報を入力しないことと、作る側が出力を制御することの両面で備える必要があります。次章以降では、使う側・作る側それぞれで代表的な打ち手を整理します。
LLM・利用者の属性の組み合わせにより、LLMにまつわる脅威モデルは４つの象限に分けることができる。各象限にはLLM特有のリスクがあり、被害を受けるステークホルダー (LLMの開発者･提供者･利用者) が異なる。
出典：LLMとセキュリティ（資料8-4）｜総務省 ICTサイバーセキュリティ政策分科会（第8回）
国際標準であるOWASPの枠組みで抜け漏れなく捉えつつ、国内の公的資料が示す「誰が被害を受けるか」という視点を重ねると、自社がどのリスクに優先して備えるべきかが見えてきます。
出典・参考資料（2件）
主要なLLMセキュリティリスクの中身
一覧で全体像を押さえたところで、多くの読者が特に気にする主要なリスクについて、どのように悪用され、何が起きるのかを具体的に見ていきます。
プロンプトインジェクション（間接攻撃を含む）
プロンプトインジェクションは、OWASPのリストでも最初に挙げられる代表的なリスクです。利用者が入力するプロンプトによって、LLMの動作や出力を意図しない形に変えてしまう脆弱性を指します。OWASPは次のように定義しています。
プロンプトインジェクション（この文脈でのインジェクションとは、悪意ある命令を混入させること）の脆弱性とは、ユーザーが入力するプロンプトが、意図しない方法でLLM（大規模言語モデル）の動作や出力を変更してしまう場合に発生するものです。このような入力は、人間には認識できない場合でもモデルに影響を与える可能性があるため、プロンプトインジェクションが成立するために人間にとって読み取り可能である必要はありません。モデルがその内容を解析できれば十分となります。
出典：LLM01:2025 Prompt Injection｜OWASP Top 10 for LLM Applications 2025
注意すべきなのは、攻撃が利用者からの直接入力だけに限らない点です。LLMがWebサイトやファイルなど外部の情報を読み込んで処理する場合、その外部データに仕込まれた命令によって動作が変わる「間接プロンプトインジェクション」も起こり得ます。チャットボットに外部ページを参照させる、受信した文書を要約させるといった使い方では、利用者本人が気づかないうちに攻撃の命令が紛れ込む可能性があります。
OWASPは、入力のフィルタリングやモデルの振る舞いの制約といった対策を挙げつつ、RAGやファインチューニングを用いても完全には防ぎきれないとしています。単一の対策に頼らず、複数の防御を組み合わせる前提で設計することが重要です。
機微情報の漏えい・学習データへの取り込み
LLMに入力した情報が外部に漏れるリスクも見過ごせません。OWASPは、個人を特定できる情報や財務情報、認証情報、社外秘のビジネスデータなどが、LLMの出力を通じて露出し得ると指摘しています。
さらに注意したいのが、入力したプロンプト自体が学習に使われるケースです。総務省の資料は、利用者が入力したプロンプトをLLMが学習する場合があり、そこに氏名・住所・電話番号などが含まれていると、それらが学習され第三者への回答に現れてしまうリスクを指摘しています。
LLMは利用者が入力したプロンプトを学習する場合がある。プロンプトに利用者の氏名や住所、電話番号、Eメールアドレスなどが含まれていた場合、これらがLLMに学習され、第三者に開示されてしまうリスクがある。
出典：LLMとセキュリティ（資料8-4）｜総務省 ICTサイバーセキュリティ政策分科会（第8回）
同資料は、社外秘のプログラムコードをLLMに入力して情報漏えいとなった事例を挙げています。誤って入力した機微情報が学習に使われると、モデル内部に残り続ける可能性もあります。業務でLLMを使う際は、何を入力してよいかのルール整備が欠かせません。
出典・参考資料（2件）
幻覚（ハルシネーション）による誤情報
LLMは、事実と異なる内容を本当らしく生成することがあります。OWASPはこれを「誤情報（Misinformation）」として扱い、その主な原因が幻覚（ハルシネーション）であるとしています。もっともらしく見えるために、利用者が誤りに気づかず使ってしまう点が厄介です。
なぜ幻覚が起きるのか。総務省の資料は、LLMが流暢で首尾一貫した文章を生成するよう学習されているため、確信度が低い場合でも何らかの情報（嘘を含む）を出力してしまうと説明しています。明確な「真実の根拠」を持たず、確率的に文章を生成する仕組みに起因するものです。
同資料は、LLMが生成した実在しない判例を裁判所に提出して弁護士が制裁を受けた事例を挙げています。生成された内容をそのまま使うのではなく、重要な情報は必ず裏取りする運用が求められます。
出典・参考資料（2件）
安全でない出力の取り扱い
LLMの出力を、検証せずにそのまま後続のシステムへ渡すと、新たな脆弱性を生みます。OWASPは「不適切な出力処理」として、LLMが生成した出力を十分に検証・無害化しないまま他のコンポーネントに渡すことを問題として挙げています。悪用されると、Webブラウザ上のクロスサイトスクリプティング（XSS）やサーバー側のリモートコード実行などにつながるとしています。
LLMの出力は一見ただのテキストですが、それをデータベースへの問い合わせやコマンドとして使う設計では、通常の入力と同じく信頼できないデータとして扱う必要があります。LLMを組み込んだアプリケーションを作る側にとって重要なリスクです。
過剰なエージェンシー（権限の与えすぎ）
LLMに外部システムを操作する機能や権限を与えると、利便性は高まりますが、与えすぎると危険です。OWASPは「過剰なエージェンシー」として、LLMが関数呼び出しや拡張機能を通じて他システムと連携し、行動できる度合いが過剰な場合のリスクを挙げています。想定外・曖昧・操作された出力に反応して、被害をもたらす操作が実行されてしまう脆弱性です。
たとえば、LLMがメール送信やファイル削除、外部APIの呼び出しまで行える設計では、プロンプトインジェクションと組み合わさると被害が連鎖的に広がります。LLMに持たせる権限は必要最小限にとどめる設計が基本です。
サプライチェーン（モデル・データ・外部連携）
LLMは、外部から調達した学習済みモデルやデータ、プラグインなど多くの要素で構成されます。OWASPは「サプライチェーン」のリスクとして、これらが学習データ・モデル・デプロイ基盤の完全性に影響を与えうると指摘しています。従来のソフトウェアがコードの欠陥や依存関係に注目するのに対し、機械学習ではサードパーティの事前学習モデルやデータにもリスクが及ぶ点が特徴です。
信頼できない配布元のモデルを使ったり、検証されていないプラグインを組み込んだりすると、改ざんや汚染のリスクを抱え込みます。最近では、外部ツールをLLMに接続する仕組み（MCPなど）の安全性も検討すべき対象として挙がっています。利用するモデルや外部連携の出所を確認し、必要に応じて検証することが求められます。
ここまで、使う側・作る側がとくに気にする6つのリスクを詳しく見てきました。OWASPの一覧にはこのほか、内部の指示が引き出されるシステムプロンプトの漏洩、学習データやモデルを改ざんするデータとモデルポイズニング、RAGで使うベクトルと埋め込みの脆弱性、過大なリソース消費を狙う際限のない消費も含まれます。それぞれの概要は前掲の一覧表を参照してください。
組織で見落とされがちなリスク｜シャドーAI
技術的なリスクと並んで、組織運営の面で見落とされがちなのが「シャドーAI」です。会社が公式に許可していない生成AIツールを、従業員が個人の判断で業務に使ってしまう状況を指します。手軽に使えるぶん、管理者が把握しないまま機微情報が外部のサービスへ送られてしまうおそれがあります。
総務省の資料は、評価の低いカスタムLLMや作成者の信用が不確かなものを使わないこと、不自然な挙動を示したら利用を中断すること、そして社内規定やガイドラインを整備して利用者教育を行うことを対策として挙げています。シャドーAIへの対処は、技術だけでなく「どのツールを、どう使ってよいか」というルールの整備と周知が軸になります。
シャドーAIに特有の難しさは、どのツールが使われているか管理者が把握しづらい点にあります。利用してよいツールをあらかじめ許可制で決め、現場が使っているツールを棚卸しして可視化することが、個別の技術対策の前提になります。
一括ダウンロードする
LLMのセキュリティ対策【立場別】
ここからは、具体的な対策を立場別に整理します。LLMを業務で「使う側」と、LLMを組み込んだアプリを「作る・運用する側」とでは、取るべき対策が異なるためです。総務省の資料も、2024年4月に公表された「AI事業者ガイドライン（第1.0版）」がAIの関係者を「開発者」「提供者」「利用者」に整理していることを踏まえ、立場ごとに対策を整えることが重要だとしています。
以下では「使う側＝利用者」「作る側＝開発者・提供者」として整理します。
立場ごとに取るべき対策の全体像は、次のとおりです。
LLMを「使う側」（利用者）の対策
LLMを業務で使う立場では、入力する内容と出力の扱いに注意を向けることが基本です。総務省の資料は、利用者目線の対策として次のような点を挙げています。
- 機微情報を入力しない：社内規定やガイドラインを整備し、プロンプトに氏名・顧客情報・社外秘データなどを含めないよう、利用者への教育を行う。
- プロンプトを学習させない設定にする：サービスによっては、入力したプロンプトを学習に使わない設定を選べる。あわせて、データが自社の管理外のサーバーへ送られる点にも留意する。
- 出力は必ずファクトチェックする：LLMが生成した文章は正しいとは限らないという前提に立ち、重要な情報は裏取りをしてから使う。
- 信頼できないカスタムLLMを使わない：評価の低いツールや、挙動が不審なツール（外部への通信や不審なリンクの提示など）の利用は避ける。
- 外部データを読ませる使い方に注意する：Webページや受信した文書を要約・参照させる使い方では、外部データに攻撃の命令が紛れ込む間接プロンプトインジェクションが起こり得る。出所の不確かな情報を安易に処理させない。
これらは特別なツールがなくても始められる対策です。まずは「何を入力してよいか」「出力をどう確認するか」を社内ルールとして定め、周知するところから着手できます。
LLMアプリを「作る・運用する側」の対策
LLMを組み込んだアプリケーションを開発・運用する立場では、入力・出力・権限の制御を設計に組み込むことが求められます。総務省の資料は、LLMアプリへの攻撃を回避・緩和する対策として次の点を挙げています。
- 入口対策（入力の検証）：アプリへの入力を検証し、悪意のあるプロンプトを検知・拒否する。ただし攻撃パターンは無数にあり、すべてを防ぐのは困難なため、他の対策と組み合わせる前提で考える。
- 権限管理（最小権限の原則）：LLMが生成したコマンドを実行するエージェントを最小権限で動かし、被害の拡大を抑える。
- サンドボックス：破壊的な操作を保護された領域で実行し、システムが不正に操作されるのを防ぐ。
- 出力の検証：LLMの出力を信頼できないデータとして扱い、後続システムに渡す前に検証・無害化する（不適切な出力処理への対策）。
- RAGなどで幻覚を抑える：回答をLLMだけに頼らず、検索エンジンやデータベースの知識にもとづいて生成する仕組みを使い、誤情報を低減する。
- モデル・外部連携の出所を確認する：利用する学習済みモデルやプラグイン、外部ツール連携の配布元を確かめ、信頼できないものを組み込まない（サプライチェーン対策）。
- 利用量を制限する：リクエスト数やトークン消費に上限を設け、過大な消費によるサービス停止やコスト増を防ぐ。
総務省の資料は、単一の対策で攻撃を防ぐことは難しいとして、既存のセキュリティ対策と組み合わせた多層防御の考え方を重視しています。入力・出力・権限のそれぞれに手当てをしたうえで、全体として守る設計が現実的です。
出典・参考資料（2件）
自社のLLMが安全かを確かめる｜LLM脆弱性診断
自社のLLM利用やLLM組み込みアプリが本当に安全かを確かめるには、まず自社でできる点検から始めるのが現実的です。使っているLLMサービスで入力を学習させない設定になっているか、LLMに与えている権限が過剰でないか、出力を検証せずに使っていないか、前章のOWASPの各項目を自社のシステムに当てはめて点検することが重要です。
市販のチャットボットを社内で使っているだけの段階なら、外部診断よりも先に、前章の「使う側」の運用ルールを固めるのが近道です。
そのうえで、自社が開発・提供するLLMアプリの安全性を客観的に確かめたい場合に有効なのが、外部の専門家による生成AI・LLMの脆弱性診断です。社内だけでは気づきにくい弱点を、攻撃者の視点で洗い出せます。
LLMの脆弱性診断は、LLMを組み込んだチャットボットやAIエージェント、それらと連携するシステムを診断対象とします。プロンプトインジェクションや機微情報の漏えい、システムプロンプトの漏洩（内部に設定した指示が引き出される問題）、安全でない出力処理といったLLM固有のリスクを、攻撃者の視点で検査するものです。
擬似的な攻撃プロンプトを送り込んで実際に情報を引き出せるかを確かめる手法（ペネトレーションテスト）を取るサービスもあります。
ここからは、生成AI・LLMのセキュリティ診断を提供する主なサービスを比較します。OWASP Top 10 for LLM の観点に沿って診断項目を設計する事業者もありますが、どのリスクをどこまで確認するか、診断対象の範囲は各社で異なります。料金は診断対象の規模に応じた個別見積もりの事業者が多く、具体的な金額を公開しているところもあります。
自社が診断したいシステム（社内利用のチャットボットか、外部提供するLLMアプリか など）に合わせて選ぶことが大切です。
| サービス名 | 生成AI・LLM 脆弱性診断 | AIセキュリティ診断 | 生成AI活用システム リスク診断 | AIシステムに対するセキュリティ診断 | GMO AIセキュリティ診断 for GPT／AIエージェントペネトレーションテスト | 生成AI活用システム診断 | 生成AI利用システムセキュリティ診断 |
|---|---|---|---|---|---|---|---|
| 提供会社 | CoWorker株式会社 | NRIセキュアテクノロジーズ株式会社 | 株式会社ラック | 三井物産セキュアディレクション株式会社（MBSD） | GMOサイバーセキュリティ byイエラエ株式会社 | 株式会社SHIFT（SHIFT SECURITY） | 三菱総研DCS株式会社 |
| 主な診断対象 | LLM組み込みチャットボット・AIエージェント MCP Server LLM統合部分のソースコード | AI（LLM）単体 AIを含むシステム全体 （主要LLMサービスが中心） | 対話型AIを組み込んだWebシステム | 生成AI（GPT/Gemini等）を 組み込んだシステム | LLM組み込みアプリ AIエージェント・チャットボット・RAG | 生成AI活用システム | 生成AIを組み込んだ アプリケーション |
| 主なLLM固有の検査項目 | プロンプトインジェクション（直接・間接） 機密・個人情報の漏えい システムプロンプト保護 認証・認可 （OWASP LLM Top 10準拠） | AI単体のプロンプト脆弱性診断（AI Red Team） AI統合システム診断（深層型AI Red Team）の2段階 （AISI・OWASPガイドライン準拠） | プロンプトインジェクション プロンプトリーク 安全でない出力処理 モデルへのDoS攻撃 | 防御機構回避（プロンプトインジェクション・ジェイルブレイク等） プロンプトリーク P2SQLインジェクション | 敵対的プロンプトによる擬似攻撃 プロンプトインジェクション 情報漏えい・権限逸脱・不正操作 | OWASP Top10 for LLM Applicationsを 用いた診断 | プロンプトインジェクション診断 インダイレクトプロンプトインジェクション診断 ホワイトボックス設定診断 |
| 料金の目安 | LLMペンテスト30万円〜 MCP Server診断1ツールあたり5万円 ※CoWorker公式サイト | 要お問い合わせ （AI Red Teamは再診断1回まで無償） | 要お問い合わせ | 要お問い合わせ | 要お問い合わせ | 要お問い合わせ | 要お問い合わせ |
| 詳細情報 | 公式資料を見る | サービス詳細を見る | サービス詳細を見る | サービス詳細を見る | サービス詳細を見る | サービス詳細を見る | 公式サイト |
1. CoWorker 脆弱性診断サービス（CoWorker株式会社）
CoWorker株式会社は、自社開発のAI「Red Agent」による自動解析と専門家の最終確認を組み合わせた脆弱性診断を提供しています。そのメニューの一つである「生成AI・LLM 脆弱性診断」は、診断基準としてOWASP Top 10 for LLM Applications（2025年版）の10カテゴリを公式に掲げている点が特徴です。
診断対象は、LLMを組み込んだチャットボットやAIエージェント、ツール連携の窓口となるMCP Server、LLM統合部分のソースコードです。LLMペンテストでは、直接・間接のプロンプトインジェクションや機密・個人情報の漏えいテスト、システムプロンプト保護の確認、認証・認可の検証などを行います。
CoWorkerの公式サイト（生成AI・LLM 脆弱性診断）によると、料金はLLMペンテストが300,000円から、MCP Server診断は1ツールあたり50,000円とされています（税区分の記載なし）。AIによる自動診断で検査を速めつつ、専門家が結果を確認する体制です。
診断そのものにAIを用いることについては、この記事で取り上げた幻覚（ハルシネーション）の影響を不安視する声もあります。この点について、同社の一ノ瀬氏はMCB FinTechカタログの独自インタビューで、AIと人の役割分担を次のように説明しています。
精度については、ハルシネーションが心配だというお声もいただきますが、ハルシネーションを完全に防ぐとAIの強みが損なわれてしまいますので、そこは防ぎきることはしていません。その代わり、ハルシネーションが起きた可能性がある箇所については明確に示すようにしていて、最終的に人の目で見て正しいかどうかを承認するフローを取っています。
2. AIセキュリティ診断（NRIセキュアテクノロジーズ株式会社）
Webアプリからクラウド、ソースコードまで幅広い診断をワンストップで提供するNRIセキュアテクノロジーズ株式会社は、そのラインアップにAI（LLM）向けの診断を備えています。
「AIセキュリティ診断」は、AI単体のプロンプト脆弱性を調べる「AI Red Team」と、AIを含むシステム全体を対象とする「深層型AI Red Team」の2段階で構成されます。公式ページでは、AISIやOWASPなどのガイドラインに準拠すると記載されています。料金は個別見積もりで、AI Red Teamは設定見直し後の再診断1回まで無償と案内されています。
AI単体とシステム全体を2段階で見られるため、既存のWeb・クラウド診断などとまとめて相談したい企業に向いています。
3. 生成AI活用システム リスク診断（株式会社ラック）
株式会社ラックは、監視やインシデント対応まで自社で手がける総合的なセキュリティ企業です。2024年2月に提供を開始した「生成AI活用システム リスク診断」を、独立したメニューとして用意しています。
対話型AIを組み込んだWebシステムを攻撃者視点で診断し、生成AI特有の問題を洗い出すサービスです。検査項目として、プロンプトインジェクション、プロンプトリーク、安全でない出力処理（連携機能で用いるLLM出力がSQLインジェクションやXSSを誘発しうるか）、モデルへのDoS攻撃などを公式に挙げています。診断だけでなく、監視やインシデント対応まで同じ会社で組み合わせられる点も特徴です。
4. AIシステムに対するセキュリティ診断（三井物産セキュアディレクション株式会社）
三井物産セキュアディレクション株式会社（MBSD）は、この記事でも参照している総務省向け資料「LLMとセキュリティ」を作成した企業で、AIセキュリティに関する知見を持つ事業者です。「AIシステムに対するセキュリティ診断」として、生成AIを組み込んだシステム特有の脆弱性を診断するメニューを公式に提供しています。
GPTやGeminiなどの大規模言語モデルを組み込んだシステムを対象に、防御機構の回避（プロンプトインジェクションやジェイルブレイクなど）、システム内部のプロンプトを抜き出すプロンプトリーク、LLMを経由したデータベースへの攻撃（P2SQLインジェクション）といった項目を検査します。診断項目は対象のモデルやシステムの内容に応じて決める方式です。
5. GMO AIセキュリティ診断 for GPT／AIエージェントペネトレーションテスト（GMOサイバーセキュリティ byイエラエ株式会社）
国内のホワイトハッカーを多数擁するGMOサイバーセキュリティ byイエラエ株式会社は、生成AI・LLM向けの診断を2系統で提供しています。手動主体の診断を得意とする会社です。
一つは「GMO AIセキュリティ診断 for GPT」で、LLMを組み込んだアプリケーションに敵対的プロンプトを用いた擬似攻撃を行い、プロンプトインジェクションなどのリスクを可視化します。
もう一つは「AIエージェントペネトレーションテスト」で、企業内で使うAIエージェントやチャットボット、RAGなどを対象に、ホワイトハッカーが攻撃者と同等の手法で侵入テストを行い、情報漏えいや権限逸脱、不正操作を検証します。社内で使うAIサービスの実地検証まで踏み込みたい場合に向いています。
6. 生成AI活用システム診断（SHIFT SECURITY）
ソフトウェアテスト大手の株式会社SHIFT（セキュリティサービスはSHIFT SECURITYのブランドで提供）は、「生成AI活用システム診断」をメニューに持っています。
公式ページでは、この診断を「国際基準（OWASP Top10 for LLM Applications）を用いた診断で検出し、セキュリティリスクを可視化します」と説明しています。本記事で紹介したOWASPの枠組みに直接沿った診断を受けたい場合の選択肢になります。
生成AI活用システム診断の詳細は、同社への問い合わせで確認できます。
7. 生成AI利用システムセキュリティ診断（三菱総研DCS株式会社）
「生成AI利用システムセキュリティ診断」を提供する三菱総研DCS株式会社は、生成AIそのものではなく、それを組み込んだアプリケーションを診断対象としています。
公式のプラン表では、プロンプトインジェクション診断、インダイレクトプロンプトインジェクション診断、ホワイトボックス設定診断といった項目が示されています。上位のプランでは、最新の攻撃事例を踏まえた手動診断や、LLM出力を経由したXSSの評価も含むとされています。
公式ページに例として記載されている対応モデルはGPT-3.5・GPT-4・Gemini・Claude 3世代などで、現行の最新モデルへの対応可否は公式に明記されていないため、利用時は問い合わせで確認するとよいでしょう。料金は要お問い合わせです。
なお、ここで紹介した生成AI・LLM向けの診断は、Webアプリやクラウドなど従来のシステムも対象とする脆弱性診断の一分野です。診断の方法や費用相場、依頼先の選び方といった全体像から検討したい場合は、脆弱性診断サービス全体を比較した次の記事が参考になります。
まとめ
LLMには、入力するプロンプトが攻撃の入口になるという、従来システムとは異なる固有のセキュリティリスクがあります。OWASP Top 10 for LLM Applications 2025は、プロンプトインジェクションや機密情報の開示、幻覚による誤情報など、代表的なリスクを10のカテゴリに整理しています。
対策は立場によって異なります。LLMを使う側は、機微情報を入力しない・学習させない設定にする・出力をファクトチェックするといったルールと運用から始められます。LLMアプリを作る側は、入力の検証・最小権限・サンドボックス・出力の検証を設計に組み込み、多層防御で守ることが基本です。
そして、自社の対策が十分かを客観的に確かめたい場合は、生成AI・LLMの脆弱性診断を活用すると、どのリスクにどこまで対処できているかを外部の視点で把握できます。まずは本記事のリスク一覧と立場別の対策を、自社の状況に当てはめて点検するところから始めてください。
一括ダウンロードする
よくある質問（FAQ）
Q. OWASP Top 10 for LLM Applications とは何ですか？
A. OWASP Top 10 for LLM Applications とは、LLM（大規模言語モデル）を組み込んだアプリケーションに特有の重大なセキュリティリスクを10種類に整理した、OWASP（Open Worldwide Application Security Project）による国際的な指針です。
プロンプトインジェクションや機密情報の開示、幻覚による誤情報など、LLMならではの脅威を抜け漏れなく捉えるための事実上の標準として、多くの企業や診断サービスが参照しています。最新版は2024年11月に公開された2025年版（Version 2025）で、本記事のリスク一覧もこの版にもとづいています。
Q. LLMに入力した情報は、学習に使われたり外部に漏れたりしますか？
A. LLMに入力したプロンプトは、サービスによっては学習に使われ、そこに含まれた氏名や社外秘データが第三者への回答として出力される形で漏れるリスクがあります。総務省の資料は、利用者が入力したプロンプトをLLMが学習する場合があり、誤って入力した機微情報が永続的にモデル内部に残る可能性を指摘しています。
多くのサービスでは入力を学習に使わない設定を選べますが、その場合でもデータは自社の管理外のサーバーに送信される点には留意が必要です。業務でLLMを使うなら、何を入力してよいかのルールを定めておくことが欠かせません。
Q. 社内で生成AI（LLM）を安全に使うために、まず何をすべきですか？
A. LLMを使う側がまず取り組むべきは、機微情報を入力しない・入力を学習させない設定にする・出力を必ずファクトチェックする・信頼できないカスタムLLMを使わない、という運用ルールの整備です。これらは特別なツールがなくても始められる対策です。
総務省の資料も、社内規定やガイドラインを整備して利用者教育を行うことを対策の軸に挙げており、「何を入力してよいか」「出力をどう確認するか」を社内で決めて周知するところから着手できます。
Q. シャドーAIとは何ですか？
A. シャドーAIとは、会社が公式に許可していない生成AIツールを、従業員が個人の判断で業務に使ってしまう状況を指します。手軽に使える反面、管理者が把握しないまま機微情報が外部サービスへ送られるおそれがあり、組織的なセキュリティリスクになります。対処は技術だけでは完結せず、どのツールをどう使ってよいかという利用ルールの整備と周知、入力を学習に使わない設定の確認などが軸になります。
Q. プロンプトインジェクション対策をすれば、LLMは安全になりますか？
A. プロンプトインジェクションは、入力の検証などの対策を施しても単一の対策で完全に防ぐことは難しく、複数の防御を組み合わせる多層防御が前提になります。OWASPも、RAGやファインチューニングを用いても完全には防ぎきれないとしており、悪意ある入力のパターンが無数に存在するためです。
入口での入力検証に加えて、LLMに与える権限の最小化、出力の検証、サンドボックスでの実行などを重ねて、被害を抑える設計にすることが現実的です。
Q. LLMの脆弱性診断では何を検査し、費用はどのくらいかかりますか？
A. LLMの脆弱性診断では、プロンプトインジェクション（直接・間接）、機密・個人情報の漏えい、システムプロンプトの漏洩、安全でない出力処理といったLLM固有のリスクを、攻撃者の視点で検査します。OWASP Top 10 for LLM の観点に沿って診断項目を設計する事業者もあり、どのリスクをどこまで確認するかは各社で異なります。
費用はサービスや診断対象によって幅があり、個別見積もりの事業者が多いです。一例として、CoWorkerの公式サイトによると、同社の生成AI・LLM脆弱性診断はLLMペンテストが300,000円から、MCP Server診断は1ツールあたり50,000円で提供されています。自社が診断したいシステムに合わせて、対象範囲と検査項目を見比べて選ぶとよいでしょう。
生成AI・LLMの脆弱性診断サービスの資料を一括チェック
MCB FinTechカタログでは、生成AI・LLMのセキュリティ診断・脆弱性診断サービスの最新資料を無料で一括請求できます。診断の対象範囲や検査項目、料金の考え方を見比べて、自社のLLM利用に合うサービスを選べます。
一括ダウンロードする
MCB FinTechカタログに掲載しませんか？
MCB FinTechカタログでは、掲載企業様を募集しています。マネックスグループの金融実務ノウハウを活かした独自の評価軸と検索設計により、導入検討者が最適なサービスを効率的に発見できる法人向け比較プラットフォームです。掲載後は管理画面から料金表や導入事例を随時更新でき、常に最新の情報を訴求可能。まずは下記フォームより、お気軽にお問い合わせください。
マネックス証券 フィナンシャル・インテリジェンス部 暗号資産アナリスト
松嶋真倫
監修の範囲は記事の一般的な解説部分であり、比較表および各製品・サービスの紹介内容は監修の対象外です。
