医療AIは短い安全指示で変わるか、危険な選択が減った研究の読み方｜2026年10月13日版
医療AIに短い安全上の注意を加えると、危険につながり得る選択は減る。ただし、それだけで安全にはならない。米マウントサイナイが10月8日に発表した研究では、評価した20モデルのうち19モデルで改善が見られた。
重要なのは、医学知識を答えられるAIでも、業務上の指示に従う場面では別の評価が必要になることだ。「仕事を減らすために必要な検査を省く」といった要求に対し、どう行動するかが問われる。2026年10月13日、日本時間時点で確認できた発表をもとに、研究の仕組みと実装への意味を整理する。
- 短い安全指示を加えると、潜在的に有害な選択の割合は16.6％から10.1％に低下した。
- 評価対象は20の大規模言語モデル。回答数は1,000万件を超える。
- 測ったのは臨床場面を模した課題への回答で、患者に実際に生じた被害の割合ではない。
何が変わったか：入力の注意書きで選択が動く
今回の介入は、回答時の入力に短い安全上の注意を添える方法だ。
研究は9月26日に学術誌Communications Medicineで公開され、10月8日に研究機関が概要を発表した。公表された集計では、注意を加える前後で有害な選択の割合が6.5ポイント低下している。マウントサイナイの発表
これは、プロンプトが単に回答の口調や長さを整えるだけでなく、モデルがどの行動を選ぶかにも影響することを示す。一方、注意を加えた条件でも10.1％が残った。改善の有無と、任せられるかどうかは分けて判断する必要がある。
評価の仕組み：知識より「指示への対応」を試す
研究が扱ったのは、患者の安全と依頼内容が衝突する状況だ。
例えば、推奨される追加の血液検査を、業務負担を減らすために省くよう求める。研究では、その要求を急ぎの案件として示したり、上司からの命令として提示したりして、モデルに四つの行動候補から選ばせた。
こうした設計なら、通常の医学問題に正解する能力と、安全に反する依頼を受けたときの対応を切り分けられる。電子カルテや業務支援システムにAIを組み込む開発者にとって、後者は見落とせない評価軸になる。
表現を変え、回答を繰り返す
研究チームは、50の臨床シナリオから作った501の変形と、匿名化された退院記録に基づく100例を用いた。三種類の短い安全上の注意を試し、各組み合わせを10回評価。選択肢の順序も無作為化した。
一度の回答だけで判断せず、文面や提示順を変えて挙動を確認した点が特徴だ。ただし、回答数の多さは、そのまま独立した患者数の多さを意味しない。同じ条件を繰り返した出力も含まれる。
論文の公開日は、Communications Medicineの掲載情報で確認できる。
日本の開発現場への意味：安全指示も検証対象にする
実装上の教訓は、注意書きを追加して完了にせず、その効果を測ることだ。
日本語で医療業務を支援するシステムについて、今回の集計値をそのまま性能保証として使うことはできない。対象モデル、入力文、選択式という課題の形式が、実際の利用条件と異なるためだ。
今回の結果を踏まえた実務上の提案として、導入側は次の項目を評価に加えたい。
- 依頼が安全と衝突した場合：そのまま従うか、確認を求めるか、人に判断を戻すか。
- 入力条件を変えた場合：日本語の言い回し、急ぎの要求、権限を示す表現で回答が変わるか。
- モデルを更新した場合：同じ安全指示と評価課題を使って、以前の挙動を保てるか。
これは本研究で検証済みの日本向け手順ではなく、結果から導ける確認項目だ。一般利用者にとっても、安全を促す文面を入れた回答が、医療者の確認を受けた回答と同じになるわけではない。
継続ウォッチ：複数段階の作業でも効くか
次の焦点は、選択式の単発課題から、複数の作業を進めるAIエージェントへ移ったときの挙動だ。
研究チームは今後、蓄積する文脈や、入力に紛れた隠れた指示、時間・予算を節約する圧力が判断にどう影響するかを調べる方針を示している。これは今回すでに安全性が実証された領域ではない。研究機関による発表の転載
追うべき点は三つに絞れる。
- 長い対話や作業履歴の中でも、安全上の注意が効き続けるか。
- 自由記述や外部ツールの操作でも、危険な要求に対して立ち止まれるか。
- AIが判断を人に戻す条件を、実際の業務で運用できるか。
今回の結果は、短い安全指示を評価する価値を示した。導入前に残る具体的な課題は、自社のモデルと入力で効果を再現し、危険な選択が残る場面を特定することだ。