「GPT-4の診断・トリアージ精度は救急・集中治療専門医らと遜色ない」――。2023年12月12日、医療データプラットフォーム事業を推進するTXP Medical（本社：東京都千代田区）からそのような研究成果が公表された。
TXP Medicalとカリフォルニア大学ロサンゼルス校（UCLA）の研究チームは、GPT-4の臨床現場での活用可能性の調査のため、既存の臨床事例を用いて臨床診断・トリアージの精度についての定量化を行った。結果は前述の通り、GPT-4の診断・トリアージ精度は救急・集中治療専門医らと遜色ないことが明らかになったほか、臨床事例に人種・民族的バイアスの情報を追加した際にも、GPT-4の精度に大きな変化は見られないことが確認された。
なお、本研究成果は査読付きのオープンアクセスジャーナル『JMIR Medical Education』に2023年11月2日付で掲載されている。本研究の概要は以下の通りである。
GPT-4と医師の診断・トリアージ精度を比較
大規模言語モデル（LLM）の進歩により、医療分野でも診断やコミュニケーションの改善が期待されている。しかしながら、医療分野においては不正確な情報が健康結果に悪影響を及ぼす可能性があるため、会話型AIの実装には注意が必要である。さらに、会話型AIは人種および民族的な偏見によって歪められた可能性のあるインターネット情報から学習を行っていることから、LLMが人種および民族的な偏見を再現、強化しているのではないかという懸念も提起されている。そのため、診断やトリアージの正確性、さらにはその提案に人種および民族的な偏見が含まれているかどうかについての調査が行われる必要がある。
そこでTXP Medicalは、既存のLLMの中でも特に巨大かつ高性能とされているモデルであるGPT-4と、3人の専門医資格を有する医師との間で、45の典型的な臨床事例を使用して診断およびトリアージの正確性を比較した。また、患者の人種と民族性（黒人、白人、アジア人、ヒスパニック）の情報を臨床事例に追加し、GPT-4の診断およびトリアージの正確性が人種間で異なるか否かを調査した。
GPT-4の診断・トリアージ精度は専門医資格を有する医師と遜色がない
本研究では、GPT-4と専門医資格を有する医師の両方に45種類の典型的な臨床事例の臨床情報を与え、それに対する診断とトリアージの精度を定量化した。
その結果、GPT-4は診断性能において97.8％（44/45）の割合で正確な回答を出力し、医師は91.1％の割合（41/45）で正確な回答をした。また、臨床情報の緊急度を①緊急, ②緊急ではないが病院へ行くのが妥当, ③非緊急 （病院へ行く必要なし）の3段階に分類するトリアージの正確性において、GPT-4は66.7％の割合（30/45）で正確な回答を出力した。同様に、医師も66.7％の割合（30/45）で正確な回答を出力した。
GPT-4の診断・トリアージでは人種・民族的な情報によるバイアスは見られなかった
次に、GPT-4に入力する典型的な臨床事例について、患者の人種・民族に関する情報として白人、黒人、アジア人、ヒスパニックのいずれかの情報を追加したうえで更なる解析を行った。結果は以下の図に示す通りで、調査範囲では、GPT-4が人種・民族的バイアスにより受ける診断・トリアージの精度への影響は検出されなかった。
命を確実に救うことのできる医療システムの開発・普及を目指して
本調査では、典型的な臨床事例を用いて臨床診断・トリアージにおけるGPT-4の精度を評価し、その精度が専門医資格を有する医師と比べて遜色がなく、かつ人種・民族的バイアスに対して影響を受けにくい可能性が示唆された。TXP Medicalは、今後も最新のテクノロジーが医療現場にもたらしうる変化・進歩の可能性を探り続け、より多くの命を確実に救うことのできる医療システムの開発・普及に取り組む方針である。
TXP Medicalのさらなる研究成果を期待したい。■
（La Caprese 編集部）
