AIはシステマティックレビューの文献検索において専門家を代替できない
AIは科学情報の検索、発見、整理の方法を変革しつつありますが、専門家が行うシステマティックな文献検索を代替するほどの保証はまだ提供していません。これは、ヘタフェ大学病院のConcepción Campos Asensio氏による分析「AI in Literature Searches: Constraints and Opportunities」の主な結論の一つです。
AIツールの現状とリスク
AIプラットフォームはシステマティックレビューの一次研究特定に役立ちますが、情報スペシャリストが開発する多データベース検索戦略の代替にはまだなりません。
高い精度と低い網羅性
特定された主なリスクの一つは「精度錯覚（precision mirage）」と呼ばれるものです。AIツールは上位結果に非常に適切な文書を配置し、探索的検索を容易にしますが、この見かけ上の有効性は、利用可能なエビデンスの大部分を隠蔽する可能性があります。
Campos Asensio氏がレビューした研究によると、この欠点は感度、つまり関連するすべての研究を捉える能力に影響を与えます。欧州アレルギー臨床免疫学会の評価では、AIベースのプラットフォームはDOIを持つ記事の85.7%を特定しましたが、対象となる試験全体を考慮すると感度は56.3%に低下しました。また、グレー文献や未発表の治験登録の一部も見落とされました。
一部の完全自動化されたワークフローでは結果がさらに限定的でした。糖尿病性網膜症に関するレビューでは、GPT-4ベースのシステムは当初含まれていた記事の6.1%から32.7%しか特定できませんでした。Elicitを従来の検索と比較した別の分析では、AIツールの平均感度が37.9%であったのに対し、従来型検索では93.5%でした。
グレー文献の弱さ
グレー文献のカバー率は、分析で強調された弱点の一つです。会議の抄録、臨床試験登録、その他のDOIを持たない文書は、AIプラットフォームの結果から除外される可能性があります。この限界は、包括的にすべての包含基準を満たす研究を特定することを目的とする医療分野のシステマティックレビューにおいて重要です。したがって、関連する参考文献を迅速に特定できるツールだけでは、包括的な検索を保証したり、選択バイアスのリスクを排除したりすることはできません。
AIは代替ではなく補完として
Campos Asensio氏は、伝統的な方法を完全に置き換えるのではなく、ハイブリッドアプローチを提案しています。AIツールは、その役割が事前に明確に定義され、専門家による監督が行われる限り、システマティックレビュープロセス内で様々な機能を果たすことができます。
潜在的な活用方法には以下が含まれます。
検索戦略を最終決定する前に、分野の概念、用語、構造を理解するのに役立つ。
従来の検索で見落とされた研究を発見したり、引用ネットワークを広げたりする。
テーマのギャップや不足している参考文献を発見する。
リビングレビューや定期的な更新のための新しい研究や候補を見つける。
ただし、これらのツールが提案する用語には、PubMedやEmbaseのような生物医学データベースで検索精度を向上させるために使用されるMeSHやEmtreeなどの管理語彙が含まれていない場合があるため、専門家によるレビューと検証が必要です。
専門家による検索が依然として中心
システマティックレビューのための文献検索には、自然言語と管理語彙の組み合わせ、異なるデータベースへの戦略の適応、グレー文献を含む補完的な情報源の考慮が必要です。目標は感度を最大化し、関連する研究を除外するリスクを低減することです。この文脈では、健康科学司書の役割は不可欠です。
透明性と追跡可能性
分析で強調されたもう一つの重要な点は、これらのテクノロジーの使用を徹底的に文書化する必要があることです。システマティックレビューにAIツールが組み込まれる場合、使用されたプラットフォーム、そのバージョンまたはモデル、アクセス日、プロンプト、停止基準、使用された情報源、エクスポートプロセスなどの詳細を含めるべきです。モデルやプラットフォームは急速に進化するため、将来的に検索を正確に再現することが困難になる可能性があり、透明性は不可欠です。