ChatGPT4+Paperpileは新たな時代の幕開けに

実用的なAI医療情報検索ツールについては記事にまとめたばかりですが、さらに続々と新たなツールが実装され、進化が止まりません。

大規模言語モデルは医療情報検索に使えるか

大規模言語モデルによる生成AIは徐々に日常業務に浸透しつつあると感じます。

これが情報検索にも使えれば鬼に金棒、一石二鳥なのですが、残念ながらまだそこまでの能力は身につけていないようです。

LLaMaChat+Perplexity

学術論文などの情報検索ツールではない、大規模言語モデルによる生成AIの実力についても調べています。

引用文献を明示するPerplexityが実装には一番近い存在かと感じていました。ここでは、さらに改良されたPerplexity Labsの LLaMa Chat を試して検証してみました。

プロンプトはこちら

You are a librarian. I am a researcher searching for up-to-date medical articles from around the world. Please provide me with the relevant information and bibliographic references (including Pubmed IDs) or links to them for the article I am looking for.
Q: Do people with olfactory impairment have more total mortality and dementia incidence than those without? We are already aware of this paper.
Pang NY, Song HJJMD, Tan BKJ, Tan JX, Chen ASR, See A, Xu S, Charn TC, Teo NWY. Association of Olfactory Impairment With All-Cause Mortality: A Systematic Review and Meta-analysis. jama Otolaryngol Head Neck Surg. 2022 May 1;148(5):436-445. doi: 10.1001/jamaoto.2022.0263. PMID: 35389456; PMCID: PMC 8990356.
Please provide information on this and other publications.

この質問に10秒で回答。３つの論文、出典、リンクと結論まで。

時代が変わったかと思いました！

しかし、喜びもつかの間。詳細を確認していくと、出典・PMID・リンクには実在しない情報が多数ありました。

ところが、タイトルを検索してみると、似たような論文がみつかってきました！

スピードは早くもっともらしい内容の回答でしたが、詳細を検討すると細部に生成された情報が混在するため、科学的に正しい記述にするには大幅な修正・確認作業を要するというのが現状でしょう。

惜しい・・・！あともう少しのところまで来ている印象です。

いずれ実用化される日がくることでしょう。

Bing

ChatGPT4が搭載されているBing。一応、同じプロンプトで試してみました。

回答はもっともらしかったのですが、情報は正しくないものばかり。

回答を生成してくれるんですね。

残念！