ChatGPT: friend or foe?

Editorial: ChatGPT: friend or foe?. The Lancet Digital Health, 5(3), E102, 2023, DOI:https://doi.org/10.1016/S2589-7500(23)00023-7.

You would have been hard-pressed to miss the storm surrounding Chat Generative Pre-trained Transformer (ChatGPT) over the past few months. 
過去数か月間、Chat Generative Pre-trained Transformer (ChatGPT) を取り巻く嵐を見逃すことはできなかったでしょう。

News outlets and social media have been abuzz with reports on the chatbot developed by OpenAI. 
報道機関やソーシャル メディアは、OpenAI によって開発されたチャットボットに関するレポートで騒然としています。

In response to a written prompt, ChatGPT can compose emails, write computer code, and even craft movie scripts. 
書かれたプロンプトに応じて、ChatGPT は電子メールを作成し、コンピューター コードを記述し、さらには映画のスクリプトを作成することもできます。

Researchers have also demonstrated its competency to pass medical licensing exams. 
研究者はまた、医療ライセンス試験に合格する能力を実証しています。

But excitement has been matched by a swathe of ethical concerns that could - and perhaps should - limit its adoption.
しかし、その興奮は、その採用を制限する可能性があり、おそらく制限すべきである一連の倫理的懸念に及んでいます。


ChatGPT is powered by a refined version of the large language model GPT-3.5. 
ChatGPT は、大規模な言語モデル GPT-3.5 の洗練されたバージョンによって強化されています

Its base model GPT-3 was trained on articles, websites, books, and written conversations, but a process of fine-tuning (including optimisation for dialogue) enables ChatGPT to respond to prompts in a conversational way.
その基本モデルである GPT-3 は、記事、Web サイト、本、および書きくだされた会話でトレーニングされましたが、微調整のプロセス (会話の最適化を含む) により、ChatGPT は会話形式でプロンプトに応答できます。


In the realm of health care, Sajan B Patel and Kyle Lam illustrated ChatGPT’s ability to generate a patient discharge summary from a brief prompt.
ヘルスケアの分野では、Sajan B Patel と Kyle Lam が、短いプロンプトから患者の退院サマリを生成する ChatGPT の機能を説明しました。

Automating this process could reduce delays in discharge from secondary care without compromising on detail, freeing up valuable time for doctors to invest in patient care and developmental training.
このプロセスを自動化することで、詳細に妥協することなく二次治療からの退院の遅れを減らし、医師が患者のケアと再教育トレーニングに投資するための貴重な時間を確保できます。

A separate study also tested its ability to simplify radiology reports, with the generated reports being deemed overall factually correct, complete, and with low perceived risk of harm to patients.
別の研究では、放射線レポートを簡略化する能力もテストされており、生成されたレポートは全体的に事実に基づいて正しく、完全であり、患者への危害のリスクが低いと見なされています。

But in both cases, errors were evident.
しかし、どちらの場合も、間違いは明らかでした。

In the discharge summary example provided by Patel and Lam, ChatGPT added extra information to the summary that was not included in their prompt. 
Patel と Lam によって提供された退院サマリの例では、ChatGPT はプロンプトに含まれていなかった追加情報をサマリに追加しました。

Likewise, the radiology report study identified potentially harmful mistakes such as missing key medical findings.
同様に、放射線レポートの調査では、重要な医学的所見の欠落など、潜在的に有害な誤りが特定されました。

Such errors signal that if implemented in clinical practice, manual checks of automated outputs would be required.
このようなエラーは、臨床現場で実装された場合、自動化された出力の手動チェックが必要になることを示しています。


The limitations of ChatGPT are known.
ChatGPT の限界は知られています。

By OpenAI’s own admission, ChatGPT’s output can be incorrect or biased, such as citing article references that do not exist or perpetuating sexist stereotypes.
OpenAI自身が認めたように、ChatGPTの出力は、存在しない記事の参照を引用したり、性差別的な固定観念を永続させたりするなど、不正確または偏っている可能性があります。

It could also respond to harmful instructions, such as to generate malware.
また、マルウェアを生成するなどの有害な指示に応答する可能性もあります。

OpenAI set up guardrails to minimise the risks, but users have found ways around these, and as ChatGPT’s outputs could be used to train future iterations of the model, these errors might be recycled and amplified.
OpenAI はリスクを最小限に抑えるためにガードレールを設定しましたが、ユーザーはこれらを回避する方法を見つけました。ChatGPT の出力はモデルの将来のバージョンをトレーニングするために使用できるため、これらのエラーはリサイクルされて増幅される可能性があります。

OpenAI have asked users to report inappropriate responses in order to help improve the model, but this has been met with criticism, as it’s often people disproportionately affected by algorithmic bias (such as those from marginalised communities) who are expected to help find solutions. 
OpenAI は、モデルを改善するために不適切な回答を報告するようユーザーに求めましたが、解決策を見つけるのに役立つことが期待されているのは、アルゴリズムの偏見 (疎外されたコミュニティの人々など) の影響を不釣り合いに受ける人々であることが多いため、これには批判が寄せられています

Michael Liebrenz and colleagues opine that although ChatGPT could serve to democratise knowledge sharing as it can receive and output text in multiple languages (beneficial for nonnative speakers publishing in English), inaccuracies in generated text could fuel the spread of misinformation.
マイケル・リーブレンツとその同僚は、ChatGPT は複数の言語でテキストを受信および出力できるため、知識共有の民主化に役立つ可能性があるが (英語で出版する非ネイティブ スピーカーにとっては有益)、生成されたテキストの不正確さが誤った情報の拡散を助長する可能性があると述べています。


These concerns have serious implications for the integrity of the scientific record, given the risk of introducing not only errors but also plagiarised content into publications.
これらの懸念は、誤りだけでなく盗用された内容を出版物に持ち込むリスクを考えると、科学的記録の完全性に深刻な影響を及ぼします。

This could result in future research or health policy decisions being made on the basis of false information.
これにより、誤った情報に基づいて将来の研究や健康政策の決定が下される可能性があります。

Last month, the World Association of Medical Editors published its recommendations on the use of ChatGPT and other chatbots in scholarly publications, one of which is that journal editors need new tools to detect artificial intelligence (AI)-generated or modified content.
先月、世界医学雑誌編集者協会は、学術出版物での ChatGPT やその他のチャットボットの使用に関する推奨事項を発表しました。そのうちの 1 つは、ジャーナル編集者は、人工知能 (AI) によって生成または変更されたコンテンツを検出するための新しいツールが必要であるというものです。

Indeed, an AI output detector was shown to be better at distinguishing between original and ChatGPT-generated research article abstracts than a plagiarism detector and human reviewers, but did falsely flag an original abstract as being “fake”.
実際、AI 出力検出器は、盗用検出器や人間のレビュアーよりも、元の論文と ChatGPT で生成された研究論文の抄録を区別するのに優れていることが示されましたが、オリジナルの抄録に「偽物」であるという誤ったフラグを立てました。

Technology is evolving, and editorial policies need to evolve too.
テクノロジーは進化しており、編集ポリシーも進化する必要があります。

Elsevier has introduced a new policy on the use of AI and AI-assisted technologies in scientific writing, stipulating that use should be limited to improving readability and language of the work, and should be declared in the manuscript; authors should do manual checks of any AI-generated output; and these tools should not be listed or cited as an author or coauthor as they cannot take on the responsibilities that authorship entails (such as being accountable for the published work).
エルゼビアは、科学論文における AI および AI 支援技術の使用に関する新しいポリシーを導入し、その使用は論文の読みやすさと言語の改善に限定されるべきであり、原稿で宣言されるべきであると規定しています。作成者は、AI によって生成された出力を手動でチェックする必要があります。また、これらのツールは、著者または共著者としてリストまたは引用されるべきではありません。これらのツールは、著者としての責任 (出版された作品に対する説明責任など) を負うことができないためです。

Widespread use of ChatGPT is seemingly inevitable but in its current iteration careless, unchecked use could be a foe to both society and scholarly publishing.
ChatGPT の広範な使用は避けられないように見えますが、現在のバージョンでは、不注意でチェックされない使用は、社会と学術出版の両方にとって敵となる可能性があります。

More forethought and oversight on model training are needed, as is investment in robust AI output detectors.
堅牢な AI 出力検出器への投資と同様に、モデル トレーニングに関するより多くの事前の検討と監視が必要です。

ChatGPT is a game changer, but we’re not quite ready to play.
ChatGPT はゲーム チェンジャーですが、まだ我々はそれでプレイする準備ができていません。

0 件のコメント:

コメントを投稿

ChatGPT は、米国の医師免許試験に太刀打ちできるか?

A Gilson et al.: How Does ChatGPT Perform on the United States Medical Licensing Examination? The Implications of Large Language Models for ...