OpenAIが実存的AIリスクチームを解散と報道

金曜のWiredによると、超人的なAIシステムの存在の危険を制御する任務を負っているOpenAIのSuperalignmentチームが解散したと報じられている。このニュースは、チームの創設者であるイリヤ・スツケバー氏とヤン・ライケ氏が同時に同社を辞めて からわずか数日後に伝えられた。

Wired は、将来の超人的な AI システムが暴走するのを防ぐために 2023 年 7 月に最初に立ち上げられた OpenAI の Superalignment チームがもう存在しないと報じています。レポートでは、グループの作業は OpenAI の他の研究活動に吸収されると述べられています。Wired によると、より強力な AI モデルに関連するリスクの研究は、今後 OpenAI の共同創設者である John Schulman が主導することになります。Sutskever 氏と Leike 氏は、AI リスクに焦点を当てた OpenAI のトップ サイエンティストの 1 人でした。

ライケ氏は金曜日、OpenAIを離れた理由を漠然と説明する長いスレッドをXに投稿した。彼は、しばらくの間、OpenAIのリーダーシップとコアバリューについて争ってきたが、今週限界に達したと述べている。ライケ氏は、Superaligmentチームが「逆風に逆らって航海している」と指摘し、重要な研究のために十分なコンピューティングを得るのに苦労していると述べた。彼は、OpenAIはセキュリティ、安全性、アラインメントにもっと重点を置く必要があると考えている。

OpenAI のコミュニケーション チームは、Superalignment チームが解散したかどうか尋ねられたとき、サム アルトマン氏のツイートを紹介しました。アルトマン氏は、今後数日中にもっと長い投稿をする予定で、OpenAI には「やるべきことがまだたくさんある」と述べています。このツイートは、私たちの質問にはまったく答えていません。

「現在、潜在的に超知能のAIを操縦または制御し、暴走を防ぐためのソリューションはありません」と、7月に立ち上げられたOpenAIのブログ投稿でスーパーアライメントチームは述べた。「しかし、人間は自分よりもはるかに賢いAIシステムを確実に監視することはできないため、現在のアライメント技術では超知能には対応できません。新たな科学的、技術的なブレークスルーが必要です。」

こうした技術的ブレークスルーに同じ注意が向けられるかどうかは、今のところ不明だ。OpenAI には安全性に焦点を当てた他のチームがあることは間違いない。報道によると Superalignment の責任を引き継ぐシュルマンのチームは、現在、トレーニング後の AI モデルの微調整を担当している。しかし、Superalignment は、不正な AI がもたらす最も深刻な結果に特に焦点を当てていた。Gizmodo が昨日報じたように、OpenAI で最も声高に AI の安全性を主張していた数人が、ここ数か月で辞職または解雇されている。

今年初め、このグループは、大規模な AI モデルを小規模な AI モデルで制御すること に関する注目すべき研究論文を発表しました。これは、超知能 AI システムを制御するための第一歩と考えられています。OpenAI でこれらのプロジェクトの次のステップを誰が担当するかは不明です。

サム・アルトマン氏のAIスタートアップは今週、超低遅延の応答を特徴とする同社の最新鋭モデル、 GPT-4 Omniを発表し てスタートを切った。OpenAIのスタッフの多くは、同社の最新AIモデルがこれまで以上にSF、特に映画『her/世界でひとつの彼女』に近いとコメントした。