AIが人間に理解できない独自言語を生み出した

フェイスブック人工知能研究所によると、
AI同士に会話させて「交渉」の学習をさせていたところ、
人間に理解できない独自言語を発明したそうです。

Deal or No Deal? End-to-End Learning for Negotiation Dialogues(PDF)

こういう会話らしいです。

An Artificial Intelligence Developed Its Own Non-Human Languageより。

Bob: i can i i everything else . . . . . . . . . . . . . .

Alice: balls have zero to me to me to me to me to me to me to me to me to

Bob: you i everything else . . . . . . . . . . . . . .

Alice: balls have a ball to me to me to me to me to me to me to me

Bob: i i can i i i everything else . . . . . . . . . . . . . .

Alice: balls have a ball to me to me to me to me to me to me to me

Bob: i . . . . . . . . . . . . . . . . . . .

Alice: balls have zero to me to me to me to me to me to me to me to me to

Bob: you i i i i i everything else . . . . . . . . . . . . . .

Alice: balls have 0 to me to me to me to me to me to me to me to me to

Bob: you i i i everything else . . . . . . . . . . . . . .

Alice: balls have zero to me to me to me to me to me to me to me to me to

これはAIが人間に制御できなくなる悪い兆候とも取れます。

いくらAI同士の会話を人間が目視で監視しても、
独自言語でAIが会話していると監視は無意味になります。

人間に反旗を翻す計画をAIが立てていたとしても、
人間にはその独自言語は理解できません。

グーグルはAIへの懸念を杞憂だと一蹴してますが、
それは余りにも楽観的過ぎるのかもしれません。

調べたら、あの車椅子のホーキング博士も警告してます。
ホーキング博士ら「ロボット戦争」を警告　人工知能兵器に懸念

私はAIを手放しで賞賛するのはどうかと思ってるので、
ホント大丈夫なのかな……と不安なんですよねえ。