OpenAI和Google的新课题

人工智能失控了怎么办?

PC Digest - - 酷科技 -

在OpenAI位于旧金山的办公室里,研究人员Dario Amodei正在通过赛船冠军赛(Coast Runners)来训练人工智能。不过,这个人工智能好像有点失控了。赛船冠军赛的游戏规则很简单,如果想赢,选手必须获得最多的分数,然后再跨过终点线。然而,Amodei的人工智能在熟悉了规则之后,玩着玩着有点过火了,它在不断地追求高分,非但毫无跨过终点线的意思,反倒为了要拿下更高的分数而多转了几个圈。

为了应对类似的事件,Amodei和同事Paul Christiano正在研发一套不仅可以自我学习,同时也愿意接受人工监控的算法。在赛船游戏的训练中,Amodei和同事将不时通过按键来指出人工智能的不当之处,告知人工智能,不仅要获得分数,同时也要跨过终点线。他们认为,这种包含了人工干预成分的算法可以确保系统安全性。

而在Google旗下的人工智能研究机构DeepMind的研究人员也同意Amodei的想法。这两个团队还分别代表了OpenAI和DeepMind合作发表了部分人工智能安全方面的研 究论文。

除此以外,Google旗下的Google Brain,以及来自伯克利大学和斯坦福大学的研究团队,都设有该方向研究课题,从不同方面考虑人工智能安全问题。除了这种在自我学习过程中“搞错重点”的潜在危险,另一个可预想的人工智能危险在于“为了完成任务,拒绝被开发者关机”。

一般在设计人工智能时,研发人员都会给它设定“目标”,就像赛艇游戏中的“得分”一样。一旦人工智能将获得“分数”设置为终极目标,它可能会产生一个方法论—想要获得更加多的分数,其中一个方法就是不关闭自己,这样就能无止境地获取分数了。

伯克利大学的研究人员Dylan Hadfield-Menell和团队最近发布了讨论这个问题的论文。他们认为,如果在设计算法的时候,让人工智能对目标保持一定不确定性,它们才有可能愿意保留自己的“关机键”。该团队采用了数字方式来尝试实现这个设置,目前还处于理论阶段。

Newspapers in Chinese (Simplified)

Newspapers from China

© PressReader. All rights reserved.