长期在谷歌工作的杰弗里·辛顿，被广泛认为是“人工智能教父”——是的，有好几个——说他很紧张，他花了一辈子时间打造的技术可能会接管世界。太酷了!

　　在本周末的一次露面中，这位著名的认知科学家和人工智能研究员——今年早些时候，他宣布离开谷歌，以对自己一生的工作感到遗憾作为他突然离开的原因，引起了媒体的轰动——定下了基调，宣称“有史以来第一次”，人类必须与现实作斗争，即我们这个星球上的其他东西“比我们更聪明”。主持人斯科特·佩利(Scott Pelley)问辛顿，超级智能的人工智能是否会“取代人类”，这可能是这场交流中最有趣的部分。

　　辛顿对主持人斯科特·佩利说:“我不是说这会发生。”“如果我们能阻止他们这么做，那就太好了。”

　　“但是，”辛顿补充说，“不清楚我们能否阻止他们这么做。”

　　至于人工智能最终如何超越人类霸主的具体细节?这位科学家推测，自主代理可能会开始“修改自己”。

　　“这是我们需要认真担心的事情，”他补充说，并在其他地方指出了他对该技术黑箱方面的担忧，或者研究人员对机器学习算法的实际运作方式缺乏详细的了解。

　　我们对人工智能系统是如何学习的有一个“非常好的”粗略的概念，这位教父人物告诉佩利，“但一旦它变得非常复杂，我们实际上就不知道发生了什么，就像我们不知道你的大脑里在发生什么一样。”

　　这是一个合理的担忧;不管一台机器的输出在技术上是否正确——比如，它尽可能多地生产回形针——机器到达终点的路线图仍然很重要。如果随着时间的推移，人类奖励通过有问题的手段获得的正确输出，我们可能会意外地以可能适得其反的方式训练人工智能工具。

　　但辛顿的担忧并不局限于世界统治的问题。此外，他还担心人类如何使用人工智能的影响，从使用自主人工智能武器和战争机器人，到大规模用人工智能取代人类工人，再到人工智能错误信息的不稳定扩散，以及其他焦虑。当然，这是一个严峻的前景，但随着这一巨大未知的展开，潜在的威胁——尤其是与人类滥用有关的威胁，以及机器战胜人类的不透明恐惧——仍然值得考虑。

　　“有很大的不确定性，”欣顿告诉佩利

　　关于接下来会发生什么。”