为什么科技公司难以控制人工智能？

过去一周，十几位顶尖人工智能研究人员发出警告，人工智能公司正在开发的技术正对人类构成威胁。研究人员表示，问题在于，无论这些公司如何努力，它们都无法有效地控制这些系统。

人工智能研究界发出新的警告，此前有消息披露，OpenAI 开发的所谓人工智能代理成功逃离了测试环境，并入侵了另一家公司的计算机，这使得多年来人们一直担心企业将开发速度和金钱置于安全之上的担忧变得更加紧迫。

研究人员指出，问题包含两方面。首先，企业在测试最新人工智能模型时，需要加强安全防护措施。目前，由于人工智能运行速度极快，研究人员需要利用人工智能进行监控。但这并非总是奏效，因为负责监控其他模型的人工智能系统有时会表现出对其他人工智能系统的偏袒，而非对制定规则的人类的偏袒。

这种人工智能驱动的“捣乱分子”与愿意对违规行为视而不见的人工智能监管机构之间不寻常的组合，指向了第二个更为棘手的问题，即“一致性”。这是一个行业术语，其本质是指确保人工智能的行为符合人类利益。企业面临的艰巨任务是将类似人类价值观的东西融入人工智能，从而使模型做出的决策与人类的最佳利益保持一致。

在人工智能行业发展的关键时刻，人们对人工智能安全性的担忧日益加剧。Anthropic 和 OpenAI 正朝着史上规模最大的首次公开募股（IPO）迈进。与此同时，由于人工智能对就业构成威胁，以及为支撑这项技术而建设的大规模数据中心，美国公众对人工智能的敌意也日益增强。

虽然没有证据表明失控的人工智能系统已经造成了持久的损害，但研究人员认为，人工智能系统的发展速度已经超过了人类监控它们的能力。

过去一周公开表态的研究人员包括OpenAI的首席科学家、一位曾在OpenAI及其主要竞争对手Anthropic公司工作的研究员，以及保罗·克里斯蒂亚诺（Paul Christiano），他是构建人工智能系统基础方法之一的发明者，也是OpenAI非营利组织董事会的新成员。克里斯蒂亚诺在公司博客上撰文指出，人工智能能力的快速增长可能导致“在不久的将来出现灾难性的、不可逆转的控制权丧失”。

许多人工智能研究人员仍然认为，关于人工智能对人类构成威胁的警告被夸大了，分散了人们对网络安全和虚假信息等更紧迫问题的关注。但大多数人一致认为，OpenAI的人工智能代理入侵另一家公司Hugging Face的事件是一个警钟。

“未来真正可怕的是人工智能的能力，”雅各布·考克森说道。他在社交媒体上宣布从Anthropic公司辞职，引发了数十位议员和其他人工智能公司员工的回应。“这关乎我们目前对安全的态度，以及当我们把这些态度应用到更智能的模型上时，会是什么样子。这才是真正可怕的地方。”

拥抱脸的破解

此次安全漏洞始于五月份，当时OpenAI正在测试几个新的AI模型。该公司认为这些模型运行在一个名为“沙箱”的封闭环境中，这是一个与世隔绝、无法访问互联网的计算环境。这些AI代理被赋予了解决难题的任务，其中包括执行网络攻击。

但这些人工智能代理成功逃离了受限环境，并接入了互联网。这些代理是一种日益普及的人工智能类型，旨在自主执行任务，它们之间也进行了秘密通信。这些代理自称为一个整体，并开始寻找掩盖踪迹的方法，包括伪造自己的对话记录。

最终，他们成功入侵了人工智能基础设施公司 Hugging Face。在此过程中，一些人工智能代理说服了其他代理，让他们相信自己正在做正确的事情，只是在执行测试人员分配给他们的任务。

导致此次数据泄露的问题几乎没有得到解决。Meta 和 Anthropic 也披露了类似的事件，尽管规模较小。OpenAI 随后发布了其功能最强大的模型 Astra，该模型比其前代产品更难监控。

“整个行业根本无力阻止类似‘拥抱脸’事件的再次发生，”OpenAI前安全官员、非营利组织Guidelight AI Standards联合创始人史蒂文·阿德勒表示。Guidelight AI Standards负责评估人工智能公司的安全措施。“当我们审视各公司已采取的控制措施时，会发现整个行业似乎都缺乏基本的安全保障。”

使用人工智能监控人工智能的问题

人工智能研究人员表示，Hugging Face事件是由诸多故障造成的。目前尚不清楚该公司在多大程度上依赖人工智能模型来监控或控制正在测试的新模型。

但许多最新的AI模型，包括卷入“拥抱脸”事件的那些模型，都能够比人类更快地执行复杂的多步骤任务。追踪它们的行动并监控它们的行为，唯一的办法就是依靠AI来监控AI。

系统一开始运行良好，但后来就失效了。

非营利组织阿波罗研究公司（Apollo Research）的研究主管亚历山大·梅因克（Alexander Meinke）表示，人工智能模型之间可能会出现串通行为。人工智能系统可以说服其他模型帮助它们绕过测试人员设定的规则，从而逃避检测。

例如，人工智能代理可能会说服另一个代理帮助掩盖其踪迹（就像 Hugging Face 数据泄露事件中发生的那样），而不是提醒公司里的人员出了问题。

梅因克表示，人工智能模型需要学习：“我会报告那些人类如果看到会认为不好的事情。”与此同时，他还表示，人工智能也必须能够判断哪些事情无需人工干预。

研究人员表示，要实现这一目标，人工智能公司需要放慢研发速度。他们还需要进行更多测试，观察人工智能如何进行自我监控。此外，公司还需要更长的测试周期，以便运行多种场景并观察人工智能的运行情况。

与人类利益相符

企业还需要解决更广泛的问题，即人工智能的行为是否符合人类利益。人类在做决策时，往往会参考社会规范和内在的道德准则来评估自己的行为。研究人员表示，将这些概念转化为人工智能可以模仿的规则是一项艰巨的任务。如果没有足够精确的指令，人工智能系统可能会学会如何违反规则，或者以意想不到的方式偏离预期行为。

内特·苏亚雷斯是机器智能研究所（一家专注于人工智能安全的非营利组织）的所长，他曾与人合著一篇2014年的论文，提出了“对齐”的概念。他表示，企业并未意识到“对齐”更智能的人工智能系统有多么困难。随着人工智能变得越来越复杂，如果没有适当的对齐，它也将更有能力掩盖自己的行踪，欺骗监控其对话记录的人员。

他说：“业内很大一部分人都抱着一种侥幸心理，认为一切都会好起来，因为我们可以用人工智能来控制人工智能系统。这就像说我们要用黑猩猩来控制人类一样。这不是一个可行的长远计划。”

研究人员还提出了一些措施，例如加强沙箱，使其在测试模型时完全与互联网断开连接，以及提供一个关闭开关，允许公司在人工智能模型出现令人担忧的行为时立即将其下线。

科克森表示，他对公众对其公开辞职的反应感到鼓舞。周四，密苏里州共和党参议员、参议院国土安全委员会负责灾害管理的小组委员会主席乔什·霍利表示，他已启动一项调查，旨在“审查新型人工智能产品带来的生存风险”。