康纳·莱希：如果超级AI开始失控，人类将无法阻止它

ChatGPT的开发者OpenAI计划进一步投入资源，并打算成立一个全新的研究团队，旨在探讨如何保障人工智能（AI）对人类的安全性，最终目标是通过AI来监督AI。 OpenAI的联合创始人伊利亚·苏茨凯弗和AI对齐负责人简·莱克在官方博客中表明，超级智能的强大可能导致人类力量的丧失，甚至可能引发人类的灭绝。他们指出，现在还没有找到合适的办法来控制或操纵可能出现的超级智能AI，以防止企图对抗人类的可能。 他们预见，比人类更智能的超级智能AI有可能在未来10年内出现。为了对其进行控制，人类需要开展更多的“AI对齐研究”，以确保AI对人类的利益。AI对齐是AI控制中的关键，其要求将AI的目标与人类价值观和意图保持一致。 他们宣布，OpenAI计划在未来四年内将其20%的计算力专注于解决这个问题。同时，公司也将成立一个“超对齐”团队来负责此项工作。团队的目标是发展出“人类水平”的AI驱动的对齐研究员，并通过大量的计算力推动其进步。这意味着OpenAI将使用人工反馈来训练AI系统，然后让AI辅助人工评估，最终让AI系统进行实质性的对齐研究。 然而，人工智能安全倡导者康纳·莱希指出，OpenAI的计划存在严重的问题。他认为，如果人类水平的AI一开始就失控，可能会造成严重破坏，这将迫使研究人员去解决AI安全问题。“在建立起人类水平的智能之前，必须先解决对齐问题。否则，一旦失控，你将无法控制它。”他说。 AI的潜在危险一直是公众和研究人员关注的焦点。今年4月，一群AI行业领导者和专家签署了一封公开信，呼吁暂停开发比OpenAI的GPT-4更强大系统的开发6个月，原因是担忧其可能对社会产生的潜在风险。据5月份的一项调查，超过三分之二的美国人担心AI可能带来的负面影响，有61%的人认为AI可能对人类文明构成威胁。