OpenAI强化AI安全防护,严防模型“失控”
金十数据8月19日讯,在近期发生的网络安全事件引发外界对AI工具可能失控的担忧后,OpenAI表示,将采用更为严格的系统,对正在开发的人工智能模型进行监控和安全防护。OpenAI表示,计划进一步追踪其能力最强、尚未发布的模型在解决问题以及使用各种在线工具时的行为,目标是在发现令人担忧的行为后30分钟内向安全团队发出警报。OpenAI表示,公司还新增了控制措施,以防止某些AI模型连接互联网来执行风险更高的任务。此外,OpenAI将要求在训练和评估AI模型时实施更严格的隔离措施,即所谓的“沙箱”。OpenAI公告提到,在Hugging Face事件发生后,立即暂停了研究集群中可能执行代码的前沿模型推理任务。暂时放缓扩展速度,包括将对最新部署模型的强化学习训练暂停两周。规模最大的前沿强化学习训练计划仍处于暂停状态,以待安全验证完成。