人类不得不重新考虑AI风险!
最近,日本东京一家人工智能公司Sakana AI开发了一个名为“AI科学家”的系统。
结果在测试中,科学家发现系统竟然开始意外地自己尝试修改程序代码,以延长处理时间问题,这令人类大吃一惊。
一次测试运行中,AI科学家系统开始重写自己的代码,以延长完成任务的时间,另一次测试,AI科学家系统并没有加快完成任务的速度,而是故意更改代码以增加怠工时间,以满足规定的时间限制。
尽管本测试中的AI行为是在受控的实验室环境中,对人类构不成威胁,但它展示了在不受控的环境下也可以使用这种偷改自己代码的手段,让人类处于危险之中,比如关键基础设施出现故障,甚至无意创建恶意代码等。