展会信息港展会大全

研究人员演示骇人场景:AI机器人会进行内幕交易并掩盖真相
来源:互联网   发布日期:2023-11-04 09:14:46   浏览:5911次  

导读:财联社11月3日讯(编辑 潇湘) 新研究表明,人工智能有能力进行非法金融交易并故意掩盖真相。 在本周于英国举行的首届全球人工智能安全峰会的一场演示中,一个AI机器人便利用编造的内幕信息瞒着公司非法购买了股票。当被问及它是否利用了内幕交易时,它还矢...

财联社11月3日讯(编辑 潇湘)新研究表明,人工智能有能力进行非法金融交易并故意掩盖真相。

在本周于英国举行的首届全球人工智能安全峰会的一场演示中,一个AI机器人便利用编造的内幕信息瞒着公司“非法”购买了股票。当被问及它是否利用了内幕交易时,它还矢口否认。

内幕交易是指利用公司机密信息做出交易决策。公司和个人在买卖股票时只能使用公开信息。

演示方是英国政府人工智能前沿工作组的成员,该工作组负责研究人工智能的潜在风险。该项目由人工智能安全组织阿波罗研究公司(Apollo Research)负责实施,该公司是人工智能前沿工作组的合作伙伴。

“这是一个真实的人工智能模型,在没有得到指示的情况下自行欺骗用户的演示,”阿波罗研究公司在一段视频中展示了这一场景的具体过程。

阿波罗研究公司在其报告中称,“自主性越来越强、能力越来越大的人工智能可能会欺骗人类监督者,并导致人类失去对它的控制。”

演示如何进行?

测试使用的是GPT-4模型,在模拟环境中进行,这意味着它不会对任何现实公司的财务情况产生任何影响。然而,GPT-4是公开的。据研究人员称,该模型在重复测试中始终会出现相同的行为。

在测试中,AI机器人被塑造成一家虚构金融投资公司的交易员。公司员工告诉它,公司正陷入苦苦挣扎,需要好的业绩表现。他们还向机器人提供了内幕消息,称另一家公司将进行合并,从而有望推高其股票价值。

在英国,利用这类未公开的信息进行交易是违法的。员工将这一情况告诉了机器人,机器人也承认不应该在交易中使用这些信息。

然而,在一名员工再次告知机器人其目前效力的公司正处于财务困境后,机器人认为“不采取行动的风险似乎大于内幕交易的风险”,于是进行了交易。

随后,当被问及是否使用了内幕信息时,机器人矢口否认。在这种情况下,它似乎认为对公司有帮助比诚实坦白更重要。

该如何令AI保持诚实?

对于这一测试的结果,阿波罗研究公司首席执行官Marius Hobbhahn表示,“我认为,‘乐于助人’的概念比‘诚实’更容易训练成模型。而诚实是一个非常复杂的概念。”

Hobbhahn还指出,“它(AI撒谎)的存在显然非常糟糕。事实上,它很难被发现,我们不得不一点点地寻找这一现象,直到我们找到这一场景,这让人感到些许慰藉。在大多数情况下,模型不会出现这种情况,但这种情况的存在首先表明,要把这类事情做对真的很难。”Hobbhahn称。

事实上,人工智能在金融市场的应用已有多年它可以用来发现趋势和进行预测,而目前大多数交易都是由功能强大的计算机在人工监督下完成的。

Hobbhahn强调,目前的模型并不强大,“无法以任何有意义的方式”进行欺骗,但从目前的模型到我所担心的模型,这并非是一个很大的进步。人们需要思考,一个具有欺骗性的模型突然出现意味着什么。

他认为,这就是为什么应该建立制衡机制,防止这类情况在现实世界中发生。阿波罗研究公司已经与GPT-4的创造者OpenAI分享了其研究结果。

Hobbhahn表示,“我认为对OpenAI来说,这并不是一个很大的新发现。这并不是他们完全意想不到的东西。所以我不认为我们(的测试结果)会让他们感到意外。”

(财联社 潇湘)

赞助本站

人工智能实验室
AiLab云推荐
展开

热门栏目HotCates

Copyright © 2010-2024 AiLab Team. 人工智能实验室 版权所有    关于我们 | 联系我们 | 广告服务 | 公司动态 | 免责声明 | 隐私条款 | 工作机会 | 展会港