（来源：MIT Technology Review）
对于 AI 领域的从业者来说，过去的一年无疑是非常繁忙的，一系列产品发布多得数不胜数，甚至还有诺贝尔奖。然而，事情并不总是一帆风顺。
很大程度上，AI 是一种难以预测的技术。随着生成式 AI 模型的广泛应用，人们开始以各种新的、奇怪的、甚至是有害的方式测试其极限。以下是 2024 年 AI 领域的重大失误案例。
AI 垃圾泛滥互联网的各个角落
（来源：MIT Technology Review）
生成式 AI 的出现让大批量的文本、图片、视频以及其他素材的创作变得轻而易举。从输入提示到生成结果，仅需短短几秒。这种高效工具迅速成为大规模内容生产的快捷方式。然而，2024 年我们为这些通常质量欠佳的产物赋予了一个新名称 AI 内容垃圾。
这种低门槛的生成方式使得 AI 内容垃圾几乎渗透到互联网的每个角落：从电子邮件中的新闻简报，到亚马逊出售的书籍；从网络广告和文章，到社交媒体上粗制滥造的图片。尤其是那些容易引发情感共鸣的图片，比如受伤的退伍军人、哭泣的儿童等等，这些往往更易被分享，进而为精明的创作者带来更多互动量和广告收入。
此前一项发表在 Nature 上的研究表明，模型在人工智能生成的数据上进行迭代训练时，会导致输出质量逐代下降，最终可能陷入崩溃的困境。这种退化过程类似于一张照片经过无数次扫描和复制，最终只剩下一片模糊的黑暗。为了应对这一挑战，研究人员提出在训练过程中赋予原始数据更高权重，并追踪数据来源，以确保模型持续接触高质量的人类生成数据。
然而，随着互联网上高质量人类生成数据的减少，仅依赖原始数据可能无法满足 AI 模型的庞大需求。将经过精心设计的合成数据与真实数据结合是一种潜在解决方案，但这种方法需要小心控制，以避免训练数据的质量和多样性进一步受损。此外，非主流的语言和文化群体特别容易受到模型退化的影响，因为这些群体在数据中的样本较少，更易受到失真和偏差的侵蚀。
AI 内容垃圾不仅令人厌恶，它的泛滥还对生成这些内容的模型未来构成了实质性威胁。这是因为这些模型依赖于从互联网抓取的大量数据进行训练，而随着被 AI 内容垃圾充斥的低质量网站数量不断增加，模型输出的质量和性能面临下降的风险。这种循环可能使生成式模型的表现逐步恶化，形成一个有害的反馈循环。
AI 正在扭曲我们对真实事件的期望
（来源：The Irish Times）
2024 年也是超现实 AI 图像开始渗透到我们现实生活中的一年。一些事件让人啼笑皆非，却揭示了问题的深度。例如，“Willy's Chocolate xperience”是一个非官方沉浸式活动，其灵感源自 Roald Dahl 的作品《查理与巧克力工厂》，因其奇幻的 AI 生成宣传材料而引发全球关注。这些宣传材料让人误以为活动宏大无比，然而，实际场地仅是一个简陋的仓库。
与之类似的，还有数百人在都柏林街头聚集并等待参加一场并不存在的万圣节游行。一个来自巴基斯坦的网站利用 AI 生成了都柏林的活动列表，这些虚假内容在去年 10 月 31 日之前在社交媒体上广泛分享。
当时，数千人在奥康奈尔街排队等待游行，直到晚上 8 点，警方社交媒体发帖证实没有此类活动人群才开始散去。这些人都是因为看到一个网站上的帖子才来到这里参加活动，那个网站列出了来自世界各地的数百个活动，由在不同国家/地区远程工作的内容创建者团队编写。
一名该网站的负责人在接受采访时声称，他无意误导人们，他对多篇报道暗示这是一场“骗局”表示担忧，而事实上这是一个“错误”。他还表示，该网站上有 1,400 多篇帖子，其中绝大多数准确地详细介绍了世界各地的万圣节主题活动。
不可否认，这两起事件暴露了公众对 AI 生成内容的盲目信任所带来的问题，虚假宣传不仅误导了人们，还对现实生活造成了不小的干扰。
Grok 缺乏提示词限制
（来源：MIT Technology Review）
大多数主流 AI 图像生成器都为生成内容设置了严格的防护措施，以防止用户创作出暴力、色情、非法或其他有害内容。这些规则同时也旨在避免明显的版权侵权行为。然而，由马斯克的 AI 公司 xAI 开发的 Grok 几乎无视这些原则，这与马斯克一贯反对所谓“觉醒 AI”的立场不谋而合。
与之形成对比的是，其他主流图像生成模型通常会拒绝生成涉及名人、版权作品、暴力或恐怖主义的图像，除非用户使用某些复杂技巧规避限制。而 Grok 则几乎毫无保留地接受用户的请求，比如生成特朗普发射火箭筒或米奇老鼠手持炸弹这样的图像。虽然它对生成裸体图像仍有一定限制，但其对规则的松散执行削弱了其他公司为避免争议内容所作的努力。
Grok 的这种无约束模式引发了广泛争议，对行业规范造成了直接挑战。这种行为不仅加剧了公众对生成式 AI 潜在风险的担忧，还可能迫使其他公司重新评估其模型的规则和限制机制，以应对更加复杂的行业环境。
尽管主流生成式 AI 模型虽然配备了安全过滤器以阻止生成不当内容，但研究表明这些机制很容易被越狱，例如通过 SneakyPrompt 的手段攻破。这种方法利用 AI 模型处理文本提示的机制，通过替换或调整词汇，使得过滤器难以识别并阻止有害内容。这类技术漏洞不仅可能被用于生成暴力或色情内容，还可能被用于信息战，制造虚假新闻和操控舆论。例如，AI 生成的虚假战争图像可能激化冲突，造成严重的后果。
为了应对这些问题，开发者应加强训练数据的清理和预处理，采用更精细的安全措施，并提供内容标签以帮助识别 AI 生成的内容。此外，跨行业的协作和技术改进被认为是减少 AI 滥用的关键。随着生成式 AI 的能力不断增强，其安全和伦理问题必须引起更多关注。行业需要平衡技术发展的潜力和社会责任，确保 AI 技术的应用不会带来不可预见的负面影响。
Taylor Swift 的 AI 色情图像在网上传播
（来源：MIT Technology Review）
2024 年 1 月，歌手 Taylor Swift 的非自愿色情深伪图像开始在社交媒体平台 X 和 Facebook 上广泛传播。一些 Telegram 社区通过利用微软 AI 图像生成工具 Designer 的漏洞，成功制作了这些不雅图像。这一事件表明，即便 AI 生成工具具备防护措施，也可能被技术性手段绕过。
随着生成式 AI 技术的发展，非自愿深度伪造色情内容已成为一种泛滥的社会问题。这种技术让创建高质量虚假色情内容变得前所未有的容易，仅需一张社交媒体上的公开照片便可生成。这一现象严重侵害了女性和其他弱势群体的隐私权，且现有法律和技术手段尚不足以有效应对。尽管一些例如水印、数据中毒工具等正在研发中，但其应用范围有限且尚未普及，而技术公司往往因缺乏动机或监管而未采取足够措施遏制这一问题。
尽管微软迅速修复了 Designer 系统中的漏洞，这一事件仍暴露了平台在内容审核政策上的不足。这些不雅图像的帖子在多个平台上传播了数天后才被删除，期间已造成了严重的影响。更令人不安的是，面对非自愿色情深伪内容的快速传播，我们的应对手段仍显不足。
这起事件凸显了加强技术开发与法律保护的紧迫性，迫切需要通过更强有力的工具和法规，保护个人免受此类侵害，防止类似事件再次发生。目前还有一些正在研究中的技术手段。例如，谷歌的 SynthID 和 MIT 的 PhotoGuard 通过在图像中嵌入隐藏信号或扭曲像素，增加了创建或修改深度伪造内容的难度。然而，这些技术仍处于实验阶段，尚未被广泛采用。此外，它们对已经在线发布的内容无能为力，且难以抵御未来更先进的 AI 模型，表现出明显的局限性。
从根本上解决问题，依赖于更全面和严格的法律监管。美国、欧盟和中国已出台相关法规，但法规执行面临跨司法辖区和匿名化技术的挑战。全球范围内的合作至关重要，以确保创建和传播非自愿深度伪造内容的行为能够被有效追踪和惩罚。同时，社会意识的提升、公众的广泛参与以及将此类行为定义为性犯罪的认知转变，也将在遏制这一问题上发挥重要作用。
失控的商业 AI 聊天机器人
（来源：MIT Technology Review）
随着 AI 的广泛普及，企业纷纷引入生成式工具，希望通过它们节省时间和成本，同时提升运营效率。然而，问题在于，这些聊天机器人经常编造信息，难以始终提供准确可靠的答案。以加拿大航空公司 Air Canada 为例，去年 2 月其聊天机器人曾向一位客户建议，按照一项实际上不存在的丧亲退款政策申请退款。结果，加拿大一家小额索赔仲裁庭支持了客户的投诉，尽管航空公司试图辩称该机器人是独立法律实体，应对其行为负责。
类似问题在其他行业也频频出现，甚至显得更加离谱。例如，快递公司 DPD 的聊天机器人在稍加挑衅下竟然用粗口回复，并自嘲自己的行为毫无用处；而一个为纽约市民提供政府信息的聊天机器人更是误导用户，教他们如何实施违法行为。
这些案例凸显了聊天机器人的潜在风险。虽然它们在某些场景下能提升效率，但其不可靠性可能对企业声誉和公众利益造成重大威胁。这表明，在追求效率的同时，企业和开发者需要更加谨慎地设计和监控 AI 工具，确保其输出的准确性和可信度。
生成式 AI 展现了改变经济增长轨迹的潜力，但其实际影响尚未显现。尽管一些研究显示 AI 可以提升呼叫中心、软件开发等特定行业的生产力，其扩散至更广泛经济领域仍面临挑战。尤其在制造业等关键领域，现有的基础模型由于缺乏专用数据和行业知识，难以满足复杂需求。此外，企业对 AI 技术的可靠性和数据安全的担忧也阻碍了其大规模应用。
大语言模型的工作机制导致“幻觉”或生成虚假信息成为其固有特点。与数据库或搜索引擎不同，这些模型通过预测文本序列中的下一个词生成内容，而不是检索预存信息。它们的输出基于从海量互联网数据中学习到的统计模式，虽然看似真实，但实际上是概率计算的结果。这种机制让它们生成的内容大多数时候看起来可信，但偶尔出现的错误却可能造成严重后果，例如生成虚假的诊所地址或伪造的法律文件。
尽管完全消除幻觉仍然不可能，但研究表明可以通过几种方法来减少错误。例如，使用更多高质量数据进行训练可以降低模型的错误率，或通过链式思维提示则通过逐步分解问题，提高了输出的准确性。此外，未来的大语言模型可能会集成自我校验机制，实时检测并纠正潜在错误。然而，由于模型的概率性质，这些改进仍无法完全杜绝错误。
AI 硬件产品并没有真正点燃市场
（来源：The Verge）
2024 年，AI 行业在硬件助手领域进行了尝试，但最终未能取得成功。Humane 公司推出了一款名为 Ai Pin 的可穿戴电脑设备，试图向消费者兜售其概念，然而即便经历多次降价，这款产品的销量依然惨淡。
Ai Pin 于 2023 年 11 月首次亮相，旨在通过语音控制“取代智能手机”完成日常任务。该设备由摄像头、激光投影仪以及一块可以按压的触摸板等部件构成，运行安卓系统，利用 AI 模型回答用户问题，与 AI Pin 的交互可以通过语音、手势、触碰等，其通过激光投影将信息显示在用户手掌上。去年 5 月，面对 Ai Pin 的市场冷遇，Humane 公司不得不寻求收购方。
同样命运的还有个人助理设备 Rabbit R1，这是美国初创公司 Rabbit 推出的一款口袋 AI 设备，其设计理念是让用户不再为完成某项任务而在应用程序中摸索，利用 AI 来改变用户与应用的交互方式。
Rabbit R1 搭载 2.88 英寸触屏、可旋转摄像头以及滚轮按钮，采用联发科处理器和 4GB 内存，配有 128GB 的存储空间。该设备搭载 Rabbit 研发的操作系统 rabbitOS，其“大型操作模型（LAM）”是核心功能，可以实现多种操作，比如播放音乐、购物以及发送信息等，甚至可以学习特定应用的操作。去年 1 月，Rabbit 在 CES 2024 展会上推出了这款设备。然而，此前曾有大量评论和报告称其运行缓慢且存在漏洞，这款产品最终未能获得市场青睐。
这些产品的失败揭示了一个关键问题：它们似乎试图“解决一个并不存在的需求”。在硬件领域，AI 的潜在应用价值虽然广泛，但如何找到真正符合市场需求的方向仍是一个未解的挑战。
混乱的 AI 摘要搜索
（来源：MIT Technology Review）
你是否曾在披萨上加过胶水，或者咬过小石头？令人啼笑皆非的是，这些荒唐建议竟然是谷歌 AI 摘要功能在去年 5 月为用户提供的答案。
该功能旨在将 AI 生成的回复置于搜索结果顶部，但由于系统无法区分真实新闻和 Reddit 上的玩笑帖子，用户纷纷尝试诱导它生成各种稀奇古怪的内容，最终导致这些离奇答案的出现。
然而，AI 摘要的失误远不止这些离奇场景，还可能带来更严重的后果。例如，苹果一项用于将应用通知分组并生成摘要的新功能曾错误创建了一条虚假的 BBC 新闻头条，声称涉嫌谋杀医疗保险公司首席执行官 Brian Thompson 的 Luigi Mangione 已经自杀。而不久前，同一功能还生成了一条虚假消息，声称以色列总理 Benjamin Netanyahu 已被逮捕。这些错误不仅可能误导公众，还可能无意中破坏新闻机构的公信力。
这些事件表明，尽管 AI 生成的摘要能够显著提高信息整理效率，其在准确性和可靠性方面的缺陷却对公共信息传播构成了严重威胁。为了避免类似问题，需要对 AI 生成内容进行更严格的审核，同时提升其理解和筛选信息的能力，以减少对用户和社会的潜在负面影响。
参考链接：
1.https://www.technologyreview.com/2024/12/31/1109612/biggest-worst-ai-artificial-intelligence-flops-fails-2024/
2.https://www.technologyreview.com/2024/07/24/1095263/ai-that-feeds-on-a-diet-of-ai-garbage-ends-up-spitting-out-nonsense/
3.https://www.technologyreview.com/2024/08/20/1096733/how-to-fine-tune-ai-for-prosperity/
4.https://www.technologyreview.com/2023/11/17/1083593/text-to-image-ai-models-can-be-tricked-into-generating-disturbing-images/
5.https://www.technologyreview.com/2024/01/29/1087376/dear-taylor-swift-were-sorry-about-those-explicit-deepfakes/
6.https://www.technologyreview.com/2024/01/29/1087325/three-ways-we-can-fight-deepfake-porn-taylors-version/
7.https://www.technologyreview.com/2024/05/31/1093019/why-are-googles-ai-overviews-results-so-bad/
8.https://www.irishtimes.com/ireland/2024/11/01/we-are-highly-embarrassed-website-creator-behind-non-existent-dublin-halloween-parade-says-it-was-a-mistake/
9.https://www.theverge.com/2024/10/23/24277964/humane-slashes-ai-pin-price-weak-sales
10.https://www.theverge.com/2024/5/2/24147159/rabbit-r1-review-ai-gadget
