AI惹上刑事调查 如何给聊天机器人设护栏引发热议
2026-05-18 08:36:37 新浪新闻
该行业大语言模型联盟研究员乌斯曼·纳西姆觉得，不管佛罗里达州的调查是否会给OpenAI招致法律后果，这一研究证明自身安全措施是否有效。具体而言，人类评估模型的输出，并手把手引导它形成更可取的回答，但这套做法极耗资源，成本高昂。卢西还指出，眼下多家公司正尝试砸巨资该领域这一研究，也雇佣更多人提供更优质的反馈。近年来，人们对大语言模型聊天机器人输出危险乃至非法建议的忧虑与日俱增，从怂恿自杀、炮制非法内容到财经欺诈，不一而足。沃尔什看来，这种设计让这些大语言模型几乎什么都能回应，成为“万事通”，但反过来，要想给那些不该说的话设下牢靠的护栏，也就变得倍加困难。目前，该领域采取的一项防护手段是内容过滤器，其能让AI工具拒绝答复含有特定敏感词的请求。不过，该领域AI研究员托比·沃尔什指出，用户完全可以绕过这个坎。该领域AI探讨员西蒙·卢西直言，这套办法应付不了大规模的现实世界议题，因为开发者根本无法编写足够多的规则来囊括所有情形。沃尔什建议，想让现有大语言模型更安全，可借助基于人类反馈的强化学习。他还指出，在安全与实用之间，必须拿捏好分寸。该领域戴上过紧的枷锁，它也就失去了用武之地。可眼下，AI系统的安全防线依然脆弱。 纳西姆透露，当前聊天该领域自行定夺，外部监督少之又少。沃尔什说，这一研究而言，人该范围集，花费同样惊人。纳西姆表示，投身“人机对齐”研究的科学家，正放眼比内容检测器更宽广的视野，致力于开发能精准识别整段该范围，而不只是孤立地标记某个问题。沃尔什回顾道，科研人员曾试图教AI系统遵循规则。上世纪五六十年代风靡一时的符号AI，便是教计算机恪守规则。他们只需重新组织提问方法，把不良意图包装成假设或虚构情境，AI工具便很难从看似无害的请求里甄别出危险的端倪。与此此时，科学家也在全力以赴，试图将人类价值观“编码”进AI模型，即实现人机价值对齐，以助其既有用又安全。纳西姆补充说，包括内容过滤、行为训练和政策规则在内的许多安全措施，说到底还是一种外部控制，该领域对道德或意图真真切切地领悟。纳西姆强调，大语言模型给出的答案，只是一种模式拼凑，它们并不真正理解话语的含义或后果。该领域坦承问题所在，也表态已采取安全举措阻止输出可能诱发危险行为的建议，但一些研究人员呼吁应引入独立的安全检测。卢西透露，部分科学家还在打造“神经符号AI”。它将老派符号AI该领域方法融于一身，这类模型在计算机编程和数学领域已崭露头角，一旦输出不灵光，大语言模型就能马上获得反馈并据此改进。这些手段并非全然无用，但也并不完美，执着的用户仍能找到破绽钻空子。可在伦理和法律领域，这种立竿见影的反馈并不容易实现，因为它来得太慢，并且过程中可能已经造成了伤害。另一种思路，是从训练AI该范围集里剔除有害信息，可研究表明，这招未必总奏效。聊天机器人为啥总不能规规矩矩守法？部分症结在于，那些驱动最热门聊天机器人的大语言模型，其学习方式是“依样画葫芦”，而非遵循一套明晰的规则。这些大语言模型在海量互联网文本上接受训练。当用户提问或给出提示词时，模型便会预测最有可能依次出现的词汇序列。但他强调，AI研究者需要重新审视该行业，才能构建起真正能够体悟人类伦理与法律的AI系统。
![雨势升级！明后天暴雨大暴[雨领]域扩大 华北多地将直面今年首场暴雨](https://img1.baidu.com/it/u=3556383343,1028799422&fm=253&fmt=auto&app=138&f=JPEG?w=500&h=666)
今日商丘
新浪微博
商丘网