THE BROAD VIEW

人工智能代理应有多像人?

新加坡为人工智能代理设定的行为监管护栏,也应适用于其角色设定

    • 一个代表人类用户行事的人工智能代理,引发了关于授权、监督和问责的问题。
    • 一个代表人类用户行事的人工智能代理,引发了关于授权、监督和问责的问题。 图片来源:REUTERS
    Published Fri, Oct 30, 2026 · 12:00 PM

    本文由 AI 翻译,关键事实请以原文为准。

    查看原文

    [新加坡] 从Meta的Muse、OpenAI的dots到Anthropic的Claude Duet,都标志着一个转变:人工智能正从回答问题的助手,演变为能记住上下文并代表我们工作的代理。

    新加坡在10月份的举措——新加坡金融管理局发布的《人工智能风险管理指导原则》以及资讯通信媒体发展局推出的三项代理式人工智能测试计划——凸显了监管这些系统的重要性。

    随着代理的功能日益强大、无处不在且为人们所熟悉,我们不仅需要关注它们能做什么,还需要关注它们在与人互动时所扮演的角色。

    当助手变为“演员”

    一个能代表我们行事的代理,会引发关于授权、监督和问责的问题。

    新加坡的《代理式人工智能示范治理框架》要求企业为代理可访问的内容和可执行的操作设定界限;保留有意义的人工监督责任;在部署前后对这些代理进行测试;以及最关键的,告知用户其功能和局限。

    该框架为治理奠定了坚实的基础,并解决了人工智能代理“能做什么”的问题。

    然而,用户同样会对代理所扮演的角色做出反应。一旦代理用温暖的声音说话、贴心地回顾之前的对话,或是在讨论中关心用户的心理健康,它就开始与用户建立关系。

    而代理的这一方面,需要更强的监管护栏。

    即使用户知道这是人工智能,代理在设计上应该显得多像人?当代理底层的模型更换,其角色设定随之消失时,又会发生什么?

    关系建立需克制

    我和南洋理工大学的Andrew Prahl合作发表的一项研究,其核心正是第一个问题。我们梳理了2685篇关于真实性的文章,并综合分析了在23个国家背景下,关于人工智能角色设定的111项同行评审研究。

    分析结果揭示了企业在思考“类人化”设计时所犯的一个基本错误。

    名字、情感表达和文化契合度等人类化特征有助于建立信任,但在人工智能代理中增加更多此类特征,未必能使其更受信任。

    为什么人工智能代理中的人类化信号在一定程度上能增进信任,但超过该点后反而会适得其反?我们提出的“合成真实性阈值模型”(Threshold Model of Synthetic Authenticity)对此提供了解释。

    在与代理互动时,人们会同时执行两项任务:评估代理所说的内容,同时默默地审视它的本质。每一个逼真的特征或情感声明,都让用户需要多费一分心力,去调和“这个角色并非人类”这一事实。

    超过某个临界点后,更强的真实感可能不会带来信任,反而会引发用户的审视。这个临界点取决于任务和关系本身。

    对企业而言,其实际启示是应明确披露其正在使用人工智能角色设定,并且只添加那些有实际作用的人类化特征。

    文本助手可能需要清晰和一致的语气,健康支持代理可能需要耐心和细致的回应。但两者都不需要逼真的面孔或模拟的脆弱感。一个代理可以在不声称自己能感同身受的情况下,认知到用户的不安。

    企业应诚实地告知用户代理能做什么(以及不能感受到什么),并提前说明在必要时如何将对话转接给人工客服。

    关系必须经得起升级考验

    随着模型价格持续下降、功能迅速提升,更换代理底层的模型可能会成为常规操作。

    因此,企业在更换底层模型时,也应考虑并管理代理角色设定可能发生的变化。

    人工智能代理的角色设定是用户建立信任关系的基础层,人们通过它来学习在多大程度上可以信任这个人工智能“演员”。人类用户会逐渐了解该人工智能代理能记住什么、其行为方式如何,以及它如何做出判断。

    换了新模型后,代理可能会变得情感表达更丰富,或者更不愿意将对话转接给人工客服。一个昨天还低于“类人化”阈值的设计,在一次用户看不见的升级后,就可能越过这个阈值。

    一个更快、更复杂的模型,仍然可能导致用户关系变得更糟。

    这里的解决办法是建立一份独立于模型的“角色设定章程”(Persona Charter)。这份章程应规定代理做什么、听起来可以多像人、可以记住什么,以及何时必须由人工接管。

    在发布重大版本前,团队应重演代表性的用户历史交互记录,测试新系统是否仍在章程范围内。如果新行为与之前有重大差异,则应重新审查代理的权限,而非自动沿用。

    既要监管行为,也要监管“演员”

    人工智能的保障体系因而分为两个层面:第一层是行为保障,涵盖代理可以访问、决定和执行的内容。第二层是角色保障,涵盖它看起来是什么样的、适合其角色的“人性化”程度,以及升级后其行为是否仍在设定的边界内。

    新加坡务实的人工智能治理方法为这两个层面都提供了基础。下一步是实现一致性。信息披露、设计、角色和权限应向用户传达一致的信息。这并不意味着代理必须听起来很“人工合成”。

    一个直截了当的人工智能代理仍可能不安全,而一个类人化的代理也可能不被信任。更好的原则是相称性:赋予代理足够的人性化以完成其任务,但绝不能多到让其“表演”脱离现实,并且始终保留一条通往人工服务的清晰路径。

    作者是Isentia公司东南亚区域营收与洞察副总裁

    人工智能被用于研究支持、起草和在提交前审阅草稿。作者对本文的准确性和原创性负全部责任。

    此翻译对您是否有帮助?