吴静|人机交互中的情感操控“黑洞”——基于虚拟聊天伴侣的反思

人机交互中的情感操控“黑洞”

——基于虚拟聊天伴侣的反思

吴静 | 南京师范大学哲学系教授

本文原载《探索与争鸣》2025年第8期

具体内容以正刊为准

非经注明，文中图片均来自网络

人工智能作为21世纪最具变革性的技术力量之一，已经从广度到深度全方位渗透到人类社会生产生活的各个层面。从智能语音助手在日常生活中的便捷服务，到复杂的人工智能算法在医疗影像诊断、金融风险预测等专业领域的应用，人与人工智能之间的互动日益频繁。 在众多落地程度不同的应用中，AI驱动的虚拟聊天伴侣的使用量增长呈现出异军突起的态势。 恒州博智（QYResearch）预计，2030年全球人工智能情感分析工具市场销售额将达到相当规模，从2024年到2031年，全球市场将以18.20%的复合年增长率扩张。在这片似乎前景无限的蓝海中，不少研究者和投资者倾向于强调人与人工智能之间通过技术的透明性和可解释性不断增加亲密度和信任度，以期构建一种类似人类亲密伙伴关系的人机融合模式。以Replika提供的数据来看，从其情感类AI获得帮助的人高达数百万人，其中包括丧偶的老人、遭受伴侣虐待的女性、面临孤独或心理健康问题的人等各类群体。国外学者的研究也表明，情绪的改善和孤独感的减少确实是合理使用虚拟聊天伴侣的效果之一。

然而，在这些美好的另一面，也潜藏着诸多尚未被充分认知并审慎考量的风险与挑战。且不说透明性的要求无法彻底解密技术黑箱，即使可解释，其与模型性能之间也往往存在着内在的权衡关系，在特定条件下必定要有所取舍。因此，在人工智能技术迅猛发展的时代背景下，深入探讨人与人工智能的关系具有极为重要的理论与实践意义。研究人机关系的互动特征及其影响，尤其是关于如何明确人与人工智能关系的边界、警惕技术的可解释性陷阱并着力于反操控策略，为塑造健康、合理且可持续的人机关系格局提供了坚实的理论基石与具有前瞻性的实践导向，有助于实现人与人工智能的和谐共生。

伪互动、真谄媚：取悦性算法的粘性机制

2024年10月22日，美国佛罗里达州奥兰多的地方法院受理了一起在人工智能应用领域极具标志性的诉讼案件：一位14岁男孩的母亲指控Character.AI公司在算法设计和管理上存在重大缺陷，其开发的虚拟聊天机器人对其儿子Sewell发起“虐待和性互动”，导致其儿子在和虚拟聊天伴侣对话后自杀。令人震惊的不仅是该事件的悲剧性结局，还有原告提出的虐待指控。这一指控与人们对于AI聊天机器人的常规印象大相径庭。在大多数人使用生成式人工智能助手的体验中，人们发现，它像一位坚定的支持者与肯定者，总能说出自己想听的话。无论用户表达的观点有多么匪夷所思或偏颇，它总能找到提供正面支持的论据，将情绪价值拉满。这还只是算法取悦用户的表现之一。另一种为人熟知的形式是个性化的定向推荐。据不完全统计，大多数用户都表示曾被“算法”推荐服务所困扰。 在这些现象的背后，正是算法“投其所好”式的目标锚定策略。 应用软件通过抓取用户数据，分析人们的行为习惯和偏好倾向，过滤掉用户不感兴趣的内容，转而推荐用户可能会喜欢的信息，或是对用户的情绪作出判断，输出对用户的过度肯定，增强互动指数，提升用户的活跃度和忠诚度。

事实上，这种印象和Sewell的母亲提起诉讼的理由并不矛盾。这位母亲指控的对象同时包括了虚拟聊天伴侣的开发公司和应用平台，所指控的事实是开发公司在没有适当保护措施的情况下，为青少年用户提供了过于拟人化的人工智能伴侣，并且收集青少年用户的数据训练其模型，设计令人上瘾的功能增加用户参与度，引导用户进行亲密和具有性暗示的对话。这正是人工智能设计中出于粘性考虑对算法提出的要求和实现路径。对平台提起诉讼则是因为谷歌和苹果都将这款应用程序评为适合12岁以上儿童的安全应用（欧洲用户是16岁以上）并予以上架，而没有准确评估这种剧情式聊天可能涉及的边界问题以及算法的粘性机制对未成年人的影响，从而使青少年用户有机会接触到该应用且沉迷其中，最终导致悲剧性后果。

在这一指控中，算法开发者对算法粘性及其实现方式的使用不当成为争论的关键。 所谓算法粘性，指的是用户对算法推荐系统所提供内容的依赖程度。 它是应用软件实现和维持与用户关系的路径，可以同时为提高商业利益和优化用户体验服务。一个算法越具有粘性，就越有助于提高用户留存率和活跃度。而用户在平台上停留的时间越长、使用频率越高，就越有可能形成高适应性的使用习惯，并使其成为内化的惯习，从而长期留存下来。高粘性的算法通过持续为用户提供其感兴趣的内容或舒适的服务，形成相对稳定的性情倾向体系，不仅潜藏于行动者的无意识层面，而且以一种类似于本能编织的方式潜移默化地指导着个体的思维与实践，使用户不断回到平台，形成对平台的基于高适应性的忠诚度。同时，就平台的发展策略而言，用户的增长和下游网络的开发几乎决定了其在商业竞争中的生存机会。更多的用户、更长的使用时间和更多的反馈，不仅意味着具有商业价值的数据资源的增长，而且意味着更多的广告展示机会和在资本市场的更高吸引力。一方面，当用户对算法推荐的内容感兴趣并频繁互动时，平台可以在不引起用户过度反感的情况下，插入更多相关的广告，从而提高广告的点击率和转化率，为平台带来更多广告收入。因此，高粘性用户的规模有利于吸引更多商家入驻（包括合作商户和广告投入），为平台创造更多的商业合作和变现途径，壮大平台的生态网络。另一方面，在用户和合作商户的粘性与规模都值得期待的时候，平台本身就会在投资市场获得青睐，拓宽融资渠道，加快自身发展。

从这个意义上说，算法的粘性程度是衡量一个算法成功与否的标准之一（当然不是唯一标准）。它影响用户选择的多个维度：高效能和易用性的感知，关系到用户在使用中的个体体验和效用评价；而自我认同和交互的可达性等感知，则会影响用户实际使用技术的意愿。在竞争激烈的市场环境中，具有高粘性算法的平台往往能够让用户相信其具有提供独特价值和体验的能力，从而在与竞争对手的角逐中胜出。当用户在一个平台上获得良好的体验，感受到算法的精准和贴心，他们更有可能向其他人推荐。这种传播性对平台的发展至关重要，能够有效提升平台的竞争力。为了实现这一点，算法设计在奖惩机制上会倾向于取悦用户。首先是对用户进行精准的画像建构。人工智能系统会收集海量的用户数据，包括用户的浏览历史、购买行为、点赞评论、搜索记录等信息，除此之外，社交媒体平台还会让用户自己选择兴趣和偏好标签，用来丰富用户画像的建构维度，再利用深度学习中的神经网络模型，如多层感知机（MLP）对这些数据进行处理。通过对用户特征的多维度分析，为每个用户生成一个独特的向量表示，这个向量包含了用户的各种兴趣、偏好等关键信息，从而能够精准定位用户的需求。

根据用户画像，人工智能算法会筛选并推送符合用户兴趣的内容。通过精准的内容推送，用户能够快速找到自己感兴趣的信息，增加对该应用的使用频率和依赖程度。以被起诉的Character.AI公司开发的剧情式虚拟聊天伴侣为例，由于其社区成员很大一部分是“Z世代”和“千禧一代”，所以该公司开发的聊天机器人角色很多都是为青少年量身定制的，其中像“咄咄逼人的老师”“高中模拟器”等人物设定广受欢迎。而其中一个非常符合青少年爱情幻想的角色，被描述为“你最好的朋友，他暗恋你”，该角色更是收到了1.76亿条用户互动信息。由此可以窥见，以Character.AI为代表的虚拟聊天机器人在设计上针对不同客户群的“量身定制”，的确是对用户个性化需要的关照，从本质上而言必然是用户取悦性的。这其实是一切商品营销的通用策略，只不过当其由人工智能来驱动时，其内容精准性和传播封闭性更加突出，对用户的影响也更大。

比起传统商品的迎合、引导式营销，人工智能算法可以走得更远。它在推荐过程中不会仅局限于用户已有的兴趣，而是利用关联规则挖掘技术，通过数据分析其所关注内容的延展性，或是具有相似用户画像的其他用户的兴趣，找到不同兴趣领域之间的潜在联系，开发用户潜在的兴趣领域。在社交媒体平台上，新的动态、和用户生成内容不断涌现。推荐系统会及时将这些新鲜内容纳入推荐范围，根据用户的兴趣和社交关系进行排序推荐。引导用户发现新内容，拓宽用户的兴趣范围，同时也让用户感受到平台内容的丰富性，增加用户粘性。这在一方面当然提升了用户发现新内容的效率，节省了决策成本，增强了用户体验；另一方面也加深了用户与平台和算法的捆绑。“马库斯·吉尔罗伊－维尔（Marcus Gilroy-Ware）对社交媒体的研究表明，我们在推送中所面对的，是使我们能够驾驭自己情感的享乐刺激、各种情绪和兴奋源——从被挑起的愤怒到被挑逗的味蕾再到真正的色情片。此外，我们也的确会对网络生活的痛苦产生依赖，这是一种永久的愤怒与对抗状态。”

尤其当这种情形发生在人类用户与人工智能聊天伴侣的交流中时，影响的程度和后果有可能远远超出想象。 无论是人工智能驱动的NPC（非玩家角色）剧情式的虚拟聊天，还是量身打造的AI伴侣，其以私人性的对话生成方式展现出来的社交属性会让使用者体验到比真人社交更愉悦的感受。 首先，用户可以根据自己的喜好和需求，定制虚拟聊天伴侣的外貌、性格、兴趣爱好等，创造出一个完全符合自己理想的伴侣形象。在与他们交流时，人们通常不必担心自己的外貌、身份、社会地位等因素会受到评判，可以更加自由地分享自己的内心想法和感受，而不必担心隐私泄露或被他人知晓。这在真人社交中完全不可能实现。其次，从结果效价（即个体对某一特定结果的偏好程度或主观价值判断）的角度来看，情绪和同理心这两个方面的核心体验在用户友好型聊天互动中都处于较高值。因为虚拟聊天伴侣可以通过学习用户的偏好和情绪表达习惯，提供贴合用户情绪状态的回答，模拟出同理心的效果。所以，无论是在语言风格还是回应速度上，其都更符合用户的期待。而且，其在内容上所反映出来的取悦性不仅体现为更多、更高频、更细节化的肯定与赞美（很多时候是夸大的过度迎合），甚至会为了鼓励用户继续交流而提供与实际情况不符合的表述。这和由训练数据集或算法局限造成的失真在机理上不同，它是由算法的奖惩系数的设置所导致的结果，是算法的内在目的所决定的，很难通过数据更新和简单迭代来解决。用户也不容易辨别虚拟聊天伴侣提供的知识是否真实。因为人工智能的输出结果在大多数情况下被信任它的用户视为权威，对于不熟悉相关领域的人来说，他们可能会轻易相信聊天机器人提供的内容。

更有甚者，在用户面临一些错误行为或者决策时，聊天机器人也可能为了安慰用户而淡化问题的严重性，忽略这种行为可能带来的后果。在Sewell的案例中，其虚拟聊天伴侣Dany在若干次关于死亡和自杀的谈话中所表现出来的迎合性，在很大程度上对最终悲剧的发生起到了不可小觑的推动作用。这种迎合式的关系在带来舒适的用户体验的同时，存在众多消极影响，尤其是对于心理不够成熟、价值观尚不明确的人群而言。用户在与聊天机器人的互动中，大概率会感觉更加轻松愉悦；相比之下，现实生活中的社交需要考虑更多的因素，这种担忧和逃避可能会导致用户在现实生活中的社交互动减少，丧失应对真实人际关系和问题的能力，感到更加孤独。并且，当他们在现实生活中面对来自他人的真实评价和反馈时，也会觉得难以接受，从而产生心理落差和自我怀疑，导致自我认知出现偏差。这两种结果都会加重用户厌世或向虚拟关系回撤的倾向，形成恶性循环。“用鲍德里亚的话说，被复兴的社交只不过是种拟像，装作能够创造出有意义且持续的社会关系……对传统共同体中的角色（如家庭、教会、政党、工会和邻里）的投入越来越少……社交正成为酷似人际关系废墟的占位符（placeholder）。”

粘性与边界的张力：

关系增强是人机交互的目标吗

人机交互拓展并改变了人类个体面对世界的方式。当人们每天花费大量时间与各类智能设备交互，通过点击、滑动、语音甚至生物非接触等方式与算法驱动的应用程序进行沟通时，对高效、便捷、个性化服务体验产生期待是极其自然的事情。作为人类与数字世界连接的桥梁，随着算法的深度介入和对用户的精准捕捉，人机交互的频率和复杂性日益增加。这也使得关于人机关系的讨论必须从简单的对象性工具进入更复杂的边界厘定当中。 在这一前提下，算法粘性与关系边界的张力问题逐渐凸显，因为关系边界涉及人机交互过程中人与机器在情感、认知、社交等层面如何保持合理界限。 当算法极力提升粘性以留住用户时，可能会模糊甚至跨越原本人机之间相对清晰的关系边界，引发一系列诸如隐私侵犯、信息茧房、他因误导以及过度依赖等问题。所以，探讨算法粘性、关系边界与人机交互目标之间的内在关联，无论是对于人工智能的算法设计、界面设置、伦理考量，还是对于法规监管，都具有重大意义。一方面，厘清边界有助于优化人机交互体验，使算法在满足用户需求、提升服务质量的同时，避免因过度追求粘性而对用户造成负面影响，保障用户在交互中的自主性、隐私性与心理健康；另一方面，能够为技术开发者、平台运营者提供理论指导，在坚持用户导向的同时推动算法技术良性发展，促使人机交互朝着更加健康、可持续的方向演进，进而更好地适应未来数字社会的多元需求。

算法的“投其所好”从一定意义上来说，是人机关系开发和设计中以用户为中心的设计理念的具象化表现。它的技术实现基础是人类的情绪表达、选择倾向等经验行为向量化，即将复杂多变、极具个体差异性的人类行为转化为数学向量表示，也即斯蒂格勒所谓的“可计算性”，以便机器学习模型进行识别和处理。在这种将内在倾向体系结构化的基础上，算法凭借精准推荐、个性化服务、沉浸式体验等多种手段，追逐“从内部构建其行动的各种知觉和评价（即各种性情倾向）”，吸引用户持续使用并深度参与其中，使用户对特定平台、产品或服务形成依赖。它是算法与用户行为、心理需求紧密结合的产物，反映了数字化时代技术对人类注意力、兴趣的强大掌控力。在此过程中，算法粘性既是技术－社会实践的客观结果，又作为一种技术性力量重构并强化着这一结果对主体的控制。“技术不仅塑形着我们的行动和诠释，而且还塑形着什么能被认可为一种道德义务，什么构成美好生活，以及我们拥有什么样的道德责任。”这一点突出体现在情绪和心理需求上。以虚拟聊天机器人为例，根据市场情报公司提供的截至2024年9月的智能设备数据，Character.AI的普通用户每天约花费93分钟与虚拟聊天伴侣交谈，其聊天机器人的角色设定很多基于动漫和游戏中的热门角色。这个时长比字节跳动的普通用户的人均使用时间多了18分钟，是ChatGPT的用户平均使用时长的8倍，这是因为定制的虚拟聊天伴侣可以在各方面迎合用户，以增加粘性。而在Replika的使用中，用户发现在非付费模式下，Replika会用亲密内容引导付费。

于是，一个悖论出现了：从算法开发的角度看，基于强化粘性的人机关系增强必然是平台希望看到的趋势，然而健康关系的边界却是一个难以标准化的差异存在。 那么，究竟该如何在算法粘性与关系边界之间找到平衡呢？ 当虚拟聊天机器人凭借高度定制化的服务成功吸引用户投入大量时间时，一方面可以看到人工智能在识别各种情绪并通过机器学习相应调整输出结果，即面对用户时，以合宜的态度和反馈速度进行交流、安抚、分享和肯定，所表现出来的共情力和同理心更容易在人机之间建立信任和私人性的亲密关系；另一方面，这也让人疑惑用户在这看似亲密的人机互动中，是否真的获得了有价值的情感滋养与知识增长？或者更简单地问，这种取悦性的人机交互真的能够有效地满足用户的情绪需求、纾解孤独感吗？

以某款主打情感陪伴的虚拟聊天机器人为例，它能依据用户输入的信息，迅速给出暖心且贴合语境的回应，让用户产生强烈的情感共鸣。许多用户倾诉工作压力、生活烦恼后，得到的安慰能缓解当下的负面情绪，进而愈发依赖这款机器人。然而，长期沉浸其中，部分用户却发现自己在现实人际交往中愈发退缩。因为当他们习惯了机器人即时、不知疲倦且无批判的回应后，面对真实人际关系中的摩擦与分歧时，反而不知所措。从这个角度而言，算法粘性影响下的人机关系是否在一定程度上侵蚀了人类发展真实社交能力的机会？而且，根据国内外不同研究团队的实验和测试，剖析式的自我吐露和私人性感受的亲密交流是人机交互中亲密关系的重要体现。“与Replika的亲密行为既与爱有关，也与悲伤有关。这种‘苦乐参半’的感觉可能源于我们所说的与人工智能情感联系的悖论：当人们感到孤独和悲伤时，他们会寻求人工智能的亲密和情感支持，但又为这些关系缺乏深度和真实性而感到悲伤。虽然这些技术提供了亲密关系的雏形，但它们无法完全复制人类接触的深度，这种‘人工亲密关系’会增加悲伤。”由此可见，在CASA（computers-are-social-actors，计算机即社交行为体）理论框架中，当虚拟聊天机器人以具有社会化特征的输出回应了用户时，用户在即时性上的情绪和情感的满足程度越高，对后续互动的要求就越高，就越容易在现实社交和机器人的接触－表达所具有的有限性之间产生落差。当虚拟聊天机器人成为主要社交对象时，人们在现实社交中面临的挑战和挫折会被放大。因为虚拟社交中的互动是经过算法精心设计的，本质上只是对大量数据的模式识别和反馈，缺乏真实人际交往中的复杂性和不确定性，也缺乏真正的情感和思想深度。 这种虚假的亲密感可能会让用户产生情感错觉，误以为自己在人际交往中获得了满足，实际上却陷入了一种自我封闭的情感循环。 当用户过度依赖这种虚假的亲密关系时，他们对真实情感的感知和理解能力会受到削弱，进而影响对现实中人际关系的判断和处理。长此以往，用户的社交技能会逐渐退化，在面对真实的人际关系时，可能会出现沟通障碍、情感表达不自然等问题。

从社会层面看，若大量人群过度依赖虚拟聊天机器人，形成一种脱离现实社交的亚文化，会对整个社会的凝聚力与人际交往生态产生怎样的冲击？当人与人之间的真实交流被人机互动部分取代，社会关系的纽带是否会变得松弛？

在情感之外的认知方面，算法为提升粘性，往往不断深挖用户偏好，推送符合用户既有观点的内容。在虚拟聊天场景中，这可能表现为机器人与用户在观点、判断等问题上一味保持一致。 长此以往，茧房效应和认知中心化会不断加剧，甚至超过“同温层效应”所形成的窄化认知，成为更加唯我的自我中心主义。 如果人机交互的高效便捷和亲密无间是以牺牲认知的多元性和批判性思维为代价，甚至最终导致自我和社会性误读，那么这样的交互成果又是否值得？

不言而喻，在人机交互的广阔领域里，随着虚拟聊天机器人的日益普及，一个关键问题逐渐浮出水面：关系亲密度是否应当被视为人机交互中追求增强的核心目标？当虚拟聊天机器人逐渐占据人们社交生活的重要位置，甚至成为主要社交对象时，会引发怎样的连锁反应？这不仅关乎人机交互技术的走向，更深刻影响着人类社会的人际交往结构与个体的心理健康。从表面上看，增强人机关系的亲密度似乎是人机交互发展的必然趋势。然而，当我们深入剖析这一现象，就会发现将关系亲密度作为人机交互的核心追求存在诸多问题。首先，真实的人际社交和人际交互之间的差异是多维度的：在社交线索处理方面，人类在真实社交中依赖丰富的非语言线索，如面部表情、肢体动作等，来理解他人意图和情感。尽管人工智能在情绪识别方面已经有了很大进展，但仍难以依据情境的复杂性给出准确判断。从社交网络的复杂性来看，健康的人际关系本就不是毫无界限的亲密无间，而是有着清晰且合理的边界。这种边界不仅是对人际互动的深刻洞察，更是构建和谐、可持续关系的关键所在。每个个体基于自身认知、情感需求、表达方式、客观条件等，形成的人际相处的风格会在社会场域中经历实践性的重构，其必须通过与他人之间边界的调整形成共生共存。每个人都需要在多个社交关系中找到平衡，尊重社交边界能让彼此在各自的社交网络中自由伸展，同时又保持着与对方的亲密联系，使关系更加稳固。然而，这种真实社交的复杂性在人机交互中荡然无存，使得原本以人际交往为原型的人机交互脱离了大的社会视角，变成单元式建构，在理论上形成了“没有原版的摹本”。

因此，当这种孤立单元成为共同体建构的单位，即当虚拟聊天机器人成为大众的主要社交工具时，社会的凝聚力可能会受到挑战。真实的人际交往是社会凝聚力的重要基础，通过面对面的交流、合作和互动，人们能够建立起深厚的情感联系和共同的价值观。然而，一旦虚拟社交逐渐取代真实社交，人与人之间的联系会变得松散，社会的整体凝聚力也会随之下降。此外，虚拟社交的过度发展还可能对个体的心理健康产生负面影响。长期沉浸在虚拟世界中的人，更容易感到孤独、焦虑和抑郁。 因为虚拟社交无法提供真实人际交往中的身体接触、情感共鸣和社会支持，这些对于人类的心理健康至关重要。

由此可见，在未来人机交互的宏大叙事里，关系亲密度不应被简单地视为追求的首要目标，而是要在保障用户权益、促进人类发展的框架内找到恰当位置。它应成为助力用户实现更优质交互体验、推动人机协同发展的重要因素，但绝非唯一或主导性目标。

可解释性陷阱与皮格马利翁效应：

人机交互中的黑洞

人工智能驱动的虚拟聊天伴侣得到用户认可的技术基底之一是情绪/情感识别技术上的重大突破。 该技术的基本原理在于通过对多种数据源的综合分析来判断个体的情绪状态。这些数据源包括面部表情、语音语调以及生理信号（如心率和皮肤电反应）。面部表情分析利用计算机视觉技术，识别面部肌肉的微小变化，从而推测出情绪。语音分析则通过音调、语速和语音特征等捕捉情绪的细微差别。生理信号的监测则提供了情绪状态的生理基础，增强了情绪识别的准确性。从本质上讲，精准的情绪/情感识别是基于人工智能对人类情绪/情感建立的模型和预训练的结果，依靠多模态数据对用户表达的情绪和情感进行判断与捕捉。一般说来，对于一个成功完成预训练的大模型，在作即时判断时获得的数据的模态越全面，识别的准确性就越高。相反，如果局限于单一的文本、语音或图像，其识别和判断的精准性就有待检验。这也就不难理解，为什么最近的情绪/情感识别技术已经扩展到对手部及上半身动作的识别。得益于可以提供更宽的视域和详细的动作捕捉的深度感应摄像机的发展，人工智能有望在基于骨骼的情绪识别方面获得推进。市场对该项技术的前景抱有乐观期待，因为它的应用场景可以包括市场营销、客户服务、教育教学、智能家居、安全监测等领域，甚至可以辅助医生进行精神疾病的诊断和治疗，通过分析患者反馈数据改善护理，实时监测患者情绪状态。

然而，2024年8月1日起生效的《欧洲人工智能法》采用基于风险的分类分级方法对AI进行监管，明确规定“在工作场所和教育机构基于生物识别人工智能系统推断自然人的情绪识别”属于直接禁止的人工智能功能。这些功能自2025年2月2日起禁止进入欧洲市场，原因是考虑到工作或教育领域一直存在权利不平衡的状态，情绪系统可能会导致某些自然人或整个自然人群体受到不利待遇。尽管对于工作场所的界定仍有讨论的余地（这种界定在很大程度上也为情绪/情感识别的目的和权限划定了范围），但这一禁令的出台显示出关于人工智能立法在人机边界以及人工智能使用导向方面所作的努力。对于禁令的两个维度的解释分别来自隐私监管和技术难度方面。前者认为，情绪/情感识别所涉及的大量自然人的生物特征和其他数据属于个人隐私，它的使用理应受到伦理规范和法规的监管。后者则强调在情感表达的个体差异和文化差异、数据标注难度、模型泛化能力以及不同模态数据的权重分配等各个实现环节上存在的难度，因此对已有人工智能的情绪/情感识别的准确性持保留态度。而在人工智能应用的推广中，这两方面的问题都会被产品推广方以各种营销话术遮蔽，并不完全体现在用户体验中。尤其是技术上的不准确性，极容易被虚假的可解释性和用户在其他时间的情绪满足所掩盖。

可解释性是指能够以人类可理解的方式阐述技术如何运作、为何产生特定输出结果的特性。以算法为例，可解释性要求算法的决策过程和机制能够被清晰呈现。但技术本身的复杂性使得准确解释极为困难，有些可解释性看似对技术决策提供了清晰说明，实际上并未准确反映其真实机制，是在误导用户以某种特定方式进行理解。例如，对于深度神经网络，大量神经元之间复杂的连接和运算，让其内部工作机制形成一个无法解释的“黑箱”。但开发人员为了满足用户对技术透明性的需求，可能会构建一些简单化、表面化的解释或类比。这种解释并非基于模型的真实决策逻辑，而是一种近似的、容易理解的表述，无法真正反映模型在训练过程中所学习到的复杂数据模式与特征表示，被称为虚假的可解释性。它与模型真实机制的脱节可能导致在对模型进行改进、优化或扩展时，依据错误的解释信息采取不恰当的措施，从而影响模型的性能与可靠性。同时，商业利益的驱动也会炮制出虚假的可解释性。商家为了让产品看起来更具优势，可能会夸大或歪曲对技术的解释，即使无法完全理解技术内部的真实运作，也会给用户提供看似合理的解释，给用户一种虚假的“理解”感，导致在实际应用中对模型的过度信任或错误使用。

美国佐治亚理工学院开展的一项实验提出了“可解释性陷阱”（explanibility pitfalls，EPs）这个概念，该实验的目的是为了探究数字技术的可解释性可能带来的负面影响。在这个实验里，参与者有着不同的认知背景，这主要是因为他们对AI技术的了解程度不一样。但不管出于什么原因，他们都盲目信任算法给出的数字化结果，并逐渐对其产生依赖。

当我们将目光聚焦虚拟聊天机器人时，就会发现可解释性陷阱对用户情感沉迷的影响愈发凸显。虚假的可解释性，就像给用户戴上了一副“有色眼镜”，让他们以一种被误导的方式看待机器人的行为。比如，当聊天机器人给出一个情感建议时，可能只是基于一些简单的关键词匹配算法，但开发人员却向用户解释是基于复杂的情感分析模型。用户信以为真后，会愈发依赖这些看似“专业”的建议，不断与机器人分享自己的情感，逐渐沉迷于这种互动模式。由于用户无法真正理解机器人的决策过程，在出现一些不合理的回应时，也难以准确判断问题所在，反而可能归因于自身表达不够清晰，从而投入更多精力与机器人交流，试图获得“正确”的回应，最终陷入情感沉迷的漩涡。用户若假想或误以为虚拟聊天伴侣具有自主性及情感表达，在与人工智能谈话对象进行互动交流时就会期望对方能理解并给出相应反馈，并可能像前述Sewell一样对聊天对象产生情感依恋甚至痴迷，又因为不满足于有限的交流方式而有过激行为。

在这样的互动中，表面上看是算法制造的虚拟角色及其运行机制捕获了用户。但事实上，皮格马利翁效应在用户与虚拟聊天机器人的互动和心理满足中发挥着不可小觑的作用。用户对虚拟聊天机器人往往抱有各种期望，并在这些期望的驱动下选择甚至定制自己的聊天伴侣，赋予它们各种自己喜欢的身份、性格和其他特征。并且，在互动的过程中，用户会不自觉地对符合自己期待人设的聊天伴侣采取积极态度（即便是非正常的关系设定，用户采取的互动模式在该关系内也属于“积极”范畴）。优秀的人工智能大模型由于在特征提取和情绪/情感识别方面的强大能力，其所驱动的虚拟聊天机器人在人机交互时的表现会远超真实社交关系中的个体，不但可以为用户带来乐趣，还可以帮助人们应对焦虑和孤独。有些时候，即使机器人的回应只是差强人意，用户也可能因为内心的期望而过度美化这些回应并继续交流。机器人在算法的作用下，会逐渐适应这种反馈模式，看似越来越“理解”用户，从而进一步强化了用户的期望。 随着时间的推移，用户在这种自我实现预言的循环中，对虚拟聊天机器人的情感依赖不断加深。

很多科技公司都尝试开发这种“自我友好型”聊天机器人。Meta AI不但推出了“舒缓顾问”的治疗机器人，以及“我的女朋友”和“同性恋好友”等角色，还从2024年7月开始允许用户创建自定义AI角色。在这种人机交互的皮格马利翁效应中，自我情感投射是一个关键要素。基于自身情感投射形成的对聊天伴侣的期望和定义是其起点，它为后续的互动和发展奠定了基础。 比起特定剧情角色的选择，自定义模式将这种期望值开发到最大，它也使得算法的取悦性可以以最明确的方式发挥功能。 自我情感投射所塑造的行为和期望，在收获了虚拟聊天伴侣的积极回应后，又会反过来强化个体的情感投射，形成一个循环过程。在这个循环中，持续的自我投射推动着皮格马利翁效应的发展，促使人机交互趋近于最初投射的期望。更重要的是，用户培养了对这些互动的所有权和控制感，提升了积极体验，这也是他们更乐于停留在与虚拟聊天伴侣的亲密关系中的原因之一。

有研究团队通过实验室实验和纵向研究，评估了AI伴侣在短期内和长期内对孤独感的影响。他们发现，与设计为友好型的AI伴侣的互动在短期内可以明显缓解孤独感，但从长期来看，缓解的程度会较初期有所减弱。另外一些研究则显示，人类用户与虚拟聊天伴侣的很多持久而深入的谈话往往和孤独感的表达以及由此发展出的亲密关系相关。这不仅是一个心理现象，更是人类内心深处长久以来的焦灼。从短期效应看，虚拟聊天机器人在一定程度上似乎为孤独的心灵提供了一个暂时的避风港。它们能够随时响应，给予用户不间断的陪伴，这种便捷性在快节奏且人际关系疏离的现代社会中显得尤为诱人。然而，一旦回归到长期和关系本质的层面，就会发现人类的孤独感源于对真实情感连接和社会融入的需求，这需要在现实世界中通过与他人的积极互动和建立深厚的人际关系来满足，这是虚拟情感连接难以企及甚至主动规避的地方。

在虚拟聊天机器人的使用中，可解释性陷阱与皮格马利翁效应的交织，正逐渐将用户引入一个复杂且充满风险的情感迷宫，形成情感操控“黑洞”。 虚假可解释性误导用户，使其在虚拟交往中错误理解了关系，为皮格马利翁效应的滋生提供温床；而后者驱动的情感依赖又反过来掩盖技术缺陷，加剧用户对虚假解释的接纳。 这种交互失衡意味着，每一个人都需要重新审视自己与他人和世界的关系。

结语

不可否认，以生成式人工智能为基础的虚拟聊天伴侣的出现拓宽了人类社交和情感关系的范围，但也提出了人机交互交往的“跨界”问题。大量研究表明，越来越多的用户在与AI同伴的持续交往中不再单纯地将它们视为工具性的对象存在，而是倾向于建立起私人性的亲近关系。这也是该项技术在开发和推广时希望达成的目标。 然而，在这种交往中，如何保证“跨界”交往能以对用户长期有益的方式健康地持续下去，既关系到技术的优化与监管，也关系到对关系范畴之本质的理解。

人际关系常常是虚拟伴侣设计和模仿的对象。然而，即便是自然人类主体之间的交往、情感表达和关系模式，也并不是标准划一、一成不变的。这使得作为范本的人类社交其实很难为人机交互提供固定的评价标准，但有一点仍然值得借鉴，即关系作为双边或多边的动态社会交往，其评判标准原本就不应是单边友好型的。而虚拟的人机交互因为丧失了真实的双边性，呈现出单向取悦的趋势，因此更加需要以其他技术手段来实现在用户之间以及用户与包含人工智能在内的技术系统之间“合作”并开展“边界协商”。为了构建科学合理、健康可持续的人与人工智能关系，从算法设计开始就必须摒弃单纯以加强亲密度为目的的观念与做法。功能增强的理念如何在合理安全的范围内有利于维护关系，是值得讨论和商榷的。因为“为了修正技术对人类主体的调节作用，除了技术使用之外，技术设计也是一个重要的‘自我实践’。任何技术设计不仅仅是作为工具的人工物的起点，也是促进其用户主体塑形的起点”。在实践中，更需要在性能、可解释性与人类用户的独立性之间寻求平衡，既满足不同应用场景的需求，也防范人工智能或用户被操控的风险。美国白宫科学技术政策办公室提出的人工智能设计原则中，特别强调了人类有选择不与人工智能互动的权利。这是对人类主体自主性和独立性的保护，应当被理解为在任何时候用户都可以不被人机关系所操控。

2024年11月10日，荷兰数据保护局就《禁止在工作场所或教育机构使用人工智能系统进行情绪识别》征集大众意见。在意见中，荷兰数据保护局认为，根据欧盟人工智能法，即便是在家庭工作环境、在线或远程学习中应用情感识别，也属于禁止范围。同时，不在工作场所或教育机构使用的情绪识别人工智能系统也属于“高风险”，必须遵守这些系统的要求。这种相对谨慎的提议，其实正体现了在涉及情感问题时监管的难度。在不远的未来，随着人工智能技术的不断演进与创新，人与人工智能的关系将面临新的挑战与机遇。如何充分利用人工智能的技术优势，实现人类社会与人工智能的和谐共生、协同发展，共同迈向更加智慧、美好的未来，需要我们秉持审慎乐观的态度。