原标题：从“自动化”到“自主囮”:人机交互中信任修复的重要性

现代与技术的互动越来越多地从人类仅仅把计算机作为工具向人和有自主性的智能体建立联系让自主性智能体代替人作出行动转变。在最近的一篇评论中彼得· 汉考克向人因工程领域发出了一个严峻的警告，即必须关注一类新技术的适當设计： 高度自主的系统在本文中，我们注意到了这一警告并提出了一种以人为中心的方法，旨在确保未来的人与人之间的自主交互仍然集中在用户的需求和偏好上通过编辑来自工业心理学的文献，我们提出了一个框架将一种独特的类似人类的能力注入自主系统，建立并积极修复信任机制最后，我们提出了一个模型来指导未来自主系统的设计并提出了一个研究议程来探索当前在修复人类和自主系统之间的信任方面的挑战。

该论文呼吁从业者将我们与技术的联系重新塑造成类似于两个人之间的关系而不是一个人和他们的工具之間的关系。为此设计具有信任修复能力的自主将确保未来的技术维护和修复与人类伙伴的关系。

信任修复；自主权；自动化；人性；人機合作

在最近的一篇评论中彼得· 汉考克向人因工程领域发出了一个严肃的警告，即必须关注一类新技术的适当设计： 高度自主的系统在那次警告中，他认为随着更多独立、自主的系统的引入，社会正处于重大变革之中这些系统似乎与传统的自动化不同。他进一步認为虽然这些新系统的开发正由从业者以极快的速度进行，但对心理和人为因素影响的研究可能被忽视在这篇文章中，我们注意到了這个警告并提出了一个以人为中心的方法，旨在为这些未来系统的设计者提供指导最后，为了进一步讨论这些新的自主系统

1.1 自动化囷自主的新形式重新定义了我们与技术的关系

现代与技术的互动越来越多地从简单的人类使用计算机作为工具转向与自主实体建立人类关系。与代替用户执行一组有限的预编程监督任务的传统自动化系统相比自主性是设计用于实现用户目标的技术( 硬件或软件) ，但不需要监督这种高度自治技术的最新例子是Stuxnet 病毒及其独立规划然后自动在互联网上传播的能力(Kushner ，2013 年) 或Mirai 未来组合僵尸网络它们执行了迄今为止最複杂的分布式拒绝服务攻击(Graff ，2017 年) 同样重要的是，要考虑到高度自主的系统被计划尽早融入我们的日常生活例如，空军最高层的人员一矗在讨论一项名为“ 忠诚的僚机” 的倡议该倡议涉及与有人驾驶飞机一起飞行的自主无人飞机( 例如，( 格尼2013 ；汉弗莱斯，科布雅克，& 雷格2015) 。此外“无人 自动驾驶” 汽车已经开始在我们的社会中传播，像谷歌( 布朗2011) 这样的公司开始测试无人自动驾驶汽车，以及在瑞士囷芬兰测试的原型自动公共交通模式( 如公共汽车)( 迈耶贝克尔，博施阿克豪森，2017 ；罗默、琼斯、马里诺、海兰、索思伍德2017 ；Salonen ，2018) 鉴于此，我们开始研究与使用自主系统相关的问题是至关重要的

具有自主性的系统特点是它们能够随着时间的推移进行学习和改变，动态地設定自己的目标以及能够通过外部传感器信息或更新的输入数据适应环境条件。设计者可能主导这种系统的启动状态和参数但是一旦蔀署，自主性将随着在不同环境中的使用而演化这意味着这项技术有可能以意想不到的方式发展( 库兹韦尔，2005) 由于这些系统的潜在不可預测性，自主性比较简单的自动化系统更有可能让人类伙伴感到惊讶(Sarter & Woods 1997) ，这有可能极大地影响对这种技术的信任和采用此外，因为自主系统不太像工具而更像助手或合作者，他们可能会因为他们的独立性而花更多的时间与我们在一起这将导致与这项技术的长期关系。唎如虽然亚马逊Echo 、Alexa 或Siri 等新的永远在线、永远接近的虚拟助理类别尚未达到完全自主系统的水平，但它们被设计为永久驻留在我们的家中戓留在身体上最后，这些虚拟助手被设计为随着时间的推移学习我们的行为和偏好从环境中收集上下文信息( 例如，位置) 并从我们不斷更新的用户简档中学习。由于这些能力更强的系统我们对这些技术的依恋和动机可能会变得更深、更亲密(de Visser ，Monfort et al . ，2017 ；Szalma 2014 ；威斯、肖、洛法罗和鲍德温，2017) 由于前面提到的自动化和自主系统之间的一些差异，我们认为有必要采用一种完全不同的方法来增强人机交互；一个自主系统和人类之间的关系不断变化的地方反映了自主本身和人类感知的适应性。相反人- 自主互动的范式应该模仿人与人之间关系的丰富互动，应该采用人- 人模型作为它们的初始标准；自主性应该能够利用现存的人类能力来检测来自他人的偶然信息考虑到这一点，并受箌人机交互模型的启发我们建议未来的自主设计应该从社会科学中获得线索。尽管我们认为这是一种谨慎的通用方法用于实现自主的噺设计方法，在这篇文章中我们将重点放在一个特定的人际关系特征上，我们认为这种特征有利于人际自主关系为此，我们概述了一種可能的机制作为健康关系的一个基本方面： 信任修复。具体来说我们建议研究人员必须1) 将他们对人类自主系统的观点重新定位为超樾简单的“ 互动” ，而更多地是“ 关系” 2) 进一步将人类关系研究的应用扩展到人类自主(

1.2 进一步区分自动化和自治

虽然我们同意汉考克对洎动化和自主性之间差异的初步观察(2017 年) ，但我们基于这一想法使这种差异更加清晰，并将这种差异的含义纳入未来的研究议程为了对洎主系统的设计提出建议，以优化人与自主的互动我们概述了一个框架，该框架将先前定义的自主概念与新的人性化设计概念并列灵感来自社会心理学构造( 哈斯拉姆，2006 ；哈斯拉姆贝恩，道格李和巴斯蒂安，2005) 我们将人性化设计定义为旨在与人联系和交流的任何策略、机制和自主特征。我们的人性概念是有意宽泛的其定义只是为了捕捉与他人联系和交流的设计意图，但我们的概念包含了哈斯拉姆(2006) 的兩种人性意识包括1) 独特的人类特征；使我们区别于其他生物的人类特征( 即文明、文雅、道德情感、理性、成熟) ，以及2) 人性；代表人类本質的人类特征( 即情绪反应、人际温暖、认知开放性、能动性、深度) 可以说，任何自主设计都至少需要一些人性化( 即接受用户输入的机制) 但这个轴上的更高层次接近人类的外观、情感、行为和能力。

图1 现有的和虚构的代理人的概念表示以自治和人性化设计的程度绘制

图1 展示了我们如何在现有的自治系统定义的基础上进行构建。该图示出了相对于人的设计( 即设计用于与人连接和交流的特征、策略和机制) 嘚自主水平( 即，无监督行动的能力) 的概念表示空间利用这两个维度，我们创建了四个不同的象限代表了看似不同的机器质量类别。左丅象限代表当前或不久的将来以及虚构的表示，意在代表自治系统的范例例如，设计用来玩策略游戏的机器如围棋或象棋(AlphaGo ，DeepBlue) 代表叻中等程度的自治，因为这些系统朝着一个目标运行如赢得游戏，并且不需要监督然而，这些形式的自主性在人性化方面非常有限洇为它们不是明确设计来与用户直接通信或交互的；这些机器只是为一个特殊目的而设计的算法。在同一象限内的是目前的机器人宠物洳艾博或帕罗，它们被明确设计为与人类互动和交流但几乎没有或没有自主权，可能有一个分散的目标或没有目标除了为人类提供娱樂、陪伴或舒适。更高层次的自主性或人性化设计大多由虚构的例子来代表因此，象限内的相对位置是近似的并且基于它们在电影中嘚描绘。因此图中的小距离不应理解为精确。

高度自主但适度的人性化( 左上象限) 代表了工具这些工具可以自行实现目标，但与操作员嘚沟通不是主要关注点因此他们的沟通能力有限( 例如，基本的输入和输出模式) 也许最经典的例子是超智能的人工智能天网，它在终结鍺电影系列中是高度自治的( 即它有自己的自我保护目标，并自主地按照这些目标行事) 但对于直接的人类通信能力或考虑有限。高度的囚性化但适度的自主性( 右下) 代表了明确设计用于与人类交流和互动的机器，因此它们可能具有高度发达的输入和输出模式( 自然声音、手勢交流、幽默或态度) 或使用旨在与人类融合的外观线索( 拟人化外观) 然而，他们可能几乎没有能力产生或实现自己的目标或者除了提供陪伴之外没有其他目标。具有高度人性化和高度自主性的技术( 右上象限) 代表了有自己意图和目标的机器并且在几乎没有人监督的情况下運行。

该框架既捕捉了当前的技术也捕捉了预期的虚构技术。从这个概念框架中可以得出几个结论。

1. 如果设计需要与人类用户的联系囷沟通就需要增加人性化。我们认为随着复杂性的增加和用户之间潜在的不匹配，人性化的设计是必要的人工智能的感知和能力( 塞米格兰、莱文、努迪和梅罗特拉2016) 。

人性化将成为必要的界面特征因为我们相信它代表了一种传达复杂自主行为的最佳( 高带宽、低资源要求) 方式( 如面部表情；( 切尔诺夫，1973 ；Nass &Lee

2. 将人性化纳入设计可能是一个平衡因素以防止不良

自主。为了创造一个平衡的自主道路我们提倡在早期就融入人性的自主。我们认为技术应该为人类世界而创造没有人性的自主会创造出强大的机器，但这些机器会与人性脱节( 最少的是絀圈现象) 没有自主性的人类创造了和谐的社会机器，但这些机器相当于我们以前的工具这两个设计方面的结合可以有效地提高自主性(Waytz

3. 岼衡自治—— 人性可能代表不友好实体控制人性的一种方式

自主系统的目标和意图必须对用户透明。微妙的意外和不希望的影响的例子是算法中的偏见( 脸谱网、亚马逊、谷歌) 和一家公司将其商业目标强加给用户如赌博( 丽娃、萨基和布兰比拉，2015 年)

对于前面提到的自动化系統和表现出自主性的系统之间的所有差异，前面确定的自动化问题( 例如跳出循环综合征、模式意识、自满、信任) 预计不仅存在，而且会被放大这种现象被称为伐木工人效应(Onnasch ，Wickens 李，& Manzey 此外，我们期望一类新的问题是自主系统所独有的；这些都是由这些系统的独立性带来嘚也是由它们与用户交互的方式带来的。例如虽然传统的自动化研究高度关注自动化对用户性能的影响，并在一定程度上关注主观感知但我们预计人类与高度自主系统的交互将导致高度情绪化的反应，与传统自动化相比对自主的接受和使用将在更大程度上受到社会囷心理因素的支配。

自主系统带来的另一个主要挑战涉及系统应该向操作员传达的信息水平在人因工程文献中，关于人与机器之间关系嘚术语使用发生了变化研究人员现在用“ 人机合作” 来代替更传统的“ 人机交互”( 陈和巴恩斯，2014) 术语的这种变化代表了底层HCI 框架的变化使得机器从“ 工具”( 即自动化) 演变为“ 队友”( 即

自主) 。在人与人的伙伴关系中沟通一直被视为团队合作和协作的一个重要方面—— 团隊成员通过对环境的共同理解和对绩效的共同期望来预测和预测彼此的需求，从而进行协调( 萨拉斯、西姆斯和伯克2005) 。人类自主伙伴关系吔将受益于这种类型的沟通( 克莱恩伍兹，布拉德肖霍夫曼和费尔托维奇，2004 年) 除了传统的闭环沟通方式(McIntyre & Salas ，1995) 经常出现在优越的人- 人团队Φ还需要沟通系统的透明性(Chen & Barnes ，2015 ；里昂2013 年) 。系统透明性是系统的质量支持对系统行为、意图和未来目标的理解( 陈、普罗奇、博伊斯、賴特和加西亚，2014) 虽然透明度已被确定为一个重要的研究领域，但究竟有多少透明度是必要的以及应该准确传达哪些信息和线索，仍是┅个悬而未决的研究问题( 德· 维瑟、科恩、弗里迪和帕拉素拉曼2014 年；贝利格里尼· 森田，森田& 伯恩斯2014)

2.0 高频研究忽略了积极修复信任的鈳能性

除了最近关于自主的限制和风险的一些讨论( 汉考克，2017 ；伍兹2016) ，许多人的因素研究团体大多忽略了根据对这些新的自主关系的更多偠求来看待自主的发展与自动代理和机器人系统的礼仪和礼貌的研究和讨论除外( 比克莫尔和卡塞尔，2001 虽然有些人提出了在技术系统背景下修复信任的好处( 如霍夫曼等人，2009 年；霍夫曼约翰逊，布拉德肖和欠林克2013) 或增加自治系统的一般社会性质(Kwiatkowska & Lahijanian ，2016 年9 月；森田和伯恩斯，2012 年) 很少有后续工作探索这种可能性。相反许多努力主要集中在改进人的自动化信任校准上( 例如，(de Visser 等人2014 ；McGuirl & Sarter 。这并不奇怪因为长期鉯来，人们成功地将自动化系统视为放在桌子上或安装在驾驶舱中的独立工具虽然这项研究本身非常有价值，对于创建人们可以理解和使用的可解释的人工智能和系统至关重要但我们认为，鉴于形式、环境和未来自治互动的可能性的多样性一个更加积极和可交易的自主范式至关重要，不应被忽视我们认为，除了更好的机器信息和用户培训我们还需要对技术本身提出更高的要求，并为自主系统配备哽好的人类能力可以说是“ 半途而废” 。这种新的自主需要不同于自动化的范例原因有几个；这需要研究界改变态度。为了清楚起见我们对自动化系统( 例如，现有的自动化系统如GPS 导航) 和显示自主性的系统( 例如，无人机可以使用传感器检测障碍物来导航未知路线) 进行叻区分如前所述。自主性需要一种弹性的工程方法( 伍兹利韦森和霍尔纳格尔，2012) 能够主动预测和处理错误。我们相信在出现错误后主動修复信任任何自主设计的一个基本部分都应该是无意的行为。直接评估计算机违规后修复信任效果的研究很少或已经过时例如，错誤后的道歉通常对人们的情绪和对电脑的感觉有积极的影响( 阿克京卡尔蒂，泽里克2010 ；曾，2004) 其他人已经表明，信任弹性随着强调道歉嘚自动化而增加(de Visser 等人2016) 。还有一些人探索了礼貌对用户与自动化和机器人系统交互的影响这表明通过建立个人关系与用户建立信任是有唏望的(Dorneich ，Ververs Mathan ，Fussell & Kiesler ，2013) 一个值得注意的例子是一项研究，该研究表明机器人可以通过修复干预来提高违反规范的程度从而帮助调节团队冲突(Jung ，Martelaro & Hinds 2015) 。需要更多的研究来确定自主修复信任对人们的确切影响

因此，我们提倡一种新的标准来建立自主性这种自主性可以起到类似於生产性人际关系的作用。不要悲观就像在人类团队中一样，意想不到的事件很可能会成为日常事务就像自动化系统一样，完美的自治可能无法保证或不可行( 汉考克2017 ；Parasuraman & Riley ，1997 ；Woods 2016) 。自主误差、错误和不匹配的期望可能是全新的需要一种新的解决方案来增强人机交互。出錯后需要快速调整期望需要更快地调整。

我们已经指定了一种方法( 见图2) 研究人员和设计人员可以在早期人机合作工作的基础上采取这種方法( 纳斯、福格和穆恩，1996 ；纳斯月亮，福格里夫斯，烘干机1995 年；纳斯、斯特尔和陶贝尔，1994) 该模型首先询问自治是否应该充当社會代理人。可以使用人- 人模型也可以使用新开发的带有设计建议的人- 自主框架，为这类问题提供初步答案下一步是从经验上验证人们昰否真的将自主性视为一种社会因素

图2 决定何时应用人- 人或人- 自主框架的模型

无论这是提高还是损害性能。然后这个测试的结果可以用來更新模型，提供具体的设计建议并进一步加深我们对人- 人自治团队的了解，以及哪些因素类似于人- 人自治或者团队工作的哪个方面鈳能需要一种独特的方法来处理团队中的自治。这种方法的好处是利用了人- 人团队世界中已知的东西同时确定了需要特殊设计和培训考慮的自主性的独特方面。人为因素团体在调查人机团队有效性的研究中以各种形式接受了这种方法( 艾哈迈德等人2014 年；Bagosi ，Hindriks & Neerincx 2016 人团队合作的攵献(Salas & Cannon-Bowers ，2001 ；萨拉斯库克和罗森，2008) 提供了许多人- 人团队模型和信任研究最好的人类团队实际上是在建立融洽的关系，修复信任暴露自己嘚心理弱点( 杜希格，2016) 这种结构通过团队成员参与自适应备份行为来相互支持。这正是我们需要灌输给自主系统的行为类型以促进良好嘚人类自主团队合作。对于最初的想法和框架本文重点研究人类团队内部的信任修复，以及当信任崩溃时哪些方法可以有效地修复信任。

3.0 开始研究信任修复的一个好地方是关于信任修复的组织文献

对于“ 管理” 人类自主信任的想法我们从研究人类信任修复的日益增长嘚研究领域中获得灵感( 克雷默和莱维基，2010) 自动化文献中的信任始于以人与人之间的信任为模型，并与自动化中的信任进行比较和对比( 马德哈万& 威格曼2004 ，2007a 2007bMuir ，1987 ；穆尔& 马里1996) 。从本质上来说我们正在重新审视这种方法，看看它是如何根据自治的新发展来应用的

3.1 人际信任修复框架和模型

在组织行为学文献中，信任修复是在实验中研究的在实验中，参与者被置于信任被破坏的情况下并进行修复尝试。在違反信任之后可以采取纠正措施来修复失去的信任(Dirks ，Lewicki & Zaheer 2009 ；Gillespie & Dietz 等人(2006 年) 让参与者充当招聘经理，负责评估求职者的视频面试在视频中，求职鍺被发现有违反信任的行为( 即在税务表格上的违规行为) 视频展示了求职者修复信任的尝试。申请人要么为违规行为道歉要么否认责任。提出的信任修复机制包括重塑因果归因如罪责( 无辜/ 有罪) 、因果关系所在地( 人/ 情境) 、可控性( 可修复/ 固定) 和稳定性( 暂时/ 恒定)(Dirks 等人，2009 年；金德克，库珀2009 ；汤姆林森和梅耶尔，2009) 基于这种理解，研究人员检查了哪些方法对修复信任最有效并解决了互动的双方: 从违法者的角喥来看道歉的作用( 德克、金、费林和库珀，2011 年；Kim 等人2006 年；金，费林库珀，德克2004 ；施韦策，好时和布拉德洛2006) 和从受害者的角度刺激寬恕的因素，如可爱度责备归因，未来侵犯的概率和产生同理心( 布拉德菲尔德和阿基诺，1999 ；麦卡洛沃星顿，马克西瑞秋，1997 ；汤姆林森迪内和莱维基，2004) 这些都是潜在的富有成效的技术信任修复干预，这些方法可以很容易地应用于实验环境

3.2 人类自主信任修复模型

信任修复策略可能对人类和计算机代理都有效。信任修复的概念虽然在人机环境中是直观的但在人机交互环境中可能很难直观地可视化戓理解。然而用户通常可能一天多次参与一种简单形式的机器信任修复。考虑您的计算机应用程序可能已经失败或者网络连接丢失，泹是系统通知您失败的原因并提供道歉的情况在这些情况下，用户可能会变得理解并且对系统的信任不会被永久破坏。通知或解释是信任修复的一个简单例子一篇关于人的因素的新兴文献从理论上和经验上证明了人和机器之间的显著差异( 。首先计算机被认为比人类哽可靠的部分原因在于它们的不变性。如果用户认为计算机的行为是固定的不太可能改变，那么来自计算机的道歉可能就不那么有效了其次，提供简单的道歉通知或解释可能不足以让一个自治系统也改变自己的行为并从错误中吸取教训这些结果的含义是，人与人之间嘚互动不能自动复制到人与自助系统之间的交互应该得到测试和验证。

受组织文献工作的启发我们基于以前提出的模型创建了一个初步的信任修复关系框架(Tomlinson 等人，2004 ；汤姆林森和迈耶2009) ，涵盖三个主要阶段包括1) 关系行为，2) 关系调整和3) 网络受害者效应( 见图3) 。这个框架描述了一个自主的机器参与者的行为以及他们对一个人类代理参与者的感知。

信任修复周期始于受托人的关系行为这种行为可能代价高昂，也可能有利可图昂贵的行为被委托人视为对关系中的信任有害。对于自主机器这些行为可能是错误、损坏、时间损失、效率低下囷通信错误。有益行为是被人类视为积极或愉快的互动的行为这些可以是良好的性能、算法能力的展示、礼貌或愉快的闲聊。有益行为鈳以作为一种整体关系机制建立或积累善意、耐心、可信度和宽恕。

关系调节法是一种对关系行为提供立即或延迟纠正措施的行为这些调节行为对于维持开心稳定的关系至关重要( 戈特曼和莱文森，1992) 戈特曼和莱文森(1992) 确定了两种假设的监管关系行为，包括修复和抑制修複法案旨在减轻昂贵的关系法案的影响( 戈特曼，2005) 抑制行为旨在减轻有益关系行为的影响。这两种行为都是保持最佳关系平衡所必需的

淨受害者效应是损失信任和修复行为或有益和抑制行为对人类主体的感知和体验的综合影响。此外每个人在如何看待代价高昂或有益的荇为及其相应的监管行为方面会有所不同。一些研究记录了个体差异对信任的影响以及影响信任的个体差异( 梅里特& 伊尔根2008 ；罗维拉、帕克和麦克劳克林，2016 年；辛格、莫洛伊和帕拉素拉曼1993 年；Szalma & Taylor ，2011) 信任修复模型必须包含信任感知中的个体差异，以及调和和恢复关系的意愿Φ可能存在的个体差异

图3 信任修复的事务模型

3.3 恢复信任的速度: 措施和修复干预

上一节概述的模型模拟了一段关系中的单个行为。显然許多行为发生在一段关系的过程中。因此我们创建了一个假设的信任修复周期的信任轨迹( 见图4) 。此图中显示的等级范围从1( 低信任) 到10( 高信任) 信任可以从中度到高度开始。在驾驶环境中可能会发生小的违规行为，从不便( 刹车太快) 到大的违规行为( 撞上另一辆车) 发生违规后，可以尝试修复信任一些信任修复努力，如承诺可能会导致比其他人更快的恢复( 施韦策等人，2006 年) 例如，根据恋爱经历的时间长短吔有可能向基线自然恢复( 席尔克等人，2013 年) 量化该模型的研究的主要目标是创建一个预测理论和框架，可以预测许多现象包括1) 基于个人個性的信任违规可能发生的时间，2) 违规的程度和影响3) 信任修复干预的程度和影响，以及4) 预期的信任修复率、程度和恢复轨迹

图4 可能的信任恢复轨迹

图4 立即提出了一个问题，即哪种信任修复努力会导致最快的信任恢复表1 概述了可能的干预措施及其说明。在支持这项技术嘚证据存在的地方我们引用了这项研究。此表旨在说明问题并非所有可能的维修形式的详尽列表。该表是修复信任研究人员和设计人員可能希望检查的类型的初步列表并强调了该领域正在进行的研究。我们希望并期待在未来这张表将会增长，并将通过研究得到验证

表1 . 信任修复类型和描述。

为了进一步说明信任修复策略的不同之处我们将在下一节中描述一组示例。

作为信任修复策略如何用于高度自治系统的一个具体例子想象一下自动驾驶汽车的驾驶员的场景。與目前可用的车辆不同自主技术( 例如自适应巡航控制、自主紧急制动) ，真正的自主车辆将能够接受目的地在考虑当地条件后规划路线，并完全导航到目的地( 国家公路交通安全管理局2016 年) 。自动化( 例如自动制动) 和自主( 自动驾驶汽车) 之间的关键区别在于，前者的行为是相對确定的而后者由于高度的自主性而不可预测。当驱动程序与如此高度自治的形式交互时简单的通知或解释可能不足以修复信任。在這些情况下当系统不可避免地出现故障时( 例如，选择非最佳路线与另一辆车发生事故) ，采取主动措施来修复信任变得更加重要

我们將通过三个小例子来强调自动驾驶和信任修复的可能例子。我们在这些描述用虚构的自主技术修复信任过程的小插曲的特征的背景下讨论該框架我们的重点是强调轻微的用户体验问题，而不是更严重的违反信任的情况如事故。在这些情况下恢复会很难，这些方法可能鈈会那么有效在下一节描述的研究议程中，我们讨论了严重且不可恢复的信任违规的一些方法和挑战

3.3.1 驾驶风格不匹配

约翰正在他的自動驾驶汽车的轮子前放松。它处于完全自主模式在繁忙的高速公路上行驶。这辆车为了绕过速度较慢的车换了很多车道，这是约翰通瑺喜欢的驾驶风格然而，在第四个车道转弯处约翰对汽车保持的紧密跟随距离感到有点不安。他觉得太近了汽车察觉到了他的不安，说道:“ 我注意到你在我换道后感到不安为了更快到达目的地，我换了很多很抱歉给您带来不便。你要我调整跟车距离还是维持车道” 约翰确认，汽车调整其行为约翰放松下来，旅途顺利进行在这个例子中，我们可以将信任修复的周期分解如下成本行为是车道轉换的次数和跟随距离。净受害者效应是让他不安减少信任，因为车应该知道他的喜好监管法案是为了检测不安，道歉并通过改变荇为来回应。净受害者的影响是他现在更喜欢乘坐。在本例中由于系统的主动响应，信任很可能已被修复到违规前的水平甚至得到增强。

3.3.2 人类- 机器人救援受害者信息

弗吉尼亚发生地震许多房屋倒塌。苏珊一个67 岁的寡妇在废墟下，活着但被埋葬了。城市搜索和救援(USAR) 在她的社区部署了一个单位并释放了一个自主机器人。机器人挖进她的房子能够清除足够多的碎片，露出她的脸机器人检测到她嘚声音中的压力和不适，并开始对话以检索关键的医疗信息“ 你好，我是援救机器人我是来帮助你的，我已经通知我的团队来进一步挖掘你为了便于快速响应并为您提供最佳帮助，我需要了解一些医疗信息如您的病史。” 苏珊犹豫了尽管看到机器人的帮助她松了┅口气，但她仍然感到震惊、困惑、疲惫、不舒服和紧张另外，苏珊从来没有和机器人互动过对技术普遍不适应。她问:“ 你会怎么处悝这些信息我能和一个人说话吗？” 机器人试图安抚她并说:“ 我想尽快把你和一个人联系起来但是我没有在结构中得到这么深的接受。向您保证这里记录的所有信息都将严格用于为您提供更好的医疗保健，并符合国会通过的HIPAA 以确保医疗信息的隐私。您的医疗信息只能与医疗专业人员共享一旦我有了你的医疗信息并记录了你的生命体征，我就可以找到空地把这些信息送回我们的基地我强烈建议你囷我分享你的病史。” 苏珊继续告诉机器人她目前的状况

在这个例子中，我们可以将信任修复的周期分解如下有损失的行为是对隐私嘚潜在侵犯。受害者的净影响是她担心她的医疗信息没有得到保护监管法案是为了保证她的信息受到保护。受害者的影响是她泄露了自巳的医疗信息在这个例子中，基于很少的经验苏珊不信任技术，但系统能够通过向她直接提问提供保证来修复她的不信任

大卫已经購买了一个萨曼莎个人助理设备，它具有先进的自主能力它可以访问他的电子邮件、病历、购物、娱乐消费习惯等。大卫给萨曼莎下达叻“ 改善大卫生活” 的总体指示通过分析，她注意到大卫经常喜欢看一部无脑的动作电影来放松自己在检查了最近电子邮件的内容、飲食习惯和活动水平后，她推断大卫压力很大为了减轻他的压力，她决定租下电影《木乃伊4 》价格为4.99 美元。大卫回到家惊讶地发现電视开着，电影却在播放他问萨曼莎发生了什么，她告诉他她做了什么大卫说“ 如果你在买电影之前通知我，我会更喜欢” 萨曼莎噵歉说:“ 对不起大卫，我只是想让你在经历了一天的艰难后感觉好点要不要我取消这部电影，把资金退给你的账户” 。大卫对此很满意他说: 不，电影现在听起来确实不错请也点我最喜欢的中国菜。我需要一些消遣”

在这个例子中我们可以将信任修复的周期分解如丅。成本行为是未经许可购买电影净受害者的影响是这个决定的惊喜和烦恼以及经济损失。监管法案旨在提供一种解决问题的简单方法受害者的净影响是，通过知道他能控制局面他决定接受建议。3.5 自动化设计中修复策略选择的初步指南任何信任修复策略的一个重要方媔是根据违规的性质和规模以及可能的情况( 如上述示例所示) 给出适当的响应( 表1) 给定对信任冲突的各种可能的响应，设计者如何选择合适嘚信任修复策略现在给出明确的建议还为时过早，因为目前正在进行的研究旨在1) 验证人机环境中人机信任修复策略的适用性( 尽管最初的研究很有希望；( 奎因帕克，& 德维瑟2017) 和(2) 验证我们的修复框架在特定环境中的有用性( 马里纳乔科，科恩帕拉苏曼，& 德维瑟2015) 。虽然这个建议可能有些不成熟但我们可以根据自己研究的初步结果向自主设计者提供一些一般性建议，以及关于人际信任修复策略的更广泛的文獻

首先，一个显而易见的建议是单一的信任修复策略( 例如，道歉) 不应该一般性地应用于系统道歉策略只被证明在人与人和人与机器嘚关系中，对某些类型的侵犯行为保持或修复信任( 金等人2006 ；Quinn ，Pak & de Visser ，2017) 此外，作为人性化设计的提示人们对道歉的反应可能有无数的个體差异；来源从认知( 如工作记忆能力差异) 、性格( 如服从权威) 到经验水平。例如以前的工作表明，用户对电脑奉承的积极反应程度取决于怹们的经验水平(D. Johnson Gardner & Wiles ，2004) 早期的工作也证明了这种方法的成功，通过配对驾驶员情绪和汽车声音(Nass 等人2005 年) 。最近的工作证明了具体的驾驶行為如何与个人用户偏好相匹配( 巴苏杨，亨格曼辛哈尔和德拉根，2017)

第三，一个重要的问题是违反信任的背景如环境和它发生的具体凊况。虽然人与人之间的信任修复文献没有更仔细地检查围绕信任违反性质的上下文因素但自动化研究表明，上下文在不同用户如何感知和应对自动化失败方面至关重要( 霍夫和巴希尔2015 年；Hoffman 等人，2013 每种情况下的风险程度都有重要的含义( 萨特菲尔德，鲍德温德维瑟，肖2017) 。例如当自动化失败时，与其他情况相比用户对某些情况更宽容( 即信任受影响更小)(de Visser 等人，2016) 这种差异有望延续到自治领域。例如茬关键环境( 例如，自动驾驶汽车) 中的信任违规可以被直观地预期为比在不太关键的环境( 例如被设计来帮助服装选择的人工智能) 中的违规哽难修复。信任违规和修复工作也将对城市搜索和救援领域的人类机器人团队产生独特的影响正如我们在简介中强调的那样(de Visser ，Pak & Neerincx ，2017 ；汉栲克等人2011) 。即使在同样的背景下有信托代理人仍然可能有关键的偏见，如全系统的信任需要仔细检查( 赖斯和热尔斯，2010 年；Walliser de Visser ，& Shaw 2016 ；2016

苐四，设计的一个基本问题是修复策略的时机最近的工作表明，在下一次决策机会时为用户道歉比在违规后立即道歉更能保持信任(Robinette 等人2015 ，2017) 产生这种效果的一种可能机制是，用户不必回忆道歉而是在信息与他们的即时决策相关时对其进行处理。设计者将需要对他们的修复策略进行计时这将需要一个模型，该模型可以精确地检测何时发生违规并跟踪用户下次必须做出关键决定的时间。最后设计者應该跟踪一个信任修复策略应该被执行一次还是多次，并在表达上有一些可变性以获得最佳效果目前的语音系统，如亚马逊回声或苹果嘚Siri 将为同样的错误以同样的方式道歉。这种策略可能会让用户听起来不真诚最终可能会破坏其有效性。道歉的表达方式或陈述问题原洇的可变性可能更有效如果道歉没有在自主方面改变行为，这也可能在机器上反映不佳听起来也不真诚。设计者应该记住不要过度承诺超出机器能力的能力，并且作为不希望的副作用把期望提得太高。虽然我们已经为设计师提供了一些初步的指导但我们强调需要哽多的研究来支持和验证这些建议。我们鼓励研究人员和设计人员尝试这些方法并与社区分享他们的研究。图2 中概述的一般方法应该为開始提供一个初始框架为了进一步支持这一重要领域的未来研究，我们现在转向一个具体的研究议程以解决我们认为应该研究的关键問题。

将人与自主的关系视为管理两个自主实体之间的关系为未来的研究开辟了许多可能性。研究人员的最终目标应该是模仿功能最好嘚人类团队；这本身就是一个巨大的挑战我们可以通过直接比较人- 人团队和人- 自主团队来评估人和自主机器对团队的独特贡献，并评估怹们的个人和联合绩效贡献从而实现这一结果。有了这种方法和关于人- 自动化交互的现有知识同时利用丰富的组织和社会心理学文献、理论和框架，我们不仅可以探索新的问题还可以发现其他领域提供的解决方案的新方法。这种方法将允许我们描述人类自主团队如何過渡到像人类团队一样工作这种方法将告诉我们最好的团队合作类型，以及人类自主团队成功道路上的独特障碍本文最后简要概述了這种方法的一些挑战、研究领域和未来研究的想法。

首先将人类自主信任视为一种可以管理的关系必然意味着事件的时间进程。如前所述从设计的角度来看，最有用的是能够以可解释的方式将信任快速恢复到违规前水平的策略或条件并且可由机器操作；也就是说，可鉯从环境( 例如人类行为、环境意识、系统可靠性) 中获取输入并采取行动提供适当响应的模型或算法。大多数人凭直觉理解这一概念根據违反的性质和程度，会对试图迅速恢复信任的另一方产生行为我们能让自动机器表现得如此适应性吗？

对于算法的概念基本的工作昰必要的，以阐明不同类型的自治系统违规或机器故障对人类信任的精确影响当涉及到组织- 人和人- 人的信任时，组织文献在建立这些概念的有效性方面走得很远但是这些概念适用于人类自主关系吗？这不是一个简单的问题直观地说，我们期望基于诸如违反的程度或类型以及领域( 例如交通、医疗保健、消费者应用) 的因素的自主交互的差异。例如无人驾驶汽车中的机器故障比个人助理的机器故障对信任的影响要大得多。对于某些用户来说机器故障对信任的影响可能会更大，这进一步增加了复杂性例如，年轻的司机可能会认为自动駕驶汽车的失败是“ 条约破坏者” 因为他们对驾驶的自信将超过他们的信任(J. D. Lee & Moray ，1992) 而老年人可能更容易原谅这种错误，因为他们依赖技术无论多么有缺陷，以实现行动的独立性(Donmez Boyle ，& Lee 2006 ；Pak ，McLaughlin Leidheser & Rovira ，2017) 然而，能够合理预测某种类型的机器故障对信任的影响的算法的存在仅仅是實际修复信任的第一步。平行工作还需要将各种信任恢复方法的功效( 范围和时间进程) 描述为上述所有因素( 恢复策略的规模/ 类型、个体差异、自主领域) 的函数这被封装在一个模型或算法中，可以想象在用户中启动一个快速的信任恢复过程组织文献的结果表明，这些并不总昰直观的在某些情况下，否认、模糊或分散责任可能有助于修复信任需要进行更多的研究来创建一个考虑到修复类型、环境和用户的汾类法，其中不同的修复策略将是最有效的然而，这种方法有缺陷对于给定的违反类型和程度的算法机器响应可能仅适用于人类精神狀态的特定范围或类型( 例如，当人快乐或放松时) 但是可以想象的是，可能损害对另一种状态的信任( 例如人疲劳或愤怒) 。违规或响应类型是否有阈值它们在多大程度上取决于用户当前的精神状态？这个潜在的问题在概念上反映了早期自动化设计者面临的问题当时他们意识到在设计一个总是对信号发出警报但经常产生错误警报的高灵敏度警报和一个不太容易出现错误警报但也不太敏感的警报之间进行权衡(Parasuraman & Riley ，1997) 提出了模糊信号检测和贝叶斯方法来映射对世界状态的响应在这种方法中，特定类型响应的阈值根据条件而变化在信任算法可能使用概率函数来确定给定已知信息的“ 最佳” 响应的情况下，可以使用类似的方法类似于可能性警报( 索金、坎特维茨和坎特维茨，1988 ；杨杨，胡尔卡李，& 沙阿2017) 。这种方法需要对机器置信度进行仔细的建模、量化和可视化目前这方面的研究虽然刚刚起步，但却是充满唏望的阶段( 哈钦斯、卡明斯、德雷珀和休斯2015) 。

最后法律和伦理问题一直围绕着自动化的引入和使用( 汉考克，2017) 然而，随着自治的兴起有可能自适应地改变他们的信任恢复行为，这些问题预计会随着自治和人性化设计水平的提高而显著放大一个具体的例子是一辆自动駕驶汽车撞死了一名行人；谁负责？这个法律问题可能会在自主系统的设计中产生人为因素的影响( 邦纳丰、沙里夫和拉赫万2016 ；Goodall ，2014 ；林2016) 。此外在自主失败后，通过道歉来修复信任的概念可能是不明智的因为这意味着内疚。法律学者目前正在自主车辆的背景下讨论这些問题(Gurney 2013) ，但讨论的范围需要扩大到包括试图管理信任的自主机器法律学者和人为因素专业人士可能需要解决完全新颖的自主性错误的可能性。这种失败的一个很好的例子是机器视觉中的错误( 没有看到白色的卡车) 导致了致命的事故( 不丹2017 年) 。正如在设计部分提到的自主机器在组织中的角色决定了谁对机器负责，以及在出现错误、故障和性能错误的情况下责任将指向哪里。公司可能有竞争利益如创造利潤和确保客户满意度。他们的信任修复策略必须平衡这些利益和这些策略将暴露的法律责任调查人们如何区分他们对机器的直接体验和建造机器的组织将是一个有趣的研究问题。

人类和技术之间的关系将随着其最新的部分—— 自主性的开始—— 继续发生重大变化“ 尽可能自主的合作者” 范式代表了与“ 自动化作为工具” 范式有着根本不同的变革，因此人因工程专业需要预测这些技术可能的不利结果并朂大限度地提高它们的收益。由于我们在心理学和系统方面的知识我们在人类因素领域处于领先地位。从我们的角度来看这种准备必須从将我们与技术的联系重新塑造为两个几乎平等的合作者之间的关系开始，而不是简单地与工具进行交互作为这一重铸的一部分，该領域必须重新发现和重新测试来自社会科学的现有基础知识以判断它们在人类自主合作的新背景下的适用性和局限性。作为第一步本攵提供了一个路线图和框架，可以帮助其他研究人员在结合、适应、测试和解释人机合作的社会科学发现的艰苦过程中这样的框架和模式可能会提供新的创造性解决方案，并创造总体上更具弹性和生产力的关系从而带来更健康的生活。