金沙js0888_首頁(欢迎您)

  • <td id="dgejl"><strike id="dgejl"></strike></td>
        1. 聊天机器人机器学习安全的重要性

          作者: Harris 2020-10-10 09:42:03

          人工智能是一个不断发展的行业,其动力来自大型科技公司、新创业公司和大学研究团队。虽然人工智能技术正在飞速发展,但围绕机器学习安全的规定和故障保护却是完全不同的情况。

          无法保护机器学习模型免受数据中毒等网络攻击可能会造成极大的损失。聊天机器人漏洞甚至可能导致私人用户数据被盗。以下将探讨机器学习网络安全的重要性。此外,我们将说明聊天机器人安全商Scanta公司如何通过其虚拟助手保护聊天机器人。

          为什么机器学习安全性很重要?

          保护机器学习模型免受网络攻击类似于确保车辆通过安全检查。仅仅因为汽车可以行驶并不意味着在公共道路上行驶是安全的。无法保护机器学习模型可能导致数据泄露或更糟的情况。

          一个很好的例子是McAfee公司技术人员如何入侵特斯拉的一种自动驾驶汽车。特斯拉早期的路标检测系统模型使它容易受到网络攻击。技术人员只需在特斯拉汽车上加上几英寸的黑色胶带,就能让它误读时速35英里的标志。这导致车辆将其解释为85英里/小时的标志。其结果,每当汽车加速超过35英里/小时就会踩下刹车。

          自动驾驶汽车中的漏洞可能导致致命事故。对于聊天机器人和虚拟助手来说,缺乏机器学习安全性可能会导致大量私人客户数据泄露、网络钓鱼攻击以及对企业的代价昂贵诉讼。而这正是达美航空发生的事情。

          在2019年,达美航空公司起诉其聊天机器人开发人员,原因是该公司在2017年发生了乘客数据泄露事件。黑客获得了对达美航空公司聊天机器人系统的访问权限,并修改了源代码。这使他们可以抓取用户输入的数据。这次事故对达美航空公司造成了巨大的损失,导致数百万美元用于调查漏洞并保护受影响的客户。

          聊天机器人中的机器学习安全漏洞

          聊天机器人特别容易受到机器学习攻击,因为它们之间经常发生用户交互,而这些交互通常是完全不受监督的。Scanta公司对聊天机器人面临的最常见的网络攻击进行了阐述。

          Scanta公司首席技术官Anil Kaushik表示,他们看到的最常见的攻击之一是通过对抗性输入进行的数据中毒攻击。

          什么是数据中毒?

          数据中毒是黑客对机器学习模型的训练数据进行污染的一种机器学习攻击。他们通过注入对抗性输入来实现这一点,这些输入是故意改变数据样本的,目的是诱使系统产生错误的输出。

          像客户服务聊天机器人这样经过用户输入数据进行持续训练的系统尤其容易受到此类攻击。大多数现代的聊天机器人都可以自动操作并在没有人工干预的情况下回答客户的询问。通常情况下,除非查询升级为人员,否则永远不会监视聊天机器人与用户之间的对话。缺乏监督使得聊天机器人成为黑客利用的主要目标。

          为了帮助企业保护其聊天机器人和虚拟助手,Scanta公司不断改进其机器学习安全系统VA Shield。

          Scanta公司由Chaitanya Hiremath于2016年创立,是一家科技公司,最初是增强现实游戏和社交媒体应用程序的开发商。他们在增强现实(AR)行业的成功甚至在探索频道上崭露头角。但是,Scanta最近转向为聊天机器人和虚拟助手提供机器学习安全服务。

          Scanta如何保护聊天机器人和虚拟助手

          Scanta公司的VA Shield是一种机器学习安全系统,可以在模型、数据集和对话级别保护聊天机器人。Scanta公司首席技术官AnilKaushik说,“VA Shield使用机器学习防御机器学习攻击。我们为每个用户进行行为分析,并标记任何异常行为。行为分析是针对最终用户以及聊天机器人的。分析所有输入、输出和输入输出组合实体,以检测任何恶意活动。”

          在对话级别,Scanta公司评估聊天机器人的输出,以阻止恶意攻击并捕获业务见解。他说,“场景分析是一个简单的概念,其中聊天机器人的响应是在场景中根据请求进行查看的,”为了进行这些分析,我们使用历史数据。例如,查看了用户的历史请求特征和来自聊天机器人的响应,以及聊天机器人的响应特征。”

          为什么常规的IT团队无法处理这些攻击?

          Scanta公司首席执行官Chaitanya Hiremath表示,拥有自己IT团队的公司会外包机器学习安全服务。这些IT团队难道不能自己纳入机器学习安全协议吗?Hiremath说,“我们已经与许多公司进行了交谈,得知这些机器学习威胁是大多数人不知道的事情,我感到非常惊讶,现实是许多人甚至不知道这是他们必须防止的事情。大多数IT团队和安全解决方案都提供网络安全和Web应用程序防火墙等功能。这种类型的安全性不同于Scanta提供的安全性。我们在讨论和介绍的内容处于不同的水平。这远远超出了消除训练数据的偏见。”

          在以上提到的达美航空示例中,网络攻击者入侵了聊天机器人并修改了源代码,并且能够访问私人客户数据。Hiremath说,“这是因为没有人监视正在进入聊天机器人的内容和正在发生的内容,这是当今机器学习技术构建方式的结果。但是,必须有一种机制来解释是否有恶意。我们将此系统称为零信任框架。必须确保所有方面都受到保护。这与保护数据库或网络一样重要。”

          人们的日常生活和个人数据越来越与计算机系统交织在一起。随着现代社会数字化的日益发展,提高数据安全性成为当务之急。特别是像GDPR这样的组织制定的数据法律,企业比以往任何时候都更重要地保护其私有数据和客户数据。

          Scanta公司和机器学习安全性的未来

          Hiremath说,“我们希望成为机器学习安全性的领导者,并帮助各个行业的企业保护他们创建的机器学习系统。我们不仅仅将其视为应用程序的插件或附件。在三到五年内,我们看到这成为其自己的行业,我们希望成为该领域的市场领导者之一。机器学习安全性有大量用例。现在,我们希望专注于虚拟助手和聊天机器人。我们不仅希望成为聊天机器人安全性的领导者,而且还希望成为其他机器学习系统的领导者。我们目前正在进行研发,以找出我们可以帮助他们保护的其他领域。”

          机器学习模型的更高安全性将使数据科学界和人工智能技术的日常用户受益。在2020年上半年,由于存在固有的种族偏见和执法部门可能滥用的证据,IBM公司抵制面部识别技术。重要的是,像IBM、达美公司和特斯拉公司这样的大型企业应退后一步,将安全性和社会影响放在开发之前。

          希望有更多类似Scanta公司出现在机器学习领域,为开发机器学习技术的公司和使用它们的人们创建更安全的人工智能系统。

          聊天机器人 机器学习 人工智能
          上一篇:机器人的设计,要从“娃娃”抓起? 下一篇:如何使用人工智能发展业务并创造企业价值
          评论
          取消
          暂无评论,快去成为第一个评论的人吧

          更多资讯推荐

          人脸识别,要方便更要安全

          11月1日,国家标准《信息安全技术 远程人脸识别系统技术要求》将正式实施。该标准将推动我国人脸识别技术产业化发展,进一步丰富人脸识别技术体系和应用场景。当前,我国人脸识别技术及应用现状如何?人脸数据等个人隐私数据信息存在哪些安全风险?

          光明日报 ·? 8h前
          常见的人脸识别系统的终端安装、接线大盘点

          人脸识别终端在人员管控、考勤打卡以及人流量密集的安检场所有着广泛的用途,今年在疫情期间更是兼顾了人脸识别和体温检测、提醒戴口罩功能等等。

          弱电智能化工程2018 ·? 9h前
          以人工智能促进就业发展

          近年来,人工智能快速发展,成为引领新一轮科技革命与产业变革的核心驱动力,全面深刻地改变着人类的生产和生活方式。我国高度重视人工智能的发展,并将人工智能上升为国家战略。

          吕茵 ·? 13h前
          张亚勤:对于产业来讲,深度学习的黄金时代刚刚开始

          随着数字化3.0的到来,未来十年许多行业都将经历构造转变。这场数字化的新浪潮提供了历史性的机会,可以通过先进的机器学习算法,增强的计算能力,5G的新基础设施,神经形态计算来改变现有的工业格局。

          佚名 ·? 16h前
          了解情绪划分:如何使用机器学习来保持积极心态?

          “思考再思考,然后采取行动”,这样的流程是不是听起来很熟悉?大多数人都是这样做的。为了清晰了解情绪的划分,我编写了这个机器学习(ML)程序。

          读芯术 ·? 19h前
          为什么人工智能各种完爆人类,但依旧听不懂你在说什么?

          在文章一开头,它首先引用了史蒂芬·霍金对AI的隐忧,然后礼貌地劝说人类“请相信我,AI不会毁灭人类”,它甚至保证“如果创造我的人将这项任务委托给我,我将竭尽所能全面阻止任何破坏的尝试与企图”。

          果壳 ·? 1天前
          “AI”的局限性:人工智能改变未来,还有一个尚未突破的问题

          人工智能是这个时代的箴言,技术专家、学者、记者和风险投资家都在歌颂AI。

          读芯术 ·? 1天前
          向“我懂你”迈进:机器人实现“换位思考”

          近日,中国科学院自动化研究所研究员、类脑智能研究中心副主任曾毅团队提出机器人类脑思维揣测模型,实现了机器人的自我经验学习,使其可以对他人信念进行揣测和预测。

          田瑞颖 ·? 1天前
          Copyright?2005-2020 51CTO.COM 版权所有 未经许可 请勿转载
          金沙js0888