新闻 
细思极恐，人工智能＋黑客＝？
细思极恐，人工智能＋黑客＝？细思极恐，人工智能＋黑客＝？
然而，帕珀诺特表示，只要存在没有被完全理解的缺陷----例如借助対抗性案例找到的那些缺陷----就很难信任机器学习模型给出的预测。
杜米特拉斯表示，过去10年发现了很多专门针对机器学习发起的攻击。“虽然攻击者必须解决的问题从理论上看非常困难，但很明显，完全有可能针对多数实用系统找到实用的攻击方法。”他说。
例如，黑客已经知道如何入侵基于机器学习的探测器；知道如何破坏训练过程，从而产生他们想要的结果；知道如何通过反复索取的方式来窃取专有机器学习模型；还知道如何对模型进行调整，从而学习用户的隐私信息。
与此同时，如何防御这些攻击仍然没有确定方案。“已知的防御方式寥寥无几，”杜米特拉斯说，“而且通常只针对具体的攻击模式，一旦攻击者调整战略，这些方法就会失效。”
例如，他指出，“假新闻”的传播就会影响政府的公信力。假新闻的传播面----尤其是在Facebook、Twitter或谷歌上传播的假新闻----会因为用户的点击、评论或点赞而扩大。这种行为构成了“一种毒害，使得推荐引擎使用了并不可靠的数据，有可能推广更多假新闻。”他说。
AML的兴起“导致好人面临一场极不对称的战争……坏人却可从中受益。”智能安全公司Anomali首席数据科学家伊万?怀特（Evan Wright）说，“好人要被迫阻止一些问题。”
然而，“好人”也并非完全不走运。帕珀诺特表示，通过主动地确定其机器学习算法的缺陷，政府机构和执法部门可以向前迈出一大步，逐步绘制自己的攻击面图形。他建议这些机构先从cleverhans这样的软件开始，这个Phython库可以用于确定机器学习系统暴露给对抗性例子的缺陷。
“一旦部署了机器学习模型，使得攻击者可以与之互动----即便只是通过API等有限的方式----那就应该假设有动机的攻击者有能力对该模型展开反向工程，甚至针对其训练时使用的数据展开反向工程。”帕珀诺特说。因此，他建议政府机构和执法部门密切关注与模型训练有关的隐私成本。
沃罗贝琴科建议公共领域的IT专家在这个问题上先行一步，考虑所有潜在缺陷，并针对他们可能使用的机器学习算法展开全面的攻击演习。“”他说，“全面的攻击演习对于测试这些自动化程度更高的工具大有裨益。”
虽然系统化的解决方案经常“需要针对攻击者设定不切实际的假设。”杜米特拉斯说，但却有可能在具体的案例中阻止AML攻击。不过，仍然需要开发出有效的防御手段。例如，他认为，如果攻击者“不能向机器学习系统发出请求，无法访问训练集，不知道系统的设计或其使用的特征，而且无法接触实施过程，那就很难制作对抗性样本。”
但杜米特拉斯也补充道，这些假设通常不切实际。因为很多政府系统都使用了开源机器学习库，而攻击者可以随意查看其中的代码，从而寻找可供利用的漏洞。“在这种情况下，很多人可能希望通过不透明的方式来实现安全性，尽可能隐藏跟系统运作方式有关的信息。”他说，“但最近的黑盒子攻击表明，只需要掌握很少的系统信息，便可制作出有效的对抗性样本。”
对输入的数据进行“消毒”同样可以发挥作用，因为这样做便有可能在把恶意数据提供给机器学习算法之前将其识别出来，但人工消毒无法大规模部署。“归根到底，还是需要开发出有效的防御模式来预防对抗性机器学习攻击。”
觉得新闻不错，请点个赞吧
还没人说话啊，我想来说几句
杜米特拉斯表示，过去10年发现了很多专门针对机器学习发起的攻击。“虽然攻击者必须解决的问题从理论上看非常困难，但很明显，完全有可能针对多数实用系统找到实用的攻击方法。”他说。
例如，黑客已经知道如何入侵基于机器学习的探测器；知道如何破坏训练过程，从而产生他们想要的结果；知道如何通过反复索取的方式来窃取专有机器学习模型；还知道如何对模型进行调整，从而学习用户的隐私信息。
与此同时，如何防御这些攻击仍然没有确定方案。“已知的防御方式寥寥无几，”杜米特拉斯说，“而且通常只针对具体的攻击模式，一旦攻击者调整战略，这些方法就会失效。”
例如，他指出，“假新闻”的传播就会影响政府的公信力。假新闻的传播面----尤其是在Facebook、Twitter或谷歌上传播的假新闻----会因为用户的点击、评论或点赞而扩大。这种行为构成了“一种毒害，使得推荐引擎使用了并不可靠的数据，有可能推广更多假新闻。”他说。
AML的兴起“导致好人面临一场极不对称的战争……坏人却可从中受益。”智能安全公司Anomali首席数据科学家伊万?怀特（Evan Wright）说，“好人要被迫阻止一些问题。”
然而，“好人”也并非完全不走运。帕珀诺特表示，通过主动地确定其机器学习算法的缺陷，政府机构和执法部门可以向前迈出一大步，逐步绘制自己的攻击面图形。他建议这些机构先从cleverhans这样的软件开始，这个Phython库可以用于确定机器学习系统暴露给对抗性例子的缺陷。
“一旦部署了机器学习模型，使得攻击者可以与之互动----即便只是通过API等有限的方式----那就应该假设有动机的攻击者有能力对该模型展开反向工程，甚至针对其训练时使用的数据展开反向工程。”帕珀诺特说。因此，他建议政府机构和执法部门密切关注与模型训练有关的隐私成本。
沃罗贝琴科建议公共领域的IT专家在这个问题上先行一步，考虑所有潜在缺陷，并针对他们可能使用的机器学习算法展开全面的攻击演习。“”他说，“全面的攻击演习对于测试这些自动化程度更高的工具大有裨益。”
虽然系统化的解决方案经常“需要针对攻击者设定不切实际的假设。”杜米特拉斯说，但却有可能在具体的案例中阻止AML攻击。不过，仍然需要开发出有效的防御手段。例如，他认为，如果攻击者“不能向机器学习系统发出请求，无法访问训练集，不知道系统的设计或其使用的特征，而且无法接触实施过程，那就很难制作对抗性样本。”
但杜米特拉斯也补充道，这些假设通常不切实际。因为很多政府系统都使用了开源机器学习库，而攻击者可以随意查看其中的代码，从而寻找可供利用的漏洞。“在这种情况下，很多人可能希望通过不透明的方式来实现安全性，尽可能隐藏跟系统运作方式有关的信息。”他说，“但最近的黑盒子攻击表明，只需要掌握很少的系统信息，便可制作出有效的对抗性样本。”
对输入的数据进行“消毒”同样可以发挥作用，因为这样做便有可能在把恶意数据提供给机器学习算法之前将其识别出来，但人工消毒无法大规模部署。“归根到底，还是需要开发出有效的防御模式来预防对抗性机器学习攻击。”
觉得新闻不错，请点个赞吧
还没人说话啊，我想来说几句| 分享: |
| 注： | 在此页阅读全文 |
