五角大楼认为，人工智能是击败和主宰未来对手的一种方式。人工智能的脆弱性意味着，如果不给予足够的重视，这项技术可能会为敌人提供新的攻击方式。
由五角大楼成立的联合人工智能中心旨在帮助美国军方利用人工智能。该中心最近成立了一个部门，负责收集、审查和向国防部各部门分发开源和工业机器学习模型。这项工作的一部分指出了将人工智能用于军事目的的一个关键挑战。
一个名为“测试和评估小组”的机器学习“红队”将调查预训练模型的弱点，而另一个网络安全团队将检查人工智能代码和数据中隐藏的漏洞。
机器学习是现代人工智能背后的技术，它代表了一种根本不同且通常更强大的编写计算机代码的方式。机器学习通过从数据中学习来生成自己的规则，而不是编写规则让机器去遵循。问题是，这个学习过程，以及训练数据中的工件或错误，可能会导致AI模型以奇怪或不可预测的方式表现。
JAIC战略与政策主管格雷戈里？格雷戈里·艾伦说:“对于某些应用来说，机器学习软件比传统软件好几万亿倍。”但是，他补充说，机器学习“也在不同于传统软件的方面取得突破。”
例如，用于在卫星图像中识别特定车辆的训练机器学习算法也可以学习将车辆与某种颜色的周围风景相关联。对手可以通过改变车辆周围的场景来欺骗AI。在获取训练数据时，对手还可以植入图像，比如特定的符号，这样会混淆算法。
艾伦表示，五角大楼对其使用的软件的可靠性和安全性有严格的规定，这种方法可以扩展到人工智能和机器学习，并指出JAIC正在更新国防部的软件标准，包括机器学习。
人工智能正在改变一些企业的运营方式，因为它可能是一种高效而强大的自动化任务和流程的方式。
例如，一家公司可以使用人工智能算法来检查数千年或数百万年前的销售情况，并设计自己的模型来预测谁将购买什么产品。
美国和其他国家的军队也看到了类似的优势，并渴望使用人工智能来改善后勤、情报收集、任务规划和武器技术。
中国日益增长的技术能力引起了五角大楼采用人工智能的紧迫感。艾伦表示，国防部正在“以负责任的方式优先考虑安全和可靠性”。
研究人员正在开发更具创造性的方法来破解、颠覆或摧毁人工智能系统。
2020年10月，以色列研究人员展示了精心调整的图像如何扰乱允许特斯拉解读前方道路的人工智能算法。这种“对抗性攻击”涉及调整机器学习算法的输入，以找到导致重大错误的小变化。
加州大学伯克利分校教授Dawn Song对特斯拉的传感器和其他人工智能系统进行了类似的实验。他说，对机器学习算法的攻击已经成为欺诈检测等领域的一个问题。一些公司提供工具来测试金融领域使用的人工智能系统。“很自然，会有攻击者想要逃离这个系统，”她说。“我认为我们会看到更多这样的问题。”
一个简单的机器学习攻击的例子涉及2016年首次亮相的微软聊天机器人Tay。它使用一种算法来学习如何通过检查以前的对话来响应新的查询。reddit用户很快意识到，他们可以利用这一点让Tay发布仇恨信息。
马里兰大学研究机器学习算法漏洞的副教授汤姆·戈尔茨坦(Tom Goldstein)表示，攻击人工智能系统的方法有很多，包括修改输入算法的数据，使其以特定的方式行动。机器学习模型和传统软件的区别在于，获得模型可以让对手设计出不可抗拒的攻击，比如误导输入。
戈尔茨坦说，“我们真的不知道如何解决人工智能的所有弱点。我们不知道如何让系统完全抵御对抗性攻击。”
军事方面，如果有一个资源丰富、技术先进的对手，防范各种新的进攻路线是非常重要的。
乔治敦大学安全和新兴技术中心最近的一份报告警告说，人工智能中的“数据中毒”可能对国家安全构成严重威胁。这将涉及渗透用于训练人工智能模型的过程，可能通过让一个代理志愿者标记输入到算法中的图像，或者在网络上植入图像，然后提取图像并输入到人工智能模型中。
小冰宣布完成A轮融资 同时发布超级自然语音技术 科大讯飞2022上半年实现销售回款81.85亿，同比增加42.44% 李彦宏：人工智能的“十八般武艺”让科幻成为现实 不想选iPhone 14，还有五款国产手机也很强，用到2025年问题不大 2022年，苹果和华为旗舰手机怎么选？ 金秋买点什么好？这几款手机数码产品使用后体验出色，可以参考 2022下半年换机指南：华为苹果一加小米争鸣，这四款机型很难不爱 2022年下半年想换机，三款最值得购买的国产旗舰不能错过 高端旗舰别乱选，这五款实力偏强，你选对了吗？ 手机口碑很重要，这四款新机口碑较为出色，你选对了吗？ 国产旗舰机怎么选？这三款性能卓越堆料足，款款都综合实力强 覆盖高中低全价位，这四款手机才是2022年的真旗舰，入手不亏 不与iPhone 14和华为 Mate 50 争风头！这四款高性价比手机，覆盖高中低三档 OPPO18年，创新科技越来越多 OPPO看着现在很多一句话重复N多篇的“洗脑式”广告 盘点3K价位几款真香机，颜值拍照都在线，每一款都很值得入手 想要买AirPods Pro 2，现在华强北耳机就能代替，但不建议入手 手机流畅度是否值得重视？OPPO Reno8 Pro上手体验感受 A16芯片被吐槽挤牙膏？游戏玩家更推荐看看这些新机 华为 Mate 50 Pro和vivo X80 Pro这两款手机怎么选择？ 今天大家朋友圈最热的话题，应该就是羊了个羊如何闯关吧 iOS 16登上热搜，网友却说摆烂？现在入手骁龙8+旗舰更香 苹果14正式开售！追求高性价比，但更推荐这三款高口碑安卓旗舰
