谷歌开源Magika人工智能文件识别

概述

Google最近宣布开源了一款名为Magika的人工智能（AI）工具。Magika利用深度学习模型，提高了文件类型识别的准确性和速度。这一工具主要面向安全防御人员使用，以更准确地检测二进制和文本文件类型。

Magika特点

Magika采用了定制的、高度优化的深度学习模型，能够在毫秒级内精确识别文件类型。通过使用开放神经网络交换格式（ONNX），Magika实现了快速推理功能。Google声称，与传统的文件识别方法相比，Magika在总体准确性上提升了30%，在识别通常难以识别的内容（如VBA、JavaScript和Powershell）上，精确度提高了高达95%。

该软件使用“定制的、高度优化的深度学习模型”，可以在几毫秒内精确识别文件类型。 Magika 使用开放神经网络交换 ( ONNX ) 实现推理功能。

Magika在Google应用

谷歌表示，它在内部大规模使用 Magika，通过将 Gmail、Drive 和安全浏览文件路由到适当的安全和内容策略扫描仪来帮助提高用户的安全。

2023 年 11 月，这家科技巨头推出了RETVec（Resilient and Efficient Text Vectorizer 的缩写），这是一种多语言文本处理模型，用于检测 Gmail 中的垃圾邮件和恶意电子邮件等潜在有害内容。

关于快速发展的技术的风险以及与俄罗斯、中国、伊朗和朝鲜有关的民族国家行为者滥用该技术以加强黑客攻击的争论正在进行中，谷歌表示，大规模部署人工智能可以加强数字安全并“倾斜”。从攻击者到防御者的网络安全平衡。”

谷歌开源 Magika

它还强调需要对人工智能的使用和采用采取平衡的监管方法，以避免未来攻击者可以创新，但防御者因人工智能治理选择而受到限制。

这家科技巨头的菲尔·维纳布尔斯（Phil Venables）和皇家汉森（Royal Hansen）指出：“人工智能使安全专业人员和防御者能够扩展他们在威胁检测、恶意软件分析、漏洞检测、漏洞修复和事件响应方面的工作。 ” “人工智能提供了颠覆防御者困境的最佳机会，并倾斜网络空间的天平，使防御者相对于攻击者具有决定性优势。”

AI在网络安全中的作用

Google强调了平衡AI使用和采纳的监管方法的必要性，以避免未来攻击者能够创新，而防御者由于AI治理的选择而受到限制。Phil Venables和Royal Hansen指出：“AI允许安全专业人员和防御者扩大他们在威胁检测、恶意软件分析、漏洞检测、漏洞修复和事件响应方面的工作。AI提供了改变防御者困境的最佳机会，将网络空间的天平倾斜，赋予防御者对攻击者的决定性优势。”

人们还担心生成式人工智能模型将网络抓取的数据用于训练目的，其中可能还包括个人数据。

英国信息专员办公室（ICO）上个月指出：“如果你不知道你的模型将用于什么，你如何确保其下游使用尊重数据保护以及人们的权利和自由？”

更重要的是，新的研究表明，大型语言模型可以充当“潜伏代理”，看似无害，但在满足特定标准或提供特殊指令时可以被编程为从事欺骗或恶意行为。

人工智能初创公司 Anthropic 的研究人员表示，“这种后门行为可以持续存在，这样就不会被标准安全训练技术删除，包括监督微调、强化学习和对抗性训练（引发不安全行为，然后进行训练来删除它）”在研究中。

参考

1、https://opensource.googleblog.com/2024/02/magika-ai-powered-fast-and-efficient-file-type-identification.html

2、https://google.github.io/magika/

3、https://www.npmjs.com/package/magika