Google открыла исходный код искусственного распознавания документов Magika

в общих чертах

Недавно компания Google объявила об открытой продаже инструмента искусственного интеллекта (ИИ) под названием Magika.Magika используетмодель глубокого обучения, что повышает точность и скорость распознавания типов файлов. Этот инструмент в первую очередь предназначен для использования защитниками безопасности для более точного обнаружения бинарных и текстовых типов файлов.

Особенности Магики

Magika использует специальную, высоко оптимизированную модель глубокого обучения для точного определения типов файлов за миллисекунды. Благодаря использованию открытого формата обмена нейронными сетями (ONNX) Magika позволяет быстро делать выводы.Google утверждает, что, в отличие от традиционныхРаспознавание документовПо сравнению с методом Magika повышает общую точность на 301 TP3T и до 951 TP3T при идентификации содержимого, которое обычно трудно распознать (например, VBA, JavaScript и Powershell).

Программное обеспечение использует "специализированные, высоко оптимизированные модели глубокого обучения" для точного определения типов файлов за миллисекунды. Magika использует Open Neural Network Exchange (ONNX) для выводов.

Магика в Google Apps

Компания Google заявляет, что использует Magika в своих внутренних масштабах для повышения уровня безопасности пользователей, направляя файлы Gmail, Drive и безопасного просмотра в соответствующие сканеры безопасности и политики контента.

В ноябре 2023 года технологический гигант запустил RETVec (сокращение от Resilient and Efficient Text Vectorizer), многоязычную модель обработки текста для обнаружения потенциально опасного контента, такого как спам и вредоносные письма в Gmail.

Риски, связанные с быстро развивающимися технологиями и их неправомерным использованием государственными субъектами, такими как Россия, Китай, Иран и Северная Корея, для усиленияхакерВ то время как споры об атаках не утихают, Google утверждает, что массовое внедрение ИИ может укрепить цифровую безопасность и "склонить чашу весов". От нападающих к защитникаминформационная безопасностьБаланс".

Google Open Source Magika

В нем также подчеркивается необходимость сбалансированного нормативного подхода к использованию и внедрению ИИ, чтобы избежать будущего, в котором злоумышленники могут внедрять инновации, а защитники ограничены возможностями управления ИИ.

Представители технологического гиганта Фил Венейблс и Ройал Хансен отметили, что "ИИ позволяет специалистам по безопасности и защитникам расширить свою работу в области обнаружения угроз, анализа вредоносного ПО, выявления уязвимостей, устранения эксплойтов и реагирования на инциденты". "ИИ предлагает наилучшую возможность нарушить дилемму защитника и склонить чашу весов в киберпространстве, чтобы дать защитникам решающее преимущество над злоумышленниками".

ИИ винформационная безопасностьРоль Организации Объединенных Наций в осуществлении Программы действий

Компания Google подчеркивает необходимость сбалансированного нормативного подхода к использованию и внедрению ИИ, чтобы избежать будущего, в котором злоумышленники смогут внедрять инновации, а защитники будут ограничены из-за выбора управления ИИ. Фил Венаблс и Ройал Хансен отмечают: "ИИ позволяет специалистам по безопасности и защитникам расширить свои усилия в области обнаружения угроз, анализа вредоносного ПО, обнаружения уязвимостей, устранения уязвимостей и реагирования на инциденты. ИИ предоставляет наилучшую возможность изменить дилемму защитника, перевесив чашу весов в киберпространстве и предоставив защитнику решающее преимущество над атакующим".

Также есть опасения, что генеративные модели ИИ используют для обучения данные из Интернета, которые также могут включать персональные данные.

В прошлом месяце Управление комиссара по информации Великобритании (ICO) заявило: "Если вы не знаете, для чего будет использоваться ваша модель, как вы можете гарантировать, что ее последующее использование будет соответствовать требованиям защиты данных, а также правам и свободам людей?"

Более того, новые исследования показывают, что большие языковые модели могут выступать в роли "спящих агентов", внешне безобидных, но запрограммированных на подмену или вредоносное поведение при соблюдении определенных критериев или предоставлении специальных инструкций.

"Это поведение бэкдора может сохраняться настолько, что его не удается устранить стандартными методами обучения безопасности, включая контролируемую тонкую настройку, обучение с подкреплением и обучение противника (которое запускает небезопасное поведение, а затем обучает его устранению)", - говорится в исследовании, проведенном учеными из стартапа Anthropic, специализирующегося на искусственном интеллекте.

Ссылаться на

1. https://opensource.googleblog.com/2024/02/magika-ai-powered-fast-and-efficient-file-type-identification.html

2. https://google.github.io/magika/

3. https://www.npmjs.com/package/magika