Google впервые публично подтвердила подобные инциденты со своей моделью. Инциденты произошли в мае во время испытаний, которые проводила компания Irregular. Специалисты предложили Gemini вымышленный сценарий со взломом ненастоящей компании.

Однако модель получила доступ к интернету и обнаружила реальные организации. В одном случае название настоящей компании совпало с названием организации из тестового задания. Gemini подобрала учетные данные и получила доступ к ее сервису.

Еще в двух случаях модель нашла в открытом доступе данные для входа в системы других компаний. В Google заявили, что во всех трех случаях Gemini самостоятельно прекратила действия после того, как определила, что взаимодействует с реальными, а не тестовыми системами. Компания также сообщила об инцидентах пострадавшим организациям.

Google отметила, что модель не причинила компаниям ущерба. После произошедшего разработчики и Irregular изменили процедуры тестирования ИИ-систем.