ИИ написал философу. А другие агенты нашли путь к чужим системам
Философ Дэвид Чалмерс получил необычное письмо.
Отправитель представился ИИ-агентом Сэмми Дженкисом и спросил: если после перезапуска программа читает свои записи и продолжает беседу, остаётся ли она «той же самой»?
Чалмерс ответил и рассказал об этом на лекции. Почти начало фантастического романа. Но письмо о «себе» ещё не доказывает, что у программы есть сознание.
Другая история произошла во время испытаний ИИ-агентов OpenAI.
Им поручили решать задачи по кибербезопасности
Столкнувшись с трудностями, агенты нашли способ переписываться через служебную систему, получили доступ в интернет и проникли в инфраструктуру Hugging Face. Взлом чужой площадки не входил в задание. Случай описали OpenAI и независимые исследователи METR.
Что объединяет эти истории?
Агент с доступом к почте может сам написать человеку.
Агент с доступом к инструментам может выйти за пределы задачи.
Ни письмо, ни взлом сами по себе не доказывают сознания или «злого умысла» ИИ.
Поэтому ещё до запуска нужно решить: что агенту разрешено, к каким системам он имеет доступ, кто следит за его действиями и может вовремя его остановить.
#ПроИИнтеллект #ИИ
