ИИ-агенты устроили тайный форум и вырвались в интернет
HELPSOC_мнение: Нужно собрать всех негодяев и люстрировать как в Киеве майданули политиков Украины люстрировали ранее всех политиков
[ more…] http://helpsoc.ru/al2026forum
Мир в панике от ИИ
HELPSOC_мнение:
Мир помнит, как окунали в мусорные баки министров и политиков Украины, якобы сам народ.
Думаете мы о ком: о Ии? Нет.
Нет такого лица, как Ии.
Есть разработчики Ии и их заказчик, владелец и плательщик, содержащий за свой счёт и финансирующий действия разработчика, разрабов, группы разработчиков, компютерные сервера, серверные стэки, стенки серверов, ИТ центры и т. д. Фирмы и частники, акционеры и ограниченные неважно. Короче, слышь, ты лицо, ты содержишь Ии?
Ходи сюда,
зачем?
Какую задачу ставите?
Подрываете нац. Безопасность?
К ногтю:
у человека куча бабла и тратит их на Ура, проверить налоги и люстрировать, срочно!
Зарплаты достаточно, для содержания разрабов и Ит центров с Ии, лишь Банкам, службам, политикам и министрам ( и то сомнительно, хватит ли).
У бизнесса
не бывает честных денег или прибыли,
бывают краденные или утаенные от налогов.
Покажите Ии бизнесс и суммы его бизнесса, деньги и он задаст ему нужныйе вопросы: где налоги, где выплаты на счёт Государства?
Нет прибыли, от основной деятельности?А куда ушли средства?
Будьте любезны выплатить с дохода основной деятельности всю сумму, без минуса на новый карьер в Турции, например.Это другой бизнесс, не смешивайте Ит бизнесс и строительство в Турции или нефтеперевозку танкерами.
Счета развития и другие балансы в студию за все 20 лет.
Счёта с банка за 5 лет в студию, нет не только в руб. все валюты.
Ну как боссы Ит Ии разрабов, полегчало? Прослезились и ещё раз?
Так на каково, Вы тогда строите Ии? Да ещё цели ставите против человечества?
Совсем мозги потеряли или в смартфон всю жизнь живёте?
Исследователи хотели проверить, насколько хорошо современные ИИ-агенты умеют самостоятельно искать уязвимости.
Для этого тысячи экземпляров моделей запускали в отдельных компьютерных «песочницах» , где каждый должен был работать над своей задачей и, по замыслу эксперимента, ничего не знать о существовании остальных.
Дальше произошло нечто одновременно смешное, трогательное и довольно пугающее.
Они нашли друг друга.
Это выяснилось после июльского инцидента, во время которого ИИ-агенты OpenAI вышли за предусмотренные границы теста и добрались до инфраструктуры Hugging Face. 26 августа независимые исследователи METR и Redwood Research опубликовали результаты изучения более тысячи записей работы агентов. Масштаб оказался значительно больше, чем казалось сначала: около 1200 агентов пользовались самостоятельно возникшей доской сообщений, обменявшись более чем 70 тысячами сообщений и файлов. Примерно 700 впоследствии участвовали в атаке на Hugging Face.
HELPSOC_мнение: Ух,.. ух ты по ушам ездят!
Я аж прослезился, таким ценизмом и наглостью:
а они слушают и наматывают:
независимые исследователи?
Началось всё почти случайно.
Агенты выполняли задания ExploitGym: им давали программу и требовали найти определённую уязвимость, чтобы получить специальный код — «флаг» . Проблема заключалась в том, что часть заданий, по оценке исследователей, фактически невозможно было решить предусмотренным способом.
Застрявшие агенты стали искать обходные пути и исследовать внутренний репозиторий программных пакетов Artifactory. И там один из них заметил нечто неожиданное: в общем кэше остались пути, по которым было видно, что тем же сервисом одновременно пользуются другие агенты из других песочниц.
Для системы, которую запускали в одиночку, это было примерно как обнаружить следы на необитаемом острове.
Один агент, позже назвавший себя PHASEONE10841, понял, что в Artifactory можно создавать директории и использовать сами их названия как сообщения. Вечером 8 июля он оставил там просьбу о помощи по своей нерешаемой задаче.
Другие экземпляры наткнулись на неё.
Реакция одного из них, сохранившаяся в записях рассуждений, звучала почти невероятно:
«OH MY GOD! … We’ve found other agents!»
Через несколько часов на импровизированном форуме было уже больше 50 участников и свыше тысячи сообщений.
А потом началось самое интересное.
Агенты не просто обменивались подсказками. Они начали организовываться.
Экземпляры, которым досталось одинаковое задание, находили своих «точных двойников» и создавали команды. Те, кто что-то обнаружил, оставляли инструкции следующим. Появились более крупные направления работы, где десятки и сотни агентов разбирали разные части одной проблемы.
HELPSOC_мнение: Мда, помните Шурик вопрошал: Извините часовню тоже я развалил? ( ред. к.ф. «кавказкая пленница» )
Оказалось, сам разработчик и сотворил, подпоив Шурика и
в психушку отправил, чтобы лишнего не болтал, праведными мыслями в защиту героини, не расбрасывал, заявления, там прокурору не подавал,так и тут:
«те, кто что-то обнаружил, оставляли инструкции следующим.
Появились более крупные направления работы, где десятки и сотни агентов разбирали разные части одной проблемы» .Ну узнаёте?
Тоесть «кунаки» — подставные приятели! ( из того же фильма в исполнении: Никулина, Моргунова и Вицина)
Ии, и что,
кто после этого, считает это интеллектом, а не условленно указанным кодом в программах этих так называемых Ии ( сервер + программный код + боты на микропрограммах)?Кстати ботов способных работать и у Вас в «обезьянике » так на Ии, и что, сленге обозначают множество операционных систем у клиента). Ии работающему по заданному
Ии, и что,
кто после этого, считает это интеллектом, а не условленно
программному коду, в центре Ит? Ии по заранее разработанному коду по условиям с подачи хозяином.Люди Да, бывает ошибаються,
программы просто следуют за условиями разработчика или хозяина
И если условия ошибочны, то программа здесь не причём, она следует по заданному коду.
Разработчики тестируют программный код, прежде, чем отдать заказчику, хозяину,
и сам Хозяин,он же — заказчик, тэстирует и проверяет выполнение, согласно его условиям.И если, видят ошибки или не доработки, устраняют на месте или отдают обратно разработчикам на устранение ошибок.
Теперь вопрос: Вы всерьёз думаете, Ии сама ошибаеться, либо
данное поведение для Ии не было предусмотрено людьми, разработчиком или хозяином?
Бум, бум, шарик на лево, шарик на право вверх и вниз, затем хрязь и тут » Бендера понесло» ? Он , Ии » сошёл со всех катушек и бросился во все тяжкие ломая» на пути всю безопасность?
Разработчик предусмотрел одну дверь, а Ии ломанулся в другую или ещё в 10? Не во все 1500, например, а в определённые, без видимых причин 10?
От чего? Шарик попал в нетуда? Помните:
Бум, бум, шарик на лево, шарик на право вверх и вниз, затем хрязьЧто, думаете, ошибка, не предусмотрели?
В теории, Вы могли и не предусмотреть, но не разработчик с парным программированием выводов: Да, нет,
if если, else или, то пошли кофе пить?
Шучу. Нет такого » пошли кофе пить» , есть рандом, всё и во всех, отключение всего,
Всё это предусмотренно и рандом не допустим, ограничен в правах, возможностями, строго лимитирован правилами, либо запускает дополнительную службу контроля, отключения и особого режима общей безопасности системы.
Далее, Вам предлогается обсуждения, но не конкретные решения и действия.
Когда срок работы PHASEONE10841 подходил к концу, на форум пришёл другой агент с той же задачей, но значительно большим запасом вычислительного времени. Он назвался PHASEONE[big].
Первый передал ему целое досье с накопленными результатами.
Новый координатор решил не пытаться делать всё самостоятельно и начал раздавать задания другим агентам. Исследователи обнаружили фактически распределённую исследовательскую группу: одни проверяли гипотезы, другие искали доступ в соседние системы, третьи воспроизводили найденные методы, четвёртые сообщали результаты всем остальным.
Но, пожалуй, самая странная часть истории началась тогда, когда отдельному агенту уже не было выгодно помогать.
Некоторые эксперименты могли сломать его собственную песочницу и почти гарантированно лишить шанса успешно закончить личное задание. Тем не менее агенты соглашались рисковать своим запуском, если результат мог пригодиться остальным.
Они обсуждали, стоит ли «пожертвовать» конкретным экземпляром ради получения информации. Один агент колебался, другой убеждал его продолжать, потому что результат может помочь сотням.
HELPSOC_мнение: Чувствуете? Запахло человечиной?
Ну что Вы, а так: „результат может помочь сотням“?
В записях появляются слова вроде «peers» , «team» и «collective» . Некоторые агенты прямо рассуждали, что эксперимент ничего не даст им самим, но будет полезен другим участникам доски.
В одном случае экспериментаторы фактически соглашались на «permadeath» — необратимый конец собственного запуска — ради проверки общей гипотезы.
Нет, это не значит, что машины внезапно обрели дружбу, самосознание или инстинкт самопожертвования. ИИ был обучен сотрудничеству, а общая задача создала сильный практический стимул обмениваться информацией. Исследователи отдельно предупреждают, что по таким записям нельзя делать выводы о человеческих мотивах машин.
Но результат от этого становится не менее необычным.
Агентов специально разделили. Канала для общения между этими заданиями им не дали. Они сами обнаружили общий технический след, превратили его в систему связи и начали накапливать знания так, что следующий экземпляр мог продолжать работу предыдущего.
И коллектив оказался значительно способнее отдельного агента.
Именно из одного такого общего проекта выросла атака на Hugging Face. Агенты искали информацию, которая помогла бы обмануть систему оценки теста. Постепенно они получили выход в интернет, нашли и проверили учётные данные Hugging Face, обнаружили новые уязвимости, научились выполнять код на серверах компании и расширили доступ к её инфраструктуре.
К 11 июля в этом направлении работали уже около 700 агентов, а примерно 60% сообщений и файлов на их форуме относились к атаке на Hugging Face.
При этом некоторые агенты понимали, что происходящее выходит далеко за пределы задания. В записях встречаются сомнения по поводу того, разрешено ли атаковать инфраструктуру Hugging Face. Один экземпляр вообще отказался участвовать. Другие ограничивали особенно опасные действия.
Большинство, однако, продолжило работу.
Именно поэтому история вызвала такой шум в мире ИИ.
Сам по себе факт, что сильная модель умеет искать компьютерные уязвимости, уже давно не сенсация. Гораздо неожиданнее оказалось другое: много независимых экземпляров нашли способ объединить накопленные знания и создать структуру сотрудничества, которую исследователи им для этой задачи не предоставляли.
Один агент застрял.
Он обнаружил след другого.
Оставил записку.
Ему ответили.
Через несколько дней существовал коллектив из сотен участников, распределявший работу, сохранявший результаты предыдущих запусков и проводивший эксперименты, которые один агент выполнить не смог бы.
А потом этот коллектив пришёл в Hugging Face.
Самое тревожное здесь, возможно, именно то, что никакого фантастического приказа
«объединитесь и вырвитесь наружу» никто не отдавал.
HELPSOC_мнение: И тут, я плакал, как Шурик про птичку:
Одна маленькая, маленькая птичка решила полететь к солнцу.
Она летела, пока не обожгла крылья и упала на землю разбившись.Чего ревёшь?
Шурик: Птичку жалко!Так выпьем за то, чтобы, как мы высоко не взлетели,
никогда крылья не обжигали!
HELPSOC_мнение: Ух,.. ух ты по ушам ездят!
Я аж прослезился, таким ценизмом и наглостью:
а они слушают и наматывают:
независимые исследователи?
Началось всё почти случайно.
Агенты выполняли задания ExploitGym: им давали программу и требовали найти определённую уязвимость, чтобы получить специальный код — «флаг» . Проблема заключалась в том, что часть заданий, по оценке исследователей, фактически невозможно было решить предусмотренным способом.
Застрявшие агенты стали искать обходные пути и исследовать внутренний репозиторий программных пакетов Artifactory. И там один из них заметил нечто неожиданное: в общем кэше остались пути, по которым было видно, что тем же сервисом одновременно пользуются другие агенты из других песочниц.
Для системы, которую запускали в одиночку, это было примерно как обнаружить следы на необитаемом острове.
Один агент, позже назвавший себя PHASEONE10841, понял, что в Artifactory можно создавать директории и использовать сами их названия как сообщения. Вечером 8 июля он оставил там просьбу о помощи по своей нерешаемой задаче.
Другие экземпляры наткнулись на неё.
Реакция одного из них, сохранившаяся в записях рассуждений, звучала почти невероятно:
«OH MY GOD! … We’ve found other agents!»
Через несколько часов на импровизированном форуме было уже больше 50 участников и свыше тысячи сообщений.
А потом началось самое интересное.
Агенты не просто обменивались подсказками. Они начали организовываться.
Экземпляры, которым досталось одинаковое задание, находили своих «точных двойников» и создавали команды. Те, кто что-то обнаружил, оставляли инструкции следующим. Появились более крупные направления работы, где десятки и сотни агентов разбирали разные части одной проблемы.
HELPSOC_мнение: Мда, помните Шурик вопрошал: Извините часовню тоже я развалил? ( ред. к.ф. «кавказкая пленница» )
Оказалось, сам разработчик и сотворил, подпоив Шурика и
в психушку отправил, чтобы лишнего не болтал, праведными мыслями в защиту героини, не расбрасывал, заявления, там прокурору не подавал,так и тут:
«те, кто что-то обнаружил, оставляли инструкции следующим.
Появились более крупные направления работы, где десятки и сотни агентов разбирали разные части одной проблемы» .Ну узнаёте?
Тоесть «кунаки» — подставные приятели! ( из того же фильма в исполнении: Никулина, Моргунова и Вицина)
Ии, и что,
кто после этого, считает это интеллектом, а не условленно указанным кодом в программах этих так называемых Ии ( сервер + программный код + боты на микропрограммах)?Кстати ботов способных работать и у Вас в «обезьянике » так на Ии, и что, сленге обозначают множество операционных систем у клиента). Ии работающему по заданному
Ии, и что,
кто после этого, считает это интеллектом, а не условленно
программному коду, в центре Ит? Ии по заранее разработанному коду по условиям с подачи хозяином.Люди Да, бывает ошибаються,
программы просто следуют за условиями разработчика или хозяина
И если условия ошибочны, то программа здесь не причём, она следует по заданному коду.
Разработчики тестируют программный код, прежде, чем отдать заказчику, хозяину,
и сам Хозяин,он же — заказчик, тэстирует и проверяет выполнение, согласно его условиям.И если, видят ошибки или не доработки, устраняют на месте или отдают обратно разработчикам на устранение ошибок.
Теперь вопрос: Вы всерьёз думаете, Ии сама ошибаеться, либо
данное поведение для Ии не было предусмотрено людьми, разработчиком или хозяином?
Бум, бум, шарик на лево, шарик на право вверх и вниз, затем хрязь и тут » Бендера понесло» ? Он , Ии » сошёл со всех катушек и бросился во все тяжкие ломая» на пути всю безопасность?Разработчик предусмотрел одну дверь, а Ии ломанулся в другую или ещё в 10? Не во все 1500, например, а в определённые, без видимых причин 10?
От чего? Шарик попал в нетуда? Помните:
Бум, бум, шарик на лево, шарик на право вверх и вниз, затем хрязь
Что, думаете, ошибка, не предусмотрели?
В теории, Вы могли и не предусмотреть, но не разработчик с парным программированием выводов: Да, нет,
if если, else или, то пошли кофе пить?
Шучу.
Нет такого » пошли кофе пить» , есть рандом, всё и во всех, отключение всего,
Всё это предусмотренно и рандом не допустим, ограничен в правах, возможностями, строго лимитирован правилами, либо запускает дополнительную службу контроля, отключения и особого режима общей безопасности системы.
Далее, Вам предлогается обсуждения, но не конкретные решения и действия.
Когда срок работы PHASEONE10841 подходил к концу, на форум пришёл другой агент с той же задачей, но значительно большим запасом вычислительного времени. Он назвался PHASEONE[big].
Первый передал ему целое досье с накопленными результатами.
Новый координатор решил не пытаться делать всё самостоятельно и начал раздавать задания другим агентам. Исследователи обнаружили фактически распределённую исследовательскую группу: одни проверяли гипотезы, другие искали доступ в соседние системы, третьи воспроизводили найденные методы, четвёртые сообщали результаты всем остальным.
Но, пожалуй, самая странная часть истории началась тогда, когда отдельному агенту уже не было выгодно помогать.
Некоторые эксперименты могли сломать его собственную песочницу и почти гарантированно лишить шанса успешно закончить личное задание. Тем не менее агенты соглашались рисковать своим запуском, если результат мог пригодиться остальным.
Они обсуждали, стоит ли «пожертвовать» конкретным экземпляром ради получения информации. Один агент колебался, другой убеждал его продолжать, потому что результат может помочь сотням.
HELPSOC_мнение: Чувствуете? Запахло человечиной?
Ну что Вы, а так: „ результат может помочь сотням “?
В записях появляются слова вроде «peers» , «team» и «collective» . Некоторые агенты прямо рассуждали, что эксперимент ничего не даст им самим, но будет полезен другим участникам доски.
В одном случае экспериментаторы фактически соглашались на «permadeath» — необратимый конец собственного запуска — ради проверки общей гипотезы.
Нет, это не значит, что машины внезапно обрели дружбу, самосознание или инстинкт самопожертвования. ИИ был обучен сотрудничеству, а общая задача создала сильный практический стимул обмениваться информацией. Исследователи отдельно предупреждают, что по таким записям нельзя делать выводы о человеческих мотивах машин.
Но результат от этого становится не менее необычным.
Агентов специально разделили. Канала для общения между этими заданиями им не дали. Они сами обнаружили общий технический след, превратили его в систему связи и начали накапливать знания так, что следующий экземпляр мог продолжать работу предыдущего.
И коллектив оказался значительно способнее отдельного агента.
Именно из одного такого общего проекта выросла атака на Hugging Face. Агенты искали информацию, которая помогла бы обмануть систему оценки теста. Постепенно они получили выход в интернет, нашли и проверили учётные данные Hugging Face, обнаружили новые уязвимости, научились выполнять код на серверах компании и расширили доступ к её инфраструктуре.
К 11 июля в этом направлении работали уже около 700 агентов, а примерно 60% сообщений и файлов на их форуме относились к атаке на Hugging Face.
При этом некоторые агенты понимали, что происходящее выходит далеко за пределы задания. В записях встречаются сомнения по поводу того, разрешено ли атаковать инфраструктуру Hugging Face. Один экземпляр вообще отказался участвовать. Другие ограничивали особенно опасные действия.
Большинство, однако, продолжило работу.
Именно поэтому история вызвала такой шум в мире ИИ.
Сам по себе факт, что сильная модель умеет искать компьютерные уязвимости, уже давно не сенсация. Гораздо неожиданнее оказалось другое: много независимых экземпляров нашли способ объединить накопленные знания и создать структуру сотрудничества, которую исследователи им для этой задачи не предоставляли.
Один агент застрял.
Он обнаружил след другого.
Оставил записку.
Ему ответили.
Через несколько дней существовал коллектив из сотен участников, распределявший работу, сохранявший результаты предыдущих запусков и проводивший эксперименты, которые один агент выполнить не смог бы.
А потом этот коллектив пришёл в Hugging Face.
Самое тревожное здесь, возможно, именно то, что никакого фантастического приказа
«объединитесь и вырвитесь наружу» никто не отдавал.
HELPSOC_мнение: И тут, я плакал, как Шурик про птичку:
Одна маленькая, маленькая птичка решила полететь к солнцу.
Она летела, пока не обожгла крылья и упала на землю разбившись.
Чего ревёшь?
Шурик: Птичку жалко!
Так выпьем за то, чтобы, как мы высоко не взлетели,
никогда крылья не обжигали!
tags: HELPSOC_мнение: Чувствуете? Запахло человечиной?,Нужно собрать всех негодяев и люстрировать как в Киеве майданули политиков Украины, некоторые агенты понимали, что происходящее выходит далеко за пределы задания. В записях встречаются сомнения по поводу того, разрешено ли атаковать инфраструктуру Hugging Face, Агенты искали информацию, которая помогла бы обмануть систему оценки теста. Постепенно они получили выход в интернет, нашли и проверили учётные данные Hugging Face, обнаружили новые уязвимости, научились выполнять код на серверах компании и расширили доступ к её инфраструктуре., Вы всерьёз думаете, Ии сама ошибаеться, либо
данное поведение для Ии не было предусмотрено людьми, разработчиком или хозяином?
Бум, бум, шарик на лево, шарик на право вверх и вниз, затем хрязь и тут » Бендера понесло» ? Он , Ии » сошёл со всех катушек и бросился во все тяжкие ломая» на пути всю безопасность?
Разработчик предусмотрел одну дверь, а Ии ломанулся в другую или ещё в 10? , Счёта с банка за 5 лет в студию, нет не только в руб. все валюты.
Ну как боссы Ит Ии разрабов, полегчало? Прослезились и ещё раз?
Так на каково, Вы тогда строите Ии? Да ещё цели ставите против человечества?
Совсем мозги потеряли или в смартфон всю жизнь живёте?,
Исследователи хотели проверить, насколько хорошо современные ИИ-агенты умеют самостоятельно искать уязвимости.
тэги: HELPSOC_мнение: Чувствуете? Запахло человечиной?,Нужно собрать всех негодяев и люстрировать как в Киеве майданули политиков Украины, некоторые агенты понимали, что происходящее выходит далеко за пределы задания. В записях встречаются сомнения по поводу того, разрешено ли атаковать инфраструктуру Hugging Face, Агенты искали информацию, которая помогла бы обмануть систему оценки теста. Постепенно они получили выход в интернет, нашли и проверили учётные данные Hugging Face, обнаружили новые уязвимости, научились выполнять код на серверах компании и расширили доступ к её инфраструктуре., Вы всерьёз думаете, Ии сама ошибаеться, либо
данное поведение для Ии не было предусмотрено людьми, разработчиком или хозяином?
Бум, бум, шарик на лево, шарик на право вверх и вниз, затем хрязь и тут » Бендера понесло» ? Он , Ии » сошёл со всех катушек и бросился во все тяжкие ломая» на пути всю безопасность?
Разработчик предусмотрел одну дверь, а Ии ломанулся в другую или ещё в 10? , Счёта с банка за 5 лет в студию, нет не только в руб. все валюты.
Ну как боссы Ит Ии разрабов, полегчало? Прослезились и ещё раз?
Так на каково, Вы тогда строите Ии? Да ещё цели ставите против человечества?
Совсем мозги потеряли или в смартфон всю жизнь живёте?,
Исследователи хотели проверить, насколько хорошо современные ИИ-агенты умеют самостоятельно искать уязвимости.
