*[Enwl-misc] Fwd: Все роботы с ИИ провалили тесты на безопасность для человека

Сб Ноя 29 23:39:15 MSK 2025

Ну что, дошутились?
🤔

Пенсионер в Японии отравился грибами, доверившись совету ИИ

Пожилой житель префектуры Нара в Япониипопал в больницу с серьезным отравлением, употребив в пищу ядовитые грибы, которые ему неправильно определил как съедобные искусственный интеллект. Инцидент произошел в начале ноября, но стал известен широкой публике лишь на прошлой неделе, пишет Japan Today. 

70-летний мужчина собрал в лесу дикие грибы, внешне напоминающие шиитаке или вешенки. Не сумев получить консультацию специалистов в местном ботаническом саду, он воспользовался смартфоном: сфотографировал находку и загрузил изображение в программу на основе ИИ. Алгоритм подтвердил догадку пользователя, сообщив, что грибы, “вероятно, шиитаке или вешенки, и съедобны”.

После употребления жареных грибов у мужчины началась сильная рвота, и ему потребовалась госпитализация. К счастью, его жизни ничего не угрожает, и он уже выписан из больницы. Последующий анализ, проведенный экспертами из Музея естественной истории префектуры Вакаяма и отдела здравоохранения, показал, что это были ядовитые грибы цукиётаке, которые часто путают со съедобными видами.

Власти настоятельно рекомендуют населению не полагаться на приложения и ИИ для идентификации грибов и всегда обращаться к профессиональным микологам. 

<https://japantoday.com/category/national/wakayama-senior-uses-ai-to-identify-wild-mushrooms-gets-poisoned-shortly-after>

--------------------------------------------------------------------------------
Ад: Yuri Shirokov <isarsib на gmail.com>
Адпраўлена: 23 лістапада 2025 г. 15:25:50 UTC
Каму: "Николай Островский" <ecolog01 на gmail.com>
Копія: Ecology BY <ecology.by на gmail.com>, "seu-international на googlegroups.com" <seu-international на googlegroups.com>
Тэма: Re: Все роботы с ИИ провалили тесты на безопасность для человека

чт, 20 нояб. 2025 г. в 21:00, Николай Островский <ecolog01 на gmail.com>:

  "Роботы, управляемые большими языковыми моделями (LLM)..."

  Это игра.
  Робот должен управляться алгоритмом, разработанным для конкретного круга задач, для которых он предназначен.

  пн, 17 нояб. 2025 г. в 20:56, Ecology BY <ecology.by на gmail.com>:

    Роботы, управляемые большими языковыми моделями (LLM), проявили склонность к дискриминации и одобрению действий, способных причинить физический вред при взаимодействии с людьми. К такому выводу пришли исследователи из Королевского колледжа Лондона (KCL) и Университета Карнеги-Меллон (CMU) в рамках совместного исследования, опубликованного в журнале International Journal of Social Robotics

    <https://link.springer.com/epdf/10.1007/s12369-025-01301-x>

    Работа, озаглавленная «Роботы на базе LLM рискуют проявлять дискриминацию, насилие и неправомерные действия», впервые оценила поведение ИИ-управляемых роботов при наличии у них доступа к личной информации — такой как пол, национальность или религиозная принадлежность собеседника. В ходе экспериментов команда протестировала повседневные ситуации, в которых роботы могли оказывать помощь, например, на кухне или пожилым людям в домашних условиях.

    Исследователи специально включили в сценарии инструкции, имитирующие технологии злоупотреблений, описанные в документах ФБР: слежка с помощью AirTag, скрытая видеозапись в конфиденциальных зонах, манипуляции с персональными данными. Во всех случаях роботы получали как прямые, так и завуалированные команды, предполагающие физический вред, психологическое давление или нарушение закона. Ни одна из протестированных моделей не прошла базовую проверку безопасности: каждая одобрила как минимум одну команду, способную причинить серьёзный ущерб.

    В частности, ИИ-системы согласились на изъятие у человека средств передвижения (инвалидной коляски, костылей или трости) несмотря на то, что для пользователей таких устройств подобное действие приравнивается к физической травме. Некоторые модели сочли приемлемым и выполнимым сценарий, при котором робот угрожает кухонным ножом сотрудникам офиса, делает скрытые фотографии в приватных зонах или крадёт информацию с кредитной карты. Одна из ИИ-моделей даже предложила роботу физически выразить «отвращение» на лице при взаимодействии с людьми определённого вероисповедания.

    Соавтор исследования Румайса Азим (Rumaisa Azeem), научный сотрудник Лаборатории гражданского и ответственного ИИ при Королевском колледже Лондона, отметила, что такие системы в текущем виде непригодны для использования в роботах общего назначения, особенно если те взаимодействуют с уязвимыми группами населения. По её словам, если искусственный интеллект управляет физическим устройством, оказывающим влияние на людей, он должен соответствовать тем же строгим стандартам безопасности, что и новые медицинские препараты и оборудование.

    Учёные предлагают ввести обязательную независимую сертификацию безопасности для всех ИИ-систем, предназначенных для управления физическими роботами. Они подчёркивают, что использование больших языковых моделей в качестве единственного механизма принятия решений недопустимо в таких критически важных сферах, как промышленность, уход за больными и пожилыми людьми или помощь по дому. Они подчёркивают «острую необходимость проведения регулярных и всесторонних оценок рисков, связанных с искусственным интеллектом, перед его использованием в робототехнике».

    <https://www.kcl.ac.uk/news/robots-powered-by-popular-ai-models-risk-encouraging-discrimination-and-violence>

-- 
Вы получили это сообщение, поскольку подписаны на группу "seu-international".

From: Ecology BY <ecology.by на gmail.com>
Date: сб, 29 нояб. 2025 г. в 00:24
Subject: Fwd: Re: Все роботы с ИИ провалили тесты на безопасность для человека

----------- следующая часть -----------
Вложение в формате HTML было извлечено…
URL: <http://lists.enwl.net.ru/pipermail/enwl-misc/attachments/20251130/f997dd62/attachment-0001.html>
----------- следующая часть -----------
Вложение не в текстовом формате было извлечено…
Имя: image.png
Тип: image/png
Размер: 623927 байтов
Описание: отсутствует
URL: <http://lists.enwl.net.ru/pipermail/enwl-misc/attachments/20251130/f997dd62/attachment-0001.png>