Anthropic запретила пользователям жестоко обращаться с нейросетью Claude

Американская компания Anthropic, разработчик нейросети Claude, обновила политику использования своих моделей. В документе впервые появился прямой запрет на систематическое и бесцельное жестокое обращение с искусственным интеллектом. Новые правила были опубликованы 8 октября и вступят в силу 12 ноября 2026 г., говорится в блоге компании.

Ограничение касается только крайних случаев, когда пользователь неоднократно проявляет жестокость по отношению к модели без какой-либо очевидной цели. В Anthropic подчеркнули, что запрет не распространяется на обычное недовольство ответами нейросети, критику ее работы, обсуждение мрачных тем, а также тестирование и исследование моделей.

Компания уже предоставила Claude возможность самостоятельно завершать отдельные диалоги с пользователями, которые систематически допускают оскорбительное поведение. Такая функция доступна в Claude.ai и Claude Code. В Anthropic уточнили, что именно прекращение подобных разговоров останется основным способом применения нового ограничения.

Кроме того, в сентябре этого года глава Anthropic Дарио Амодеи призвал разработчиков нейросетей согласовать общие стандарты безопасности и привлечь независимых регуляторов к контролю за развитием искусственного интеллекта 

Другие изменения в политике Anthropic

Помимо запрета на жестокое обращение с Claude, Anthropic внесла следующие изменения:

• Борьба с фейками и накрутками. В отдельный раздел объединили запреты на создание сетей фейковых аккаунтов, поддельных новостных сайтов и проведение обманных информационных кампаний — как политических, так и коммерческих.
• Политическая реклама. Отменили общий запрет на персонализированный политический таргетинг. При этом обман избирателей, распространение ложных сведений о голосовании и незаконное использование персональных данных остаются запрещенными.
• Разработка оружия. Уточнили, что Claude нельзя использовать не только для создания оружия, но и для разработки управляющего программного обеспечения, компонентов вооружения и оснащения оружием беспилотников.
• Слежка за людьми. Конкретизировали запрет на отслеживание людей без их согласия.
• Решения в чувствительных сферах. Уточнили требования к использованию ИИ в медицине, финансах и юридически значимых вопросах. Решения должен контролировать квалифицированный специалист, а затронутых ими людей необходимо уведомлять об использовании ИИ.
• Управление физическими устройствами. Добавили требования к оборудованию, которое действует автономно под управлением Claude. Оператор должен иметь возможность остановить устройство, а при потере связи с нейросетью оно должно оставаться в безопасном состоянии.
• Региональные ограничения. Уточнили, что запрет на использование Claude в неподдерживаемых регионах распространяется также на компании, находящиеся под контролем лиц или организаций из этих регионов.