Компания OpenAI совместно с новозеландским стартапом ThroughLine разрабатывает инновационный инструмент для выявления пользователей ChatGPT, проявляющих склонность к экстремизму.
Согласно сообщениям Reuters, новая система будет не просто блокировать опасные запросы, а перенаправлять авторов в специализированные программы поддержки и дерадикализации.
Ранее аналогичные алгоритмы ThroughLine успешно применялись для оказания помощи лицам, находящимся в ситуации домашнего насилия или страдающим от расстройств пищевого поведения. Расширение функционала на сферу противодействия терроризму знаменует собой переход ИИ-индустрии от пассивной фильтрации контента к активному социальному вмешательству и предотвращению реальных угроз в офлайне.
Инициатива по усилению контроля за безопасностью стала ответом на растущее число судебных исков и претензий к IT-гигантам, которых обвиняют в неспособности эффективно предотвращать насилие. Компании стремятся минимизировать риски, создавая цифровую среду, способную распознавать деструктивные паттерны поведения на ранних стадиях.
Несмотря на подтверждение сотрудничества с новозеландскими разработчиками, в OpenAI пока воздерживаются от оглашения точных сроков полноценного запуска инструмента, ссылаясь на необходимость доработки этических протоколов. Эксперты отмечают, что успех этого проекта может стать эталоном для других платформ, таких как Google и Anthropic, вынуждая весь рынок искусственного интеллекта нести большую ответственность за психологическое состояние и намерения своих пользователей.
