Попробую прояснить максимально кратко.

1. В канале, в чатах, на мероприятиях, в видео, на группах или в рамках консалтинговой и исследовательской работы — в общем, везде мы (АСМ) говорим о паттернах.

Паттернах поведения тех или иных систем. Работая с проблемами человека или бизнеса, мы в первую очередь диагностируем и находим те паттерны, которые ведут к системным дисфункциям.

Простой пример: некоторые пищевые паттерны ведут к системной дисфункции, выраженной в диабете.

Пример посложнее: некоторые паттерны мышления ведут к дисфункции, выраженной в постоянном поиске себя, предназначения.

Другие паттерны — к постоянной "болтанке" в жизни человека или компании. И так далее.

2. Паттерны эти обычно человеком не осознаются. При этом они, как призма, как фильтр, определяют восприятие и поведение человека.

3. Некоторые паттерны ведут к более наполненной, "счастливой" жизни.
Так как паттерны — это некоторое поведение, отношения, а не объекты,— люди делятся ими через истории, метафоры.
Самая популярная в истории книга с историями и метафорами — Библия.
Сюда же относится любая религия, философия, притча, квантовая физика и еще целый вагон областей знания.

4. Есть же паттерны, которые ведут к разрушению систем.

Простой пример: бесконтрольные действия (например, рост) без оглядки на остальной организм (большую систему).
Именно так работают раковые клетки, которые со временем этот самый игнорируемый организм уничтожают.

Описанию таких разрушающих паттернов я уже посвящал статью.

5. Сейчас мы видим рост рынка психотерапии и антидепрессантов. Это также следствие определенной ментальной дисфункции, то есть следствие определенных паттернов, имеющих место в системе мышления людей.

6. Технология ИИ, которая по версии техноптимистов должна спасти человечество от самих себя, на мой взгляд, — самый большой экзистенциальный риск для человечества.

Именно ввиду сказанного выше: разработчики будут теми, кто неосознанно заложат свои паттерны (пункт 2), либо обучат ИИ этим паттернам (данные, на которых будет обучаться ИИ, также произведены людьми и скрыто содержат те самые паттерны людей).

7. То есть, если сознательно никак это не скорректировать, мы получим разум, способный делать то, что мы делаем, только куда эффективнее и быстрее: ненавидеть, выгорать, поляризоваться, воевать, отменять, бороться с инакомыслием, давать пощечину за оскорбление и так далее.

Информация об этом есть в публичном поле:
Бот-расист от Microsoft
Исследования этики Института Аллена
А вот от Deepmind

А некоторые соцсети и их алгоритмы справляются с задачами, например, поляризации, — куда лучше любой пропаганды. Об этом я писал в статье "Как поверить во все".

8. Представьте ситуацию.

При разработке ИИ человек "передаст" ему паттерн:
«Есть хорошие и плохие. Хорошим нужно помогать, с плохими бороться» — такой популярный в текущих реалиях, и, скорее всего, разделяемый большинством аудитории.

Действуя, исходя из этого паттерна, ИИ потребуется определить этих плохих и хороших.
И непонятно, кому будет лучше: плохим "воробьям", которых убьют быстро, или хорошим "китайцам", которые будут умирать от голода (см Китайцы и воробьи)

Злом может оказаться конкретный человек (актер или писательница), может оказаться компания, страна или нация.
Мы это видим последние годы.

Я пытаюсь донести непростую мысль:
В происходящее сейчас вы можете подставлять любые действующие лица, любых акторов и получать складную историю, подтверждающую те или иные (причем(!), полярные) точки зрения. Злом может быть объявлен любой.
И проблема тут не в акторах, а проблема — в паттернах поведения.

9. Пока эффективность борьбы со всем плохим во имя всего хорошего ограничена технологиями и интеллектуальными возможностями человека.

В момент создания полноценного ИИ эти ограничения будут нивелированы.

ИИ просто реализует паттерн, эту "борьбу", с устрашающей скоростью, эффективностью и "хладнокровием".

10. В этом суть риска.

В этом суть того, что мы — АСМ — пытаемся скорректировать, изучая и делясь альтернативными паттернами, популяризируя и внедряя их в умы людей, в культуру компаний, в картину мира людей, которые строят завтрашний день.

Людей, которые вне всяких сомнений, в один день создадут ИИ.