Нежная сингулярность

До чего дошёл прогресс — труд физический исчез,
Да и умственный заменит механический процесс.
Позабыты хлопоты, остановлен бег,
Вкалывают роботы, а не человек.

2 месяца назад в своём блоге Сэм Альтман, опубликовал одноимённую статью, в которой размышляет о ближайшем будущем человечества в эпоху взрывного развития ИИ. Автор утверждает, что мы уже пересекли «горизонт событий», т.е. точку невозврата, за которой технологии начинают ускорять сами себя.

Эти слова звучат обнадёживающе и даже почти романтично. Но стоит ли верить в такую безоблачную картину, если мы по-прежнему окружены вполне себе земными проблемами?

Кто такой Сэм Альтман и почему стоит прислушиваться к его мнению

Сэм Альтман — фигура в технологическом мире почти легендарная. Бывший президент акселератора Y Combinator, человек, стоявший за запуском сотен стартапов, а сегодня — глава OpenAI, компании, подарившей миру ChatGPT и другие модели искусственного интеллекта.

Важно помнить и о другом: Альтман — не только инженер и управленец, но и главный бенефициар компании. Оптимизм, которым пропитано данное эссе — это взгляд инвестора, для которого новые технологии прежде всего возможность увеличения капитала.

Давайте посмотрим на его прогнозы трезвым взглядом и обсудим, моменты, которые они могут не учитывать.

Что вообще за «сингулярность» такая?

Прежде всего необходимо определиться с понятиями. Термин сингулярность происходит от латинского singularis «единственный, особенный» и используется в разных отраслях науки:

• В математике сингулярность — это точка, в которой функция теряет определённость, например: 1/x стремится к бесконечности при x стремящемся к 0.
• В физике — это область, где законы теряют силу из-за экстремальных условий, например: ньютоновская механика не работает при околосветовых скоростях.
• В философии — это момент, когда прежние представления перестают объяснять реальность: как переход от мифологического мышления к рациональному.

Автор же под сингулярностью имеет в виду необратимые изменения когда ИИ станет настолько мощным и повсеместным, что «чудеса» быстро превратятся в обыкновенный бытовой инструмент.

Ниже будут рассмотрены несколько самых важных, на наш взгляд, тезисов из его статьи.

1. Сингулярность уже началась и она необратима

We are past the event horizon; the takeoff has started.

Это не просто красивая метафора — это намеренный выбор термина из физики чёрных дыр. «Горизонт событий» — это граница, после которой уже невозможно вернуться обратно. Даже свет не может спастись. Автор прямым текстом говорит: человечество запустило такой процесс, который уже не остановить. ИИ не просто помощник или игрушка, а новый виток развития цивилизации, на котором теперь всё держится.

Если и дальше использовать метафору чёрной дырой, где движение может быть только вперёд без каких-либо гарантий, то получается, что:

• мы не контролируем темп;
• мы не знаем конечной точки;
• мы не можем остановиться.

Предположим, что это действительно так и мы пересекли точку невозврата — значит, все разговоры о «может быть, давайте подумаем» больше не актуальны. Надо не «обсуждать риски», а активно строить механизмы сдерживания, защиты и коллективного управления.

2. «ИИ сильнее любого человека»… а в чём именно?

In some big sense, ChatGPT is already more powerful than any human who has ever lived.

Вполне себе будничная фраза, сказанная практически между делом. Мол, чему удивляться-то? ChatGPT уже могущественнее Ньютона, Эйнштейна и Шекспира. Вместе взятых.

Смелое заявление, давайте уточним, в чём именно заключается могущество?

• В скорости работы? Да.
• В объёме информации и доступу к данным? Да.
• В способности выполнять сотни задач на любых языках? Тоже да.

Вычислительные мощности огромны и ни один человек не в состоянии конкурировать с ИИ.

Но:

• ChatGPT НЕ ПОНИМАЕТ то, о чём говорит — он предсказывает вероятное следующее слово.
• У него нет ни опыта, ни ценностей, ни понятия морали и нравственности — только статистика.
• Он не несёт никакой ответственности за сказанное. И никогда не будет.

Когда звучат утверждения, что ИИ «мощнее человека», то происходит подмена понятий и мы наделяем человека статусом субъекта, хотя он им не является. А следом возникает соблазн делегировать ИИ всё больше задач — от принятия решений до иллюзии, что за последствия теперь отвечает машина.

Как следствие — меньше спрашивать с людей, больше доверять ответам модели. Если GPT и вправду сильнее любого из нас, значит, самое время спросить: а кто контролирует того, кто сильнее всех?

3. Чудеса быстро приедаются

This is how the singularity goes: wonders become routine, and then table stakes.

Великолепная фраза! Автор описывает эффект, который уже заметен: сначала чудо → потом обыденность → в конце концов разочарование.

• GPT сгенерировал поэму? Удивительно.
• GPT написал программу? Вау.
• GPT не может защитить кандидатскую по философии за три минуты? Ну что за устаревший хлам…

Вот она, «нежная» сингулярность, мы постоянно поднимаем планку наших ожиданий и очень быстро технологическое изумление сменяется потребительской нетерпеливостью.

С другой стороны, когда всё становится «ожидаемым», критическое мышление притупляется.

Чудеса, по мнению автора, превращаются в «столовые приборы» (table stakes), а это значит, что нам больше не надо задаваться вопросом:

• А как это работает?
• А кто это контролирует?
• А надо ли нам это в таком виде вообще?

Получается, что сингулярность действительно становится «нежной», но настолько нежной, что мы даже не почувствуем.

4. «Человечество адаптируется» — а какой ценой?

We will figure out new things to do and new things to want, and assimilate new tools quickly.

Звучит как доказательство методом индукции. Мы всегда справлялись: с огнём, паром, электричеством, интернетом. И в этот раз тоже выкрутимся. Предлагаем вспомнить побочные эффекты индустриальной революции, которую автор приводит в пример:

• Массовая урбанизация сопровождалась трущобами, грязью и эксплуатацией детского труда.
• Череда революции и восстаний прокатившихся по всему миру от Парижской Коммуны до Октября 1917.
• Появление фашизма и расовых теорий, вызванных социальным неравенством.
• Две мировые войны, которые в XX веке устроили передовые демократии мира за ресурсы, колонии и передел сфер влияния. Первая унесла жизни 19 млн человек^[1], Вторая - более 70^[2]. Даже если ставить под сомнение цифры, указанные в Википедии — масштаб шокирует.

Адаптировались. Да.

А теперь сравните темпы. Тогда технологии развивались десятилетиями, а сейчас — каждый месяц (а иногда и быстрее) выходит новая модель. К ИИ подключены миллиарды людей, при этом нет ни чётких прав, ни обязанностей.

Альтман говорит «ИИ-сингулярность», представляя машины, которые когда-то превзойдут человека. Но есть и другая, куда более скрытая угроза.

Когнитивная война — когда оружием становится сам человек

Подростки ещё не успели разобраться, как работают алгоритмы TikTok, а уже появляется генеративный видео-ИИ, который не просто рекомендует, а в реальном времени генерирует контент, управляет вниманием и продвигает нужные нарративы.

Совсем недавно, в исторической перспективе, Facebook обещал «соединить мир», YouTube казался порталом знаний, а Twitter — глобальной площадкой для диалога. Нам говорили: алгоритмы помогут находить важное, полезное, интересное.

А потом выяснилось, что алгоритмы работают не для тебя, а с тобой. Не ради твоего блага, а ради клика, удержания и монетизации. Они не различают ценность информации, их интересует только твоё внимание.

Результат?

• манипуляции и радикализация;
• бесконечная прокрастинация;
• антипрививочники и теории плоской Земли.

Не самые сложные алгоритмы уже давно умеют искажать восприятие реальности, а что будет, когда на их место придут системы с глубоким «пониманием» контекста и куда большей свободой действий?

ИИ сегодня умнее, чем тогдашние алгоритмы. Но кто сказал, что цели стали лучше?

Эту реальность всё чаще называют когнитивной войной — невидимым фронтом, где мишенью становится человеческий разум. Немецкий исследователь Йонас Тёгель в книге «Kognitive Kriegsführung» (2023) показывает, что речь идёт о системном воздействии на восприятие и эмоции, о «взломе разума», когда человек действует в интересах чужой силы, будучи уверен, что это его собственный выбор^[3].

Йонас Тёгель — немецкий политолог, исследователь пропаганды и soft power («мягкой силы»), автор книги «Kognitive Kriegsführung: Neueste Manipulationstechniken als Waffengattung der NATO» (Westend Verlag, 2023).

А как дела у наших соседей?

Пока мы обсуждаем как провести выходные, известный североатлантический светоч безопасности и демократии обсуждает идею создания «шестого фронта» ^[4]. Наряду с сушей, морем, воздухом, космосом и киберпространством появляется новый домен — человеческая или когнитивная сфера, где решает уже не оружие, а контроль над вниманием и сознанием. Безусловно, делает он это исключительно в благих целях.

В нашем инфопространстве первым про когнитивные войны заговорил политолог Семён Уралов, шеф-редактор проекта СОНАР‑2050. В своём телеграмм канале регулярно рассказывает о методике ведения когнитивных войн, а также о способах противодействия. Рекомендуем ознакомиться для «чистоты понимания» ©.

Заключение

Артур Кларк — выдающийся британский писатель-фантаст, футуролог, инженер и популяризатор науки, в интервью журналу Esquire:^[5]

«Эпитафия нашей расе, написанная бегущими светящимися буквами, будет гласить: Тем, кого боги хотят уничтожить, они сначала дают телевизор. Мы становимся расой созерцателей, а не созидателей. Но с другой стороны, смотреть телевизор — все равно что дышать: без него не обойтись. Человек может дольше прожить без еды, чем без информации. Загвоздка — в образовательной системе: людей надо обучать разборчивости. Только самодисциплина сможет противостоять тем волшебным силам, которые еще только будут вызваны нами к жизни. Иначе все станем морскими губками.»

Как известно, на дне ящика Пандоры находится надежда. Но чтобы до неё добраться, надо справиться с бедами, страданиями и болезнями. А мы, похоже, пока ещё не поняли, какого размера этот ящик.

Ссылки и сноски

1. https://ru.wikipedia.org/wiki/Потери_в_Первой_мировой_войне
2. https://ru.wikipedia.org/wiki/Потери_во_Второй_мировой_войне
3. https://overton-magazin.de/top-story/die-kognitive-kriegsfuehrung-der-nato/
4. https://www.act.nato.int/activities/cognitive-warfare/
5. https://www.pravilamag.ru/hero/12-arthur-clarke/

Если вам понравилась эта статья и хочется больше идей, советов и полезных материалов – подпишитесь на наш Telegram-канал! Там мы делимся эксклюзивным контентом, вдохновением и новостями.