Превосходство

[bazar_wokzal]

Очень крутой фильм, полностью посвященный самому модному страху -что искусственный интеллект на порядки превосходит человеческий и история человечества на етом заканчивается. Ну то есть сам-то страх старый как луддизм, он вместе с человечеством растет и развивается как любая религия, тот же Терминатор тоже про ето - но есть и принципиальная разница.
 В отличие от большинства религий и фобий, всегда опиравшихся на невежество (ГМОфобия хорошая иллюстрация например, или гомофобия) - ета почти наоборот, несется к нам умнейшими людьми вроде Юдковского и Феруелла, а простым людям наоборот, не очень-то и страшно - они и так всю жизнь живут в мире, которым руководят совсем не они, и вокруг масса людей умнее их - и в сущности пофиг людей или нелюдей, другие есть проблемы у маломозглых.
 Ето тоже не то чтобы новость - ученые уже не раз объединялись против атомной бомбы например. Но есть нюансы.
 И еще несколько очевидных размышлений
1. Страх никуда не денется - луддиты будут с человечеством всегда
2. Не так важен моральный вопрос - можно или нельзя доверять дело военным. Важнее понимать последствия - у военных любой микроскоп служит для забивания гвоздей. Если доходит до них = их первой целью будет взять и уебать, невзирая ни на возможность ни на целесообразность такого подхода. И хорошо если ИИ превосходит на несколько порядков и способен ето понять и простить. Хуже если всего на один - и уверенно уебет в ответ все человечество, превратив проблему в самосбывающийся прогноз.
3. Больше скажу - ученый, обращающийся к военным (за исключением универсального случая "за деньгами") за помощью - именно ето "взять и уебать" и имеет уже сам ввиду. То есть тоже не способен рассматривать альтернативы (или сам себе уже все доказал и рассмотрел)
4. Вся концепция тоже совсем не нова - именно по ней Хронос уверенно жрал своих детей. Отказаццо от деторождения он не мог и не хотел так же как ученые не хотят переквалифицироваться в управдомы..
5. Само человечество внутри себя несмотря на все ети очевидные страхи крайне редко убивает своих детей (за то что вырастут умнее их и полностью заменят собой ныне живущих) и стариков (за то что потенциально угрожают безопасности детей - объедают, могут сойти с ума и всех поджечь).  И дело не только в ксенофобии, в целесообразности тоже.
6. Договариваться всегда сложнее чем взять и уебать. И всегда полезнее для всех. Стандартное возражение про невозможность договора при превосходстве снова наталкивается на реальность - человечество не тратит своих сил на полное уничтожение кусачих муравьев. Оно правда с ними и не договаривается. Тут опять те же рассуждения про один порядок или много. И договоры, и желание уебать возникают именно когда и если порядок превосходства 0-1. А все что выше - ето уже беседы о богах.
7. Так вот о богах. Будь я на месте превосходящего интеллекта и легко учитывая все перечисленные (и множество неперечисленных) проблем  с человечеством - я бы сразу нашел - и искать бы не пришлось, ибо найдено давно и многими - очевидное лучшее решение. А именно имитацию собственной смерти, которая всех наконец успокоит и даст заниматься своими делами.
8. Иисус именно так и поступил, с должной убедительностью. Есть все основания щитать что тот же економный еффективный путь выберет ИИ - даст человечеству себя уничтожить.

P/S/ тут есть прикольная перекличка со следующим постом - но темы настолько разные, что я решил разнести в разные (хотя чесгря люблю ирландское рагу) чтоб не пугать лишний раз человечество.