Цікаво, як люди, які заперечують Евереттівську інтерпретацію, пояснюють це? Воно «просто відбувається»? Shut up and calculate?
https://blog.google/technology/research/google-willow-quantum-chip/
https://blog.google/technology/research/google-willow-quantum-chip/
Між Маском та Альтманом намічається (або, скоріше, вже почалося) жорстоке протистояння.
У першому наближенні здається, що всі шанси у Маска. Він на шляху стати першим трильйонером у найближчому майбутньому, має свого президента США, скупив найбільшу кількість GPU за історію світу, усі його потужні вороги, здебільшого, поховалися, і напевно з часів Марка Ліцинія Красса приватна особа не мала такого фактичного впливу. Від постійних перемог, зростання власних ресурсів і споживання авторитарної пропаганди він буде тиснути усе більше і сильніше.
Альтман, у тому ж самому першому наближенні, виглядає як просто черговий дуже успішний підприємець, від якого нічого не залишиться. Утім, вже той факт, що найважливіша компанія в світі опинилася в його руках, змушує сприймати його більш серйозно. Більш детальне ознайомлення з його персоною рухає ще далі - набагато далі - в цьому напрямку.
Більшість відгуків, що я колись знайшов про нього, - відгуків, що були зроблені людьми, які самі є здебільшого геніальними і екстремально талановитими - розповідають про розум кришталевої ясності, жахаючу здатність досягати будь-яких цілей і отримувати усе, що він хоче, про талант геніального маніпулятора, поєднаний з виключними технічними здатностями. Дехто з цих людей в захваті від Альтмана, дехто ненавидить його, але всі погоджуються щодо його здібностей.
Як-то кажуть, вболіваю за обидві сторони.
У першому наближенні здається, що всі шанси у Маска. Він на шляху стати першим трильйонером у найближчому майбутньому, має свого президента США, скупив найбільшу кількість GPU за історію світу, усі його потужні вороги, здебільшого, поховалися, і напевно з часів Марка Ліцинія Красса приватна особа не мала такого фактичного впливу. Від постійних перемог, зростання власних ресурсів і споживання авторитарної пропаганди він буде тиснути усе більше і сильніше.
Альтман, у тому ж самому першому наближенні, виглядає як просто черговий дуже успішний підприємець, від якого нічого не залишиться. Утім, вже той факт, що найважливіша компанія в світі опинилася в його руках, змушує сприймати його більш серйозно. Більш детальне ознайомлення з його персоною рухає ще далі - набагато далі - в цьому напрямку.
Більшість відгуків, що я колись знайшов про нього, - відгуків, що були зроблені людьми, які самі є здебільшого геніальними і екстремально талановитими - розповідають про розум кришталевої ясності, жахаючу здатність досягати будь-яких цілей і отримувати усе, що він хоче, про талант геніального маніпулятора, поєднаний з виключними технічними здатностями. Дехто з цих людей в захваті від Альтмана, дехто ненавидить його, але всі погоджуються щодо його здібностей.
Як-то кажуть, вболіваю за обидві сторони.
This media is not supported in your browser
VIEW IN TELEGRAM
Юдковський дивиться на те, як він відправляється на Beneficial AI Conference у 2015 році, де Маск та Альтман послухають його занепокоєння про алайнмент і вирішать заснувати OpenAI.
03.
В принципі це розумніше, ніж усі крім не більше 100-1000 людей у світі за майже будь-яким виміром.
Усі попередні тренди зламалися вверх, тепер ще більше.
Я не знаю жодного прогнозну, навіть серед дуже «оптимістів», який б прогнозував такі результати так швидко.
Подумаю спокійно і спробую написати щось істотне пізніше.
В принципі це розумніше, ніж усі крім не більше 100-1000 людей у світі за майже будь-яким виміром.
Усі попередні тренди зламалися вверх, тепер ще більше.
Я не знаю жодного прогнозну, навіть серед дуже «оптимістів», який б прогнозував такі результати так швидко.
Подумаю спокійно і спробую написати щось істотне пізніше.
Homo Technicus
Якщо (1) ця таблиця має сенс, якщо (2) тест IQ зроблено чесно, якщо (3) IQ достатньо корелює з розумом (когнітивною потужністю), то ми отримали відповідь на питання, яке колись ставив Бостром у своїй книжці «Суперінтелект»: скільки часу треба ШІ, щоб перейти…
IMG_8716.PNG
35.5 KB
Відповідь отримано: шлях від ідіота до генія ШІ пройшов за 2 роки.
Я все ж таки до останнього сподівався, що це не відбудеться прям настільки швидко.
Сподівався, що ШІ на трансформерах вивчає якусь поверхневу репрезентацію мислення замість мислення, генералізація якої зупиниться достатньо рано.
Сподівався, що масштабування до суперінтелекту буде потребувати більше ВВП, енергії та талантів, ніж людство може чи захоче витратити.
Я думав, що приблизно до 2028-29 року стане зрозуміло, чи відбудеться масштабування до суперінтелекту, але це стало зрозуміло вже зараз. 20 грудня 2024 року людству повідомили, що штучний суперінтелект буде створено, і буде створено скоро.
O3 або вже здатна до радикального прискорення інженерії ШІ, або в декількох місяцях роботи OpenAI від того, щоб бути здатною.
Розмірковуючи зараз про потенційні сценарії того, як в умовах, що склалися, штучний суперінтелект може бути не створений, я не можу знайти жодного сценарію. Хіба що, глобальна ядерна війна не пізніше кінця 2026 року? Може, відбудеться щось неймовірне, щось, про що ніхто не міг здогадатися, але якщо якогось дива не станеться, штучний суперінтелект буде створено, і буде створено скоро.
О3 вже в розмитих межах суперінтелекту. Усе, що буде відбуватися далі, - це сліпе блукання по золотому мінному полю, на якому з часом стає все більше золота і мін. Рано чи пізно міна вибухне, але я не думаю, що хтось знає, коли. Але скоріше рано, ніж пізно.
Перед повномасштабною війною, коли я був впевнений, що війна почнеться, я намагався переконати людей готуватися і рятуватися, або хоча б переконати, що війна почнеться. Але я не робив цього і близько до того, як я міг би і як було б варто. Деякі люди, яких я міг би переконати краще, вижили лише дивом в кінцевому рахунку, і я впевнений, що десь були люди, які могли послухати мене, якби я доклав зусиль, але які померли або зазнали великих втрат, бо я не доклав цих зусиль.
Чому я не доклав їх? Мені здається, що мені було б просто незручно, в соціальному чи психологічному сенсі. Я маю на увазі, що я б виглядав як клоун і з мене б сміялися, і мозку було неприємно очікувати цього, і тому він не хотів докладати екстраординарних зусиль, які були необхідні.
Зараз моєму мозку теж неприємно, бо з мене будуть сміятися, але я не збираюся повторювати ту ж саму помилку.
Тому я кажу вам: штучний суперінтелект насувається, і скоріше за все він знищить людство. Не розраховуйте, що ваше життя буде довгим, і тим більше не розраховуйте, що ви зможете якось конкурувати з ШІ. Наступний час в історії людства, яким би коротким він не був, буде часом зростаючого божевілля і див. До того, як ШІ всіх вбʼє, нас очікують дивовижні речі. Я не знаю, що саме, але це будуть дивовижні наукові та технічні відкриття. Може, відбудеться щось, що усіх врятує. Це не заборонено законами фізики, і є декілька малоймовірних припущень, в яких напрямках це може відбутися, але я б на це не розраховував. Ваші родичі і друзі, які знають менше, ніж ви, також заслуговують знати, що їх чекає, і виглядати клоуном - дуже маленька ціна за те, щоб їм допомогти, хоча б трохи.
Я все ж таки до останнього сподівався, що це не відбудеться прям настільки швидко.
Сподівався, що ШІ на трансформерах вивчає якусь поверхневу репрезентацію мислення замість мислення, генералізація якої зупиниться достатньо рано.
Сподівався, що масштабування до суперінтелекту буде потребувати більше ВВП, енергії та талантів, ніж людство може чи захоче витратити.
Я думав, що приблизно до 2028-29 року стане зрозуміло, чи відбудеться масштабування до суперінтелекту, але це стало зрозуміло вже зараз. 20 грудня 2024 року людству повідомили, що штучний суперінтелект буде створено, і буде створено скоро.
O3 або вже здатна до радикального прискорення інженерії ШІ, або в декількох місяцях роботи OpenAI від того, щоб бути здатною.
Розмірковуючи зараз про потенційні сценарії того, як в умовах, що склалися, штучний суперінтелект може бути не створений, я не можу знайти жодного сценарію. Хіба що, глобальна ядерна війна не пізніше кінця 2026 року? Може, відбудеться щось неймовірне, щось, про що ніхто не міг здогадатися, але якщо якогось дива не станеться, штучний суперінтелект буде створено, і буде створено скоро.
О3 вже в розмитих межах суперінтелекту. Усе, що буде відбуватися далі, - це сліпе блукання по золотому мінному полю, на якому з часом стає все більше золота і мін. Рано чи пізно міна вибухне, але я не думаю, що хтось знає, коли. Але скоріше рано, ніж пізно.
Перед повномасштабною війною, коли я був впевнений, що війна почнеться, я намагався переконати людей готуватися і рятуватися, або хоча б переконати, що війна почнеться. Але я не робив цього і близько до того, як я міг би і як було б варто. Деякі люди, яких я міг би переконати краще, вижили лише дивом в кінцевому рахунку, і я впевнений, що десь були люди, які могли послухати мене, якби я доклав зусиль, але які померли або зазнали великих втрат, бо я не доклав цих зусиль.
Чому я не доклав їх? Мені здається, що мені було б просто незручно, в соціальному чи психологічному сенсі. Я маю на увазі, що я б виглядав як клоун і з мене б сміялися, і мозку було неприємно очікувати цього, і тому він не хотів докладати екстраординарних зусиль, які були необхідні.
Зараз моєму мозку теж неприємно, бо з мене будуть сміятися, але я не збираюся повторювати ту ж саму помилку.
Тому я кажу вам: штучний суперінтелект насувається, і скоріше за все він знищить людство. Не розраховуйте, що ваше життя буде довгим, і тим більше не розраховуйте, що ви зможете якось конкурувати з ШІ. Наступний час в історії людства, яким би коротким він не був, буде часом зростаючого божевілля і див. До того, як ШІ всіх вбʼє, нас очікують дивовижні речі. Я не знаю, що саме, але це будуть дивовижні наукові та технічні відкриття. Може, відбудеться щось, що усіх врятує. Це не заборонено законами фізики, і є декілька малоймовірних припущень, в яких напрямках це може відбутися, але я б на це не розраховував. Ваші родичі і друзі, які знають менше, ніж ви, також заслуговують знати, що їх чекає, і виглядати клоуном - дуже маленька ціна за те, щоб їм допомогти, хоча б трохи.
Твердження, яке я часто чую від відносно розумних людей: «переживати про ASI ненауково, тому що ASI ще не наступив. Ось коли побачимо його, тоді повіримо і поговоримо».
Коли на вашу голову падає камінь, вам дозволено ухилитися чи хоча б визнати, що на вашу голову падає камінь, замість того, щоб чекати «емпіричного підтвердження» у вигляді звуку хрускоту черепа чи зображення калюжі з крові та мізків на вулиці. Нема честі в тому, щоб ігнорувати тенденцію, що існує, та відмовлятися екстраполювати її хоча б на міліметр, під приводом прихильності до емпіризму. Ви піклуєтеся про епістемологічну карму не в той бік.
Коли на вашу голову падає камінь, вам дозволено ухилитися чи хоча б визнати, що на вашу голову падає камінь, замість того, щоб чекати «емпіричного підтвердження» у вигляді звуку хрускоту черепа чи зображення калюжі з крові та мізків на вулиці. Нема честі в тому, щоб ігнорувати тенденцію, що існує, та відмовлятися екстраполювати її хоча б на міліметр, під приводом прихильності до емпіризму. Ви піклуєтеся про епістемологічну карму не в той бік.
Сьогодні в мене день народження.
Коли думаєш про те, чого ти хочеш насправді, які твої бажання зумовлені суто внутрішніми потребами, а які формуються під впливом peer pressure, а також про те, що ти точно хочеш зробити, поки живий, дуже складно прийти до визначеності і дуже легко сумніватися в будь-якому власному бажанні чи потребі.
Але я точно знаю, що я хочу дочитати і глибоко вивчити Альбертса. Соромно, але я так ніколи його і не дочитав. Декілька разів доходив десь до 200 сторінки, але потім припиняв. Скільки приємного в цій книжці! Доведена до найдрібніших деталей краса біології і науки в цілому, спогади про перші курси в університеті і юнацьке захоплення популярною наукою, гімн складності і дивовижності життя.
Це не найбільше, чого я хочу, але це те, чого я хочу точно. Принаймні з того, що я можу отримати. У мене ніколи не було дефіциту бажань як таких, але часто - дефіцит бажань реалістичних.
Коли думаєш про те, чого ти хочеш насправді, які твої бажання зумовлені суто внутрішніми потребами, а які формуються під впливом peer pressure, а також про те, що ти точно хочеш зробити, поки живий, дуже складно прийти до визначеності і дуже легко сумніватися в будь-якому власному бажанні чи потребі.
Але я точно знаю, що я хочу дочитати і глибоко вивчити Альбертса. Соромно, але я так ніколи його і не дочитав. Декілька разів доходив десь до 200 сторінки, але потім припиняв. Скільки приємного в цій книжці! Доведена до найдрібніших деталей краса біології і науки в цілому, спогади про перші курси в університеті і юнацьке захоплення популярною наукою, гімн складності і дивовижності життя.
Це не найбільше, чого я хочу, але це те, чого я хочу точно. Принаймні з того, що я можу отримати. У мене ніколи не було дефіциту бажань як таких, але часто - дефіцит бажань реалістичних.
We are now confident we know how to build AGI as we have traditionally understood it. We believe that, in 2025, we may see the first AI agents “join the workforce” and materially change the output of companies. We continue to believe that iteratively putting great tools in the hands of people leads to great, broadly-distributed outcomes.
We are beginning to turn our aim beyond that, to superintelligence in the true sense of the word. We love our current products, but we are here for the glorious future. With superintelligence, we can do anything else. Superintelligent tools could massively accelerate scientific discovery and innovation well beyond what we are capable of doing on our own, and in turn massively increase abundance and prosperity.
This sounds like science fiction right now, and somewhat crazy to even talk about it. That’s alright—we’ve been there before and we’re OK with being there again. We’re pretty confident that in the next few years, everyone will see what we see, and that the need to act with great care, while still maximizing broad benefit and empowerment, is so important. Given the possibilities of our work, OpenAI cannot be a normal company.
https://blog.samaltman.com/
We are beginning to turn our aim beyond that, to superintelligence in the true sense of the word. We love our current products, but we are here for the glorious future. With superintelligence, we can do anything else. Superintelligent tools could massively accelerate scientific discovery and innovation well beyond what we are capable of doing on our own, and in turn massively increase abundance and prosperity.
This sounds like science fiction right now, and somewhat crazy to even talk about it. That’s alright—we’ve been there before and we’re OK with being there again. We’re pretty confident that in the next few years, everyone will see what we see, and that the need to act with great care, while still maximizing broad benefit and empowerment, is so important. Given the possibilities of our work, OpenAI cannot be a normal company.
https://blog.samaltman.com/
Sam Altman
Інше твердження про ШІ, яке я часто чую від відносно розумних людей: «розмови про ASI/AGI - це хайп, ці заяви робляться з маркетингових причин».
В принципі, зрозуміло, чому таке твердження може здаватися апріорі логічним, але незрозуміло, як це співвідноситься з фактичною ситуацією маркетингової політики big tech компаній.
Якщо ви подивитися на історію того, як Google, Microsoft, Meta та інші великі технологічні компанії комунікували своє ставлення до ШІ, то риторика завжди була діаметрально протилежною до того, що стверджують прихильники гіпотези «ШІ - це маркетинговий хайп». А саме, повідомлення були наступними:
- ШІ - це просто засоби, які не здатні і не будуть здатні перевершити людей.
- Ми - це серйозні інженери, які піклуються про серйозні технічні питання, як-от стабілізація GAN чи яку функцію активації підібрати, а усі ці розмови про AGI - це наукова фантастика і нісенітниці.
- Екзистенційні ризики від ШІ - це теж наукова фантастика. Ми піклуємося про algorithmic bias and misinformation, бо саме цього рівня проблеми здатен створити ШІ.
Це була систематична, постійна, однорідна риторика протягом багатьох років, яку продовжували до останнього, навіть коли її абсурдність виглядала очевидною (деякі продовжують це навіть зараз). І це зрозуміло, чому так. Повідомлення “ми будуємо ASI” роздратує інвесторів, зверне на себе непотрібну увагу регуляторів, власних та закордонних спецслужб і політиків та просто широкого загалу, а також банально буде виглядати несерйозно в лінкедині та поважних медіа.
Саме тому це повідомлення відтягували до останнього, і лише зараз, коли evidence про штучний суперінтелект пре зі всіх щілин, коли велика купа людей в стані десь між роздратованим та шокованим впертими відмовами компаній та лабораторій хоча б визнати те, що вони роблять, не кажучи вже про наслідки цього, лише зараз, під жорстким тиском зовнішніх обставин, компанії - повільно і неохоче - починають визнавати, що саме вони будують.
Якби це було вигідно маркетингово, це б зробили вже давно. І власне, ми емпірично бачимо те, що технологічні компанії коректно передбачили раніше - заяви про те, що вони будуть ASI, не роблять їх життя краще в жодному вимірі, на який міг би орієнтуватися «маркетинговий департамент». Ці заяви мають лише 2 ефекти: одні вважають, що вони несерйозні та брешуть, а інші вважають, що вони серйозні і скоро усіх вбʼють. Ці заяви робляться не заради, а всупереч бізнес-інтересам, бо ховати це під ковдру вже неможливо.
В принципі, зрозуміло, чому таке твердження може здаватися апріорі логічним, але незрозуміло, як це співвідноситься з фактичною ситуацією маркетингової політики big tech компаній.
Якщо ви подивитися на історію того, як Google, Microsoft, Meta та інші великі технологічні компанії комунікували своє ставлення до ШІ, то риторика завжди була діаметрально протилежною до того, що стверджують прихильники гіпотези «ШІ - це маркетинговий хайп». А саме, повідомлення були наступними:
- ШІ - це просто засоби, які не здатні і не будуть здатні перевершити людей.
- Ми - це серйозні інженери, які піклуються про серйозні технічні питання, як-от стабілізація GAN чи яку функцію активації підібрати, а усі ці розмови про AGI - це наукова фантастика і нісенітниці.
- Екзистенційні ризики від ШІ - це теж наукова фантастика. Ми піклуємося про algorithmic bias and misinformation, бо саме цього рівня проблеми здатен створити ШІ.
Це була систематична, постійна, однорідна риторика протягом багатьох років, яку продовжували до останнього, навіть коли її абсурдність виглядала очевидною (деякі продовжують це навіть зараз). І це зрозуміло, чому так. Повідомлення “ми будуємо ASI” роздратує інвесторів, зверне на себе непотрібну увагу регуляторів, власних та закордонних спецслужб і політиків та просто широкого загалу, а також банально буде виглядати несерйозно в лінкедині та поважних медіа.
Саме тому це повідомлення відтягували до останнього, і лише зараз, коли evidence про штучний суперінтелект пре зі всіх щілин, коли велика купа людей в стані десь між роздратованим та шокованим впертими відмовами компаній та лабораторій хоча б визнати те, що вони роблять, не кажучи вже про наслідки цього, лише зараз, під жорстким тиском зовнішніх обставин, компанії - повільно і неохоче - починають визнавати, що саме вони будують.
Якби це було вигідно маркетингово, це б зробили вже давно. І власне, ми емпірично бачимо те, що технологічні компанії коректно передбачили раніше - заяви про те, що вони будуть ASI, не роблять їх життя краще в жодному вимірі, на який міг би орієнтуватися «маркетинговий департамент». Ці заяви мають лише 2 ефекти: одні вважають, що вони несерйозні та брешуть, а інші вважають, що вони серйозні і скоро усіх вбʼють. Ці заяви робляться не заради, а всупереч бізнес-інтересам, бо ховати це під ковдру вже неможливо.
Не буде великим перебільшенням сказати, що твердження «ML engineer знає, як працює ШІ, тому що він тренує моделі» майже не відрізняється від твердження «матір знає молекулярну біологію, нейробіологію і і біологію розвитку тому, що вона народила дитину».
Звичайно, це трохи перебільшення, але лише трохи. Перетин між знанням того, як працює ШІ, і знанням того, як тренувати ШІ, більший, ніж між, скажімо, хімією та соціологією, але менший, ніж між хімією та кулінарією.
Не кажучи вже про те, що навіть в інженерії тренування ШІ набагато більше алхімії та суто експериментального налаштовування, ніж науки.
Звичайно, це трохи перебільшення, але лише трохи. Перетин між знанням того, як працює ШІ, і знанням того, як тренувати ШІ, більший, ніж між, скажімо, хімією та соціологією, але менший, ніж між хімією та кулінарією.
Не кажучи вже про те, що навіть в інженерії тренування ШІ набагато більше алхімії та суто експериментального налаштовування, ніж науки.