Victor Osyka, техноцивилизация

Lex Fridman, AI ученый в США родом из РФ/Украины и автор подкаста взял интервью №367 на 2.5 часа у Сэма Альтмана, экс-CEO YCombinator и CEO OpenAI (там работает один из первых сотрудников моей первой ангельской инвестиции AutoFAQ)

Lex: AI это самый топ прорыв в истории, будоражит тк AI будет оч. массово применяться, и пугает тк будущий super AI может уничтожить людей (намеренно или нет. А по Хаксли (Brave new world) люди могут даже обожать AI ))) Я беру интервью у выборки влияющих, ученых, фирм + изучаю какие есть стимулы для создания AI во благо + изучаю прошлое человечества что оно делало хорошо и плохо (не оч понимаю как цивилизация открывает одновременно и знание, и мудрость, поэтому и волнуюсь что AI может polarize society)

GPT: Нас удивило как модель реконструировала знания из оч большого объема данных, пусть мы и вложили оч много сил в данные + и все стадии нашего рисеча важны, и версии отличаются сотнями сложных деталей + и растим размеры сеток (в GPT3 175 млрд весов, в мозгу 100 трлн синапсов). Но модель была не оч удобна и мы стали собирать фидбек от людей, и это дало феноменальный прогресс для usability: теперь она пытается помочь вам. Lex: вот вы сжали весь интернет в blackbox небольшого числа параметров (веса в нейронке) вашей модели - а есть ли магия в GPT? Мы оцениваем по Evals, полное функционирование модели мы не понимаем. Но я против приписывания нейронкам человеческих качеств, это просто инструмент. Зачем позволять неодушевленной вещи управлять моими эмоциями?

Сознание? Lex: в GPT есть reasoning, но struggle with ideas generation. Я думаю для сознания нужен опыт прямого взаимодействия с миром, не просто датасеты. Сэм: GPT фэйкает сознание, как Sutskever (глава of research в OpenAI, родом из Нижнего) формулирует - “вот если бы из всех датасетов убрать понятие сознания и модель бы его выдала/объяснила, а так…” Я считаю сознание - самый важный субстрат вселенной. Но в Silicon Valley со своей религией о симуляции уже обогнали брахманов. Я пытаюсь максимально избегать SF Bay Area пузыри of groupthink, расширяю типы людей с кем общаюсь

Политический bias? Мы все делаем оч прозрачно + мы же всю intelligence собрали из внешнего мира, а не сами вложили + мы итерируем по мере фидбека от живых юзеров: GPT5,6.. )) Универсальных истин нет, база знаний неоднозначна (e.g. термин свобода слова в зав-ти от страны), наш ответ - в personalised настройках для каждого юзера. Дефолтную версию будем делать макс. нейтральной

AI safety: Мы сразу стали давать GPT людям + чекать на AI alignment, но пока никто не понимает что это ))). Компы - это creative partner tool, усилитель, не порождатель. Мы оч стараемся, но люди - если 10 тыс раз спросить GPT, много ответов ОК, а несколько нет - их и виральнут на твиттере (clickbate journalism/pressure culture). Людям надо просто привыкать как работают модели

AGI? Если не продвигает фундаментальную науку, то это не general AI. Lex: а мне кажется как с НЛО - мы не сразу поймем что это )

Страхи про AI? Наоборот AI даст мир с изобилием и более happy людей, и мы найдем удивительные пути людям feel useful в, now inimaginable, путях. Steelmanning Юдковского понятен в страхах, но миру пора апгрейдиться, а то философию про AI придумали еще аж до deep learning. Маск оч переживает про AGI safety, но нас критикует? Мы оч стараемся, лучше бы вспомнил как критиковали SpaceX в начале. Exponents? Я сторонник плавного AI взлета - как раз успеем во всем разобраться. В целом AI будет open source + страны будут играться с законами

Конкуренция с техгигантами? Мы просто лаба, у нас ограничена прибыль (но чтобы сотрудники имели upside). OpenAI как НКО сделали Маск, Альтман, Sutskever. Повернули в стартап тк были нужны $ покупать ОЧ много compute тренить нейронки (в 2018 Маск пытался получить контроль, не удалось, отменил свой взнос $1 млрд, внес только $100 млн), спрашивает "как из НКО делают компании ценой $30 млрд?”)) Microsoft оч коллаборативны

Lex: ты писал в 2019ом пост как быть успешным, что еще посоветуешь? Игнорить чужие советы: у нас у всех слишком разные траектории

www.group-telegram.com/in/Victor_Osyka.com/442

13.7K viewsedited  Mar 26, 2023 at 09:45

Lex Fridman, AI ученый в США родом из РФ/Украины и автор подкаста взял интервью №367 на 2.5 часа у Сэма Альтмана, экс-CEO YCombinator и CEO OpenAI (там работает один из первых сотрудников моей первой ангельской инвестиции AutoFAQ)

Lex: AI это самый топ прорыв в истории, будоражит тк AI будет оч. массово применяться, и пугает тк будущий super AI может уничтожить людей (намеренно или нет. А по Хаксли (Brave new world) люди могут даже обожать AI ))) Я беру интервью у выборки влияющих, ученых, фирм + изучаю какие есть стимулы для создания AI во благо + изучаю прошлое человечества что оно делало хорошо и плохо (не оч понимаю как цивилизация открывает одновременно и знание, и мудрость, поэтому и волнуюсь что AI может polarize society)

GPT: Нас удивило как модель реконструировала знания из оч большого объема данных, пусть мы и вложили оч много сил в данные + и все стадии нашего рисеча важны, и версии отличаются сотнями сложных деталей + и растим размеры сеток (в GPT3 175 млрд весов, в мозгу 100 трлн синапсов). Но модель была не оч удобна и мы стали собирать фидбек от людей, и это дало феноменальный прогресс для usability: теперь она пытается помочь вам. Lex: вот вы сжали весь интернет в blackbox небольшого числа параметров (веса в нейронке) вашей модели - а есть ли магия в GPT? Мы оцениваем по Evals, полное функционирование модели мы не понимаем. Но я против приписывания нейронкам человеческих качеств, это просто инструмент. Зачем позволять неодушевленной вещи управлять моими эмоциями?

Сознание? Lex: в GPT есть reasoning, но struggle with ideas generation. Я думаю для сознания нужен опыт прямого взаимодействия с миром, не просто датасеты. Сэм: GPT фэйкает сознание, как Sutskever (глава of research в OpenAI, родом из Нижнего) формулирует - “вот если бы из всех датасетов убрать понятие сознания и модель бы его выдала/объяснила, а так…” Я считаю сознание - самый важный субстрат вселенной. Но в Silicon Valley со своей религией о симуляции уже обогнали брахманов. Я пытаюсь максимально избегать SF Bay Area пузыри of groupthink, расширяю типы людей с кем общаюсь

Политический bias? Мы все делаем оч прозрачно + мы же всю intelligence собрали из внешнего мира, а не сами вложили + мы итерируем по мере фидбека от живых юзеров: GPT5,6.. )) Универсальных истин нет, база знаний неоднозначна (e.g. термин свобода слова в зав-ти от страны), наш ответ - в personalised настройках для каждого юзера. Дефолтную версию будем делать макс. нейтральной

AI safety: Мы сразу стали давать GPT людям + чекать на AI alignment, но пока никто не понимает что это ))). Компы - это creative partner tool, усилитель, не порождатель. Мы оч стараемся, но люди - если 10 тыс раз спросить GPT, много ответов ОК, а несколько нет - их и виральнут на твиттере (clickbate journalism/pressure culture). Людям надо просто привыкать как работают модели

AGI? Если не продвигает фундаментальную науку, то это не general AI. Lex: а мне кажется как с НЛО - мы не сразу поймем что это )

Страхи про AI? Наоборот AI даст мир с изобилием и более happy людей, и мы найдем удивительные пути людям feel useful в, now inimaginable, путях. Steelmanning Юдковского понятен в страхах, но миру пора апгрейдиться, а то философию про AI придумали еще аж до deep learning. Маск оч переживает про AGI safety, но нас критикует? Мы оч стараемся, лучше бы вспомнил как критиковали SpaceX в начале. Exponents? Я сторонник плавного AI взлета - как раз успеем во всем разобраться. В целом AI будет open source + страны будут играться с законами

Конкуренция с техгигантами? Мы просто лаба, у нас ограничена прибыль (но чтобы сотрудники имели upside). OpenAI как НКО сделали Маск, Альтман, Sutskever. Повернули в стартап тк были нужны $ покупать ОЧ много compute тренить нейронки (в 2018 Маск пытался получить контроль, не удалось, отменил свой взнос $1 млрд, внес только $100 млн), спрашивает "как из НКО делают компании ценой $30 млрд?”)) Microsoft оч коллаборативны

Lex: ты писал в 2019ом пост как быть успешным, что еще посоветуешь? Игнорить чужие советы: у нас у всех слишком разные траектории

BY Victor Osyka, техноцивилизация