Victor Osyka, техноцивилизация

Aravind Srinivas, фаундер Perplexity.ai, с 2022 подняли $170M, экс-рисечер Deepmind и OpenAI, интервью Lex Fridman на (!) 3 часа:

Perplexity
- Вижн: поменять получение ответов людьми - юзать LLM, но и каждый ответ подтверждать ссылками, снижая глюки. На PhD в Berkeley учили в статьях все писать, цитируя источники, а не "просто мнения"
- История появления: хотели запилить крутой продукт из LLM, нас вдохновил Github Copilot - пишет код для тех кто не умеет. Задумались: а поиск чего можно дисраптнуть?
- Опыта не было, все с 0, начали со Slack+GPT3.5. Играемся с UX - не быть как Гугл - мы не поиск, а движок knowledge discovery, как начало бесконечности Дойча. И мы за научные обоснования truths
- Сперва пилили на SQL, потом RAG. Тестили в Twitter, но Elon сказал вырубит нам API - так пошли в поиск всего
- Взяли Llama3 и докрутили в свою модель Sonar, но в будущем будем model agnostic

Гугл
- Нет стимулов сразу дать ответ, e.g. про страховку - им же платят страховые. Но для поиска сайтов, realtime инфы, кастомизации под вашу гео, и все это за 0.5 сек - ОК
- Живой аукцион за слова AdWords - топ бизнес модель за 50 лет (авторы Overture для Yahoo). Еще они круто чистят shit среди рекламодателей. AdSense оч data-driven. Гугл красив по интеграции ads в UX
- Поиск им важен, но не критичен: выручка Cloud+Youtube = $100 млрд -> триллион капитализации
- Их можно хакнуть только чем-то иным. Amazon вынес их тк в Google Ads была супер-маржа, а ecomm и clouds тогда - с минусовой маржой - это дырка для взлома прибыльных public firms

Советы фаундерам
- Вся common wisdom верная, трудно что-то добавить. Если нет неустанной решимости - тяжело построить компанию. И тут реально важна страсть, а не просто угадывать что важно рынку или VC. What you love, а иначе обгонят кто с genuine passion. У Larry Page был бэкграунд в human-computer interaction итп
- Великое требует страданий и самоотверженности. И больше общения с людьми кто делают нас лучше, а не не понимают о чем мы

Page/Brin: их гений был в отказе от анализа текста (как весь поиск тогда), а просто ранжировать ссылки, взяли из academic citation graphs. Схантили всех PhD после краха доткомов. Всегда были помешаны уменьшать время выдачи. Еще у Ларри философия "user is never wrong" - удобно даже моей маме

Bezos: мне нра его желание ясно мыслить и one-way/two-way door. Его customer obsession даже вне инета

Musk: в его био от Isaacson понравилось что нет дистрибуции Тесл - ты напрямую с юзерами. И его first principles thinking - да он запилил автопилот просто чтобы понять его работу

Huang/Nvidia: Что у него 60 прямых подчиненных видеть всю фирму целиком + его паранойя: в хардвере планы на пару лет, нельзя ошибаться

Zuckerberg: его move fast & break things + их позиция про open-source/Llama

Yann LeCun: вырастил плеяду учеников кто кофаундеры Deepmind, OpenAI итп. Ну и его вера в RL - это было controversial. И он может и прав про ложный страх AGI, тк инженеры doers часто слепы про общий impact of tech

AI
- Прорывы? С 2017г их нет, все делается также: CNN, transformers - пока просто масштабируют data & compute. А вот кто сможеть разделить reasoning и факты - это будет прорыв: тогда не нужны датацентры на миллион GPU/1 ГВт
- Вопрос на $1 трлн: AGI для меня это новое знание, типа крутого PhD, Коперника, Галлилея, происхождения Covid, редизайна Starship
- Могут ли модели начать “думать” общаясь друг с другом? Хз. Люди special тк у них есть love, красота жизни, и любопытство, just deeply curious как вид

Будущее поиска
- Инфа в инете упорядочивается по-разному, каталоги до гугла были, все может эволюционировать
- В соцсетях drama или news, а мы видим инфо скорее как truths или как AI Wikipedia
- Даем юзерам автоматом делать Perplexity Pages по итогам их находок

Мир с AI
- Верю, что AI уменьшит biases людей
- Люди могут желать общаться с AI - тогда глюки это уже фича, а не баг
- Работа будет меньше похожа на работу, а скорее наполненную жизнь (что в топе пирамиды Маслоу), хоть и будем там больше с ботами общаться. Зато освобождая время общению в жизни - одиночество это бич нашего времени

www.group-telegram.com/it/Victor_Osyka.com/517

6.7K viewsedited  Jul 8, 2024 at 09:20

Aravind Srinivas, фаундер Perplexity.ai, с 2022 подняли $170M, экс-рисечер Deepmind и OpenAI, интервью Lex Fridman на (!) 3 часа:

Perplexity
- Вижн: поменять получение ответов людьми - юзать LLM, но и каждый ответ подтверждать ссылками, снижая глюки. На PhD в Berkeley учили в статьях все писать, цитируя источники, а не "просто мнения"
- История появления: хотели запилить крутой продукт из LLM, нас вдохновил Github Copilot - пишет код для тех кто не умеет. Задумались: а поиск чего можно дисраптнуть?
- Опыта не было, все с 0, начали со Slack+GPT3.5. Играемся с UX - не быть как Гугл - мы не поиск, а движок knowledge discovery, как начало бесконечности Дойча. И мы за научные обоснования truths
- Сперва пилили на SQL, потом RAG. Тестили в Twitter, но Elon сказал вырубит нам API - так пошли в поиск всего
- Взяли Llama3 и докрутили в свою модель Sonar, но в будущем будем model agnostic

Гугл
- Нет стимулов сразу дать ответ, e.g. про страховку - им же платят страховые. Но для поиска сайтов, realtime инфы, кастомизации под вашу гео, и все это за 0.5 сек - ОК
- Живой аукцион за слова AdWords - топ бизнес модель за 50 лет (авторы Overture для Yahoo). Еще они круто чистят shit среди рекламодателей. AdSense оч data-driven. Гугл красив по интеграции ads в UX
- Поиск им важен, но не критичен: выручка Cloud+Youtube = $100 млрд -> триллион капитализации
- Их можно хакнуть только чем-то иным. Amazon вынес их тк в Google Ads была супер-маржа, а ecomm и clouds тогда - с минусовой маржой - это дырка для взлома прибыльных public firms

Советы фаундерам
- Вся common wisdom верная, трудно что-то добавить. Если нет неустанной решимости - тяжело построить компанию. И тут реально важна страсть, а не просто угадывать что важно рынку или VC. What you love, а иначе обгонят кто с genuine passion. У Larry Page был бэкграунд в human-computer interaction итп
- Великое требует страданий и самоотверженности. И больше общения с людьми кто делают нас лучше, а не не понимают о чем мы

Page/Brin: их гений был в отказе от анализа текста (как весь поиск тогда), а просто ранжировать ссылки, взяли из academic citation graphs. Схантили всех PhD после краха доткомов. Всегда были помешаны уменьшать время выдачи. Еще у Ларри философия "user is never wrong" - удобно даже моей маме

Bezos: мне нра его желание ясно мыслить и one-way/two-way door. Его customer obsession даже вне инета

Musk: в его био от Isaacson понравилось что нет дистрибуции Тесл - ты напрямую с юзерами. И его first principles thinking - да он запилил автопилот просто чтобы понять его работу

Huang/Nvidia: Что у него 60 прямых подчиненных видеть всю фирму целиком + его паранойя: в хардвере планы на пару лет, нельзя ошибаться

Zuckerberg: его move fast & break things + их позиция про open-source/Llama

Yann LeCun: вырастил плеяду учеников кто кофаундеры Deepmind, OpenAI итп. Ну и его вера в RL - это было controversial. И он может и прав про ложный страх AGI, тк инженеры doers часто слепы про общий impact of tech

AI
- Прорывы? С 2017г их нет, все делается также: CNN, transformers - пока просто масштабируют data & compute. А вот кто сможеть разделить reasoning и факты - это будет прорыв: тогда не нужны датацентры на миллион GPU/1 ГВт
- Вопрос на $1 трлн: AGI для меня это новое знание, типа крутого PhD, Коперника, Галлилея, происхождения Covid, редизайна Starship
- Могут ли модели начать “думать” общаясь друг с другом? Хз. Люди special тк у них есть love, красота жизни, и любопытство, just deeply curious как вид

Будущее поиска
- Инфа в инете упорядочивается по-разному, каталоги до гугла были, все может эволюционировать
- В соцсетях drama или news, а мы видим инфо скорее как truths или как AI Wikipedia
- Даем юзерам автоматом делать Perplexity Pages по итогам их находок

Мир с AI
- Верю, что AI уменьшит biases людей
- Люди могут желать общаться с AI - тогда глюки это уже фича, а не баг
- Работа будет меньше похожа на работу, а скорее наполненную жизнь (что в топе пирамиды Маслоу), хоть и будем там больше с ботами общаться. Зато освобождая время общению в жизни - одиночество это бич нашего времени

BY Victor Osyka, техноцивилизация