ChatGPT Builder

Как заточить ChatGPT под свои нужды? Этот вопрос возник на вчерашнем стриме, когда я начал пилить себе AI ассистента для игр.

Оказалось, что в разделе Explore -> ChatGPT Bulder появилась возможность создавать кастомные версии GPT. Процесс устроен как диалог, где вас спрашивают: “должен ли бот задавать уточняющие вопросы или угадывать контекст?”, “должен ли он общаться на русском или английском?“ и тд. На выходе создается набор инструкций, который, по всей видимости, просто подается в каждом промпте.

Прелесть подхода в том, что это не файнтюнинг, вам не нужно собирать датасет и ждать пока модель обучится. Достаточно бодрый инструмент для первого подхода к кастомизации ChatGPT под свои задачи — лойс.

Мои вкусы очень специфичны

Сегодня смотрел стрим, где чувак писал игру на 1С. Это настолько плохо, что даже хорошо.

Пришла мысль написать и обучить нейросеть для распознавания фотографий рукописных цифр на чистом SQL.

Делать я этого конечно же не буду. Хотя кто его знает, как жизнь повернется

Че го вечерний стрим на часок? Катаю в дотку, режим чемпионов — абилити драфт.

Чат трансляции под этим сообщением

Сегодня опять будет стримчанский. Буду смотреть ютуб о том, как делать ютуб. Анализировать конкурентов и ниши. После этого мб поиграем или покодим.

Чат трансляции под этим сообщением.

GPT Store

Недавно я рассказывал, как заточить ChatGPT под свои задачи с помощью Builder. Теперь во вкладке Explore GPTs появился доступ к кастомизациям других пользователей.

Research Assistant, Code GPT, Math Tutor, Logo Creator и еще тысячи различных ассистентов. Даже есть Персональный Астролог для знатоков ретроградного Меркурия!

Лично я вчера весь вечер переписывался с GPT заточенным под написание сценариев на YouTube.

GPT намекает, что пора отдохнуть.

"Сейчас как обучим нейросетку генерировать анимации, будет классно!" — говорили они.

Как реализован dict в интерпретаторе Python

Словарь (ассоциативный массив / хэш-таблица / dict) — это такая замечательная структура данных в Python, которая поддерживает обращение, вставку и удаление в среднем за константное время O(1).

Возьмем в качестве примера словарь, который отображает реальное имя человека в его игровой никнейм.

nickname = {
  "Gena": "Машина",
  "Ivan": 12, 
  "Vazgen": "Gorniy Orel 228"
}

Визуально очень похоже на JSON. Ключами выступают "Gena", "Ivan", значениями "Машина", 12 и тд. Причем последние могут быть чем угодно: объектами, числами, строками, списками, словарями.

Ключи же должны быть хэшируемыми типами данных — такими, у которых определен метод __hash__. Обычно эти объекты являются неизменяемыми. Т.е. tuple может выступать в качестве ключа, а list — нет. Хотя в пользовательских классах можно наворотить все что угодно.

Что происходит на уровне интерпретатора CPython при добавлении нового ключа? Например, мы выполнили строчку nickname["Dima"] = "Арчибальд Шпицен-Дроссель".

На уровне C есть просто два массива фиксированной длины: dk_indices — хранит индексы и dk_entries — хранит пары ключ-значение, плюс несколько вспомогательных полей с размером самого словаря, типами данных и тд.

При вставке для объекта "Dima" вызывается функция PyObject_Hash, которая залезает в PyTypeObject — структуру с основными свойствами объекта (в Python все есть объект) и находит там хэш-функцию unicode_hash (строки из примера под капотом unicode). Применяя ее к "Dima", получает некоторое большое по модулю число. Кстати, сложность хэширования O(k), но мы предполагаем, что длина ключей в среднем сильно меньше размера словаря k << n.

Чтобы найти слот для hash("Dima") в dk_indices, берется остаток от деления на длину dk_indices. Если соответствующая ячейка в массиве пуста, то в dk_entries добавляется пара ("Dima", "Арчибальд Шпицен-Дроссель"). Если же ячейка занята, это означает что произошла коллизия. В простейшем случае можно было бы хранить в dk_entries не просто ключ-значение, а связный список из ключей и значений. Тогда при коллизиях мы бы просто делали append в конец списка.

Но в CPython используется алгоритм сдвига с пертурбацией. В случае коллизии он вычисляет новый индекс по формуле

    perturb >>= PERTURB_SHIFT;
    j = (5*j) + 1 + perturb;
    use j % 2**i as the next table index;

И повторяет процедуру до тех пор, пока не найдет свободную ячейку.

Такие дела. Все вышеперечисленное не претендует на истину в последней инстанции. Там еще есть PyDictKeyEntry vs PyDictUnicodeEntry, 6000 строк реализации dictobject.c и куча прочих нюансов. Но основная идея такая, если я нигде не наврал. А если наврал, пишите замечания в комментариях!

Мне одобрили кейс на О-1 визу в США. Экстраординарный, хули😏

В воздухе запахло переездом. Если все пойдет по плану, то поселюсь в Irvine, California, что под ЛА.

Пост про визу

Аттракцион невиданной щедрости 🎠

Утекла модель от стартапа Mistral AI на 70B параметров, которая по качеству близка к GPT-4.

Йо-хо-хо. Пора расчехлить GPU и пилить 🏴‍☠️ пиратские LLM-сервисы.

Комментарий от их CEO
Веса
Онлайн демка

Индус из моей конторы самбитит PR, не запустив свой код ни разу.

YC как и Alliance делится идеями в которые они хотят инвестировать в request for startups, и буквально сегодня они этот список обновили!

Очень увлекательное чтиво с ожидаемыми (МЛ для роботов, лекарство от рака, пространственные вычесления (AR)) и очень даже неожиданными напрявлениями (стейблы, climate tech (который уже все похоронили), оборонка (!), коммерческий опенсорс, внутренние энтерпрайз тулы). YC обычно знают о чем говорят, поэтому подумайте о тех идеях, которые сюда не вошли, и почему так.

Весь список с подробными комментариями по ссылкам:

1. Applying machine learning to robotics
2. Using machine learning to simulate the physical world
3. New defense technology
4. Bring manufacturing back to America
5. New space companies
6. Climate tech
7. Commercial open source companies
8. Spatial computing
9. New enterprise resource planning software (ERPs)
10. Developer tools inspired by existing internal tools
11. Explainable AI
12. LLMs for manual back office processes in legacy enterprises
13. AI to build enterprise software
14. Stablecoin finance
15. A way to end cancer
16. Foundation models for biological systems
17. The managed service organization model for healthcare
18. Eliminating middlemen in healthcare
19. Better enterprise glue
20. Small fine-tuned models as an alternative to giant generic ones

182 шутки про говно

Вот знаете, бывает настроение выдать кринжатины вам в чат. Сегодня я решил дать волю своим слабостям и пошалить. Держите анекдоты про говно.

Раз

Приходит Пятачек к Винни Пуху и спрашивает: 
— Винни, что ты ешь?
— Мед!
А чо он говном воняет?
— Я его второй раз ем!

Два

Едет мужик по деревне, развозит навоз.
Сгружает в одном из дворов.
Хозяйка, оценивая качество сырья, восхищаясь:
— Какой хороший у тебя однако навоз!
Мужик: 
— Говна не возим!

Еще 180 для ценителей

OpenAI анонсировали свою text-to-video под названием Sora. На первый взгляд выглядит на порядок лучше существующих аналогов.

https://openai.com/sora