эйай ньюз

Интро в Трансформеры для чайников

3Blue1Brown, популярный математический ютубер, начал выпускать серию видео о том, как работает трансформер. Первое видео посвящено эмбеддингам и тому, как моделька определяет, какой токен ей выдать. Вышло лучшее объяснение темы "для чайников", с анимациями и довольно простым языком. Обещает ещё две части: одну посвящённую Attention, другую MLP.

Если после просмотра возникнет желание погрузиться в детали:
- У Андрея Карпатого есть видео где он имплементирует и объясняет как саму GPT, так и её токенизатор.
- Лекция Интро в большие языковые модели (LLM), тоже от Карпатого.

#ликбез
@ai_newz

YouTube

Transformers (how LLMs work) explained visually | DL5

Breaking down how Large Language Models work
Instead of sponsored ad reads, these lessons are funded directly by viewers: https://3b1b.co/support

---

Here are a few other relevant resources

Build a GPT from scratch, by Andrej Karpathy
https://youtu.be/kCc8FmEb1nY…

www.group-telegram.com/in/ai_newz.com/2538

25.5K viewsedited  Apr 3, 2024 at 11:18

Интро в Трансформеры для чайников

3Blue1Brown, популярный математический ютубер, начал выпускать серию видео о том, как работает трансформер. Первое видео посвящено эмбеддингам и тому, как моделька определяет, какой токен ей выдать. Вышло лучшее объяснение темы "для чайников", с анимациями и довольно простым языком. Обещает ещё две части: одну посвящённую Attention, другую MLP.

Если после просмотра возникнет желание погрузиться в детали:
- У Андрея Карпатого есть видео где он имплементирует и объясняет как саму GPT, так и её токенизатор.
- Лекция Интро в большие языковые модели (LLM), тоже от Карпатого.

#ликбез
@ai_newz

BY эйай ньюз