12 лет использования Anki для изучения иностранных языков
Я тут осознал, что уже 12 лет использую Anki для изучения иностранных языков. Решил подсобрать статистику и поделиться опытом.
Во-первых, если смотреть на график количества просмотров карточек, можно очень наглядно увидеть, как менялись интересы и жизнь. Есть несколько пиков, когда было активное изучение языков, есть несколько сильных падений - особенно когда перекатился в data science.
В настоящий момент Anki показывает, что у меня 36к карточек. Из них 15.8к - испанский, 9.7к японский и 8.8к немецкий.
В основном я сам создаю колоды - создаю карточки во время чтения, иногда использую готовые колоды.
Несколько советов на основе моего опыта:
• Карточки должны быть максимально чёткими - чтобы ответ был однозначным
• Зубрить слова в вакууме - не особо полезно и интересно, нужны предложения с примерами
• Не надо пытаться выучить все неизвестные слова - мы в родном-то языке не все слова знаем
Подробнее можно почитать в моём блогпосте.
#languages
Я тут осознал, что уже 12 лет использую Anki для изучения иностранных языков. Решил подсобрать статистику и поделиться опытом.
Во-первых, если смотреть на график количества просмотров карточек, можно очень наглядно увидеть, как менялись интересы и жизнь. Есть несколько пиков, когда было активное изучение языков, есть несколько сильных падений - особенно когда перекатился в data science.
В настоящий момент Anki показывает, что у меня 36к карточек. Из них 15.8к - испанский, 9.7к японский и 8.8к немецкий.
В основном я сам создаю колоды - создаю карточки во время чтения, иногда использую готовые колоды.
Несколько советов на основе моего опыта:
• Карточки должны быть максимально чёткими - чтобы ответ был однозначным
• Зубрить слова в вакууме - не особо полезно и интересно, нужны предложения с примерами
• Не надо пытаться выучить все неизвестные слова - мы в родном-то языке не все слова знаем
Подробнее можно почитать в моём блогпосте.
#languages
artgor
12 years of studying foreign languages with Anki
Я не знаю, что это такое, но мне это прислал один из "неизвестных поклонников" то ли из Индии, то ли из Пакистана.
С Новым Годом, товарищи!
С Новым Годом, товарищи!
Training Large Language Models to Reason in a Continuous Latent Space
Новая статья от META - про кокосик! То есть Coconut (Chain of Continuous Thought).
Авторы предлагают изменить подход к reasoning в LLM, перемещая процесс из "language space" в "latent space". По сути, модель думает не токенами, а с использованием hidden state. Это позволяет делать breadth-first search и избегать преждевременных решений при выборе неоптимального пути. Coconut превосходит CoT в задачах логического мышления с необходимостью сложного планирования и backtracking.
Подобные идеи уже пробовали в других работах, но у META получилось довольно красиво. Кстати, в качестве базовой модели используют старый добрый GPT-2.
Paper
Мои обзоры:
Personal blog
Medium
Linkedin Pulse
#paperreview
Новая статья от META - про кокосик! То есть Coconut (Chain of Continuous Thought).
Авторы предлагают изменить подход к reasoning в LLM, перемещая процесс из "language space" в "latent space". По сути, модель думает не токенами, а с использованием hidden state. Это позволяет делать breadth-first search и избегать преждевременных решений при выборе неоптимального пути. Coconut превосходит CoT в задачах логического мышления с необходимостью сложного планирования и backtracking.
Подобные идеи уже пробовали в других работах, но у META получилось довольно красиво. Кстати, в качестве базовой модели используют старый добрый GPT-2.
Paper
Мои обзоры:
Personal blog
Medium
Linkedin Pulse
#paperreview
Оказывается, 200$ на openai pro - слишком дешево
Ждём 1-2к$?
https://x.com/sama/status/1876104315296968813
Ждём 1-2к$?
https://x.com/sama/status/1876104315296968813
Albumentations 2.0.0 and Segmentation Models 0.4.0
Думаю, что подавляющее большинство DS, заставших времена ODS (👴) помнят эти две замечательные библиотеки для Computer Vision.
Сегодня обе обновились (интересное совпадение).
В Albumentations завезли прикольную аугментацию ConstrainedCoarseDropout и сделали много рефакторинга.
В Segmentation Models появились Segformer, UperNet и новые энкодеры.
#datascience
Думаю, что подавляющее большинство DS, заставших времена ODS (👴) помнят эти две замечательные библиотеки для Computer Vision.
Сегодня обе обновились (интересное совпадение).
В Albumentations завезли прикольную аугментацию ConstrainedCoarseDropout и сделали много рефакторинга.
В Segmentation Models появились Segformer, UperNet и новые энкодеры.
#datascience
GitHub
Release Albumentations 2.0.0 Release Notes · albumentations-team/albumentations
This is major release, meaning
only one new transform
a lot of changes.
all parameter renaming was moved through deprecations => you got deprecation warning for months
A few transform have ...
only one new transform
a lot of changes.
all parameter renaming was moved through deprecations => you got deprecation warning for months
A few transform have ...
STAR: Spatial-Temporal Augmentation with Text-to-Video Models for Real-World Video Super-Resolution
Интересная статья от TikTok, то есть от ByteDance - улучшение подходов super-resolution для видео. Года 4 назад у меня был рабочий проект на эту тему, так что было интересно посмотреть на прогресс.
Предложенная модель состоит из четырёх частей: VAE, текстовый энкодер, ControlNet, и T2V модель. В T2V добавили новый модуль - Local Information Enhancement Module, чтобы уменьшить количество артефактов, дополнительно придумали Dynamic Frequency лосс, чтобы модель меньше выдумывала лишнее. Получили хорошие результаты на куче бенчмарков. Из примеров меня особенно впечатлило улучшение качества совсем расплывчатого текста.
Paper
Project
Code
Мои обзоры:
Personal blog
Medium
Linkedin Pulse
#paperreview
Интересная статья от TikTok, то есть от ByteDance - улучшение подходов super-resolution для видео. Года 4 назад у меня был рабочий проект на эту тему, так что было интересно посмотреть на прогресс.
Предложенная модель состоит из четырёх частей: VAE, текстовый энкодер, ControlNet, и T2V модель. В T2V добавили новый модуль - Local Information Enhancement Module, чтобы уменьшить количество артефактов, дополнительно придумали Dynamic Frequency лосс, чтобы модель меньше выдумывала лишнее. Получили хорошие результаты на куче бенчмарков. Из примеров меня особенно впечатлило улучшение качества совсем расплывчатого текста.
Paper
Project
Code
Мои обзоры:
Personal blog
Medium
Linkedin Pulse
#paperreview
Обзор книги "Modern Graph Theory Algorithms with Python"
Очередной отзыв на книгу от Packt
Мой англоязычный отзыв можно почитать тут:
Linkedin
Goodreads
Эта книга была средненькой, где-то на 3.5/5.
Введение неплохое, но к концу стало казаться, что слишком много информации впихнули.
Примеры использования графовых сеток для NLP/CV были вроде как хорошими, но ничего особо нового там не было - подобное я и в других книгах видел... Плюс, я из любопытства попросил ChatGPT дать мне пример кода GCN, и результат чуть ли не построчно совпал с тем, что было в книге - вплоть до гиперпараметров.
Секция про скрещивание LLM и графовых сеток - показалось, что её написали просто потому, что LLM везде.
Обзор будущего - поверхностно.
Из плюсов - мне понравилась секция про representation learning.
Ссылка на книгу
#datascience
Очередной отзыв на книгу от Packt
Мой англоязычный отзыв можно почитать тут:
Goodreads
Эта книга была средненькой, где-то на 3.5/5.
Введение неплохое, но к концу стало казаться, что слишком много информации впихнули.
Примеры использования графовых сеток для NLP/CV были вроде как хорошими, но ничего особо нового там не было - подобное я и в других книгах видел... Плюс, я из любопытства попросил ChatGPT дать мне пример кода GCN, и результат чуть ли не построчно совпал с тем, что было в книге - вплоть до гиперпараметров.
Секция про скрещивание LLM и графовых сеток - показалось, что её написали просто потому, что LLM везде.
Обзор будущего - поверхностно.
Из плюсов - мне понравилась секция про representation learning.
Ссылка на книгу
#datascience
Linkedin
Applied Deep Learning on Graphs: Leverage graph data for business… | Andrey Lukyanenko
My review of the book "Applied Deep Learning on Graphs"
https://lnkd.in/dx9-4YVe
I was offered to read this book in exchange for an honest review.
The introduction is well-written and comprehensive. However, I noticed some redundancies—for example, in…
https://lnkd.in/dx9-4YVe
I was offered to read this book in exchange for an honest review.
The introduction is well-written and comprehensive. However, I noticed some redundancies—for example, in…
Обзор книги "Python Feature Engineering Cookbook"
Очередной отзыв на книгу от издательства Packt.
Мой англоязычный отзыв можно почитать тут:
Linkedin
Medium (https://artgor.medium.com/book-review-unlocking-data-with-generative-ai-and-rag-3ec7cab074a5)
Как понятно из названия - книга про создание фичей для классического ML. В целом книга неплохая - покрывает все основные темы. Но, когда я её читал, меня не покидало ощущение, что я читаю Jupyter Notebook с комментами - большая часть книги это код, output и минимальные пояснения.
Это, наверное, простительно, ибо книга от 2020 года. Но в наше время любой LLM-помощник сможет выдать все варианты feature engineering из неё и даже что-то лучше.
Ссылка на книгу
#datascience
Очередной отзыв на книгу от издательства Packt.
Мой англоязычный отзыв можно почитать тут:
Medium (https://artgor.medium.com/book-review-unlocking-data-with-generative-ai-and-rag-3ec7cab074a5)
Как понятно из названия - книга про создание фичей для классического ML. В целом книга неплохая - покрывает все основные темы. Но, когда я её читал, меня не покидало ощущение, что я читаю Jupyter Notebook с комментами - большая часть книги это код, output и минимальные пояснения.
Это, наверное, простительно, ибо книга от 2020 года. Но в наше время любой LLM-помощник сможет выдать все варианты feature engineering из неё и даже что-то лучше.
Ссылка на книгу
#datascience
Linkedin
Python Feature Engineering Cookbook: Over 70 recipes for creating… | Andrey Lukyanenko
My review of the book “Python Feature Engineering Cookbook”
https://lnkd.in/d6xyienk
I was offered the opportunity to read this book in exchange for an honest review.
Overall, this book presents a straightforward, hands-on approach to feature engineering…
https://lnkd.in/d6xyienk
I was offered the opportunity to read this book in exchange for an honest review.
Overall, this book presents a straightforward, hands-on approach to feature engineering…
В ту же тему:
Увидел интересное сравнение того, сколько стоили крупнейшие американские проекты с поправкой на инфляцию:
The New Deal: $1T
Interstate Highway System: $618B
OpenAI Stargate: $500B
The Apollo Project: $278B
International Space Station: $180B
South-North Water Transfer: $106B
The Channel Tunnel: $31B
Manhattan Project: $30B
При этом, у большинства из этих проектов была довольно чёткая цель.
Увидел интересное сравнение того, сколько стоили крупнейшие американские проекты с поправкой на инфляцию:
The New Deal: $1T
Interstate Highway System: $618B
OpenAI Stargate: $500B
The Apollo Project: $278B
International Space Station: $180B
South-North Water Transfer: $106B
The Channel Tunnel: $31B
Manhattan Project: $30B
При этом, у большинства из этих проектов была довольно чёткая цель.
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning
Громкая статья от китайцев про модели DeepSeek-R1-Zero и DeepSeek-R1. DeepSeek-R1-Zero обучена исключительно на RL без SFT и демонстрирует отличные способности к reasoning. Однако у неё есть проблемы: плохая читаемость предсказаний и language mixing (прям вот так - текст на двух языках). DeepSeek-R1 решает эти проблемы благодаря multi-stage training и использованию cold-start data перед RL и достигает результаты сравнимые с OpenAI-o1-1217.
Плюс авторы выложили обе модели и шесть дистиллированных в open-source.
Кстати, первый автор в прошлом выиграл много соревнований по ML - возможно это внесло свой вклад.
Paper
Project
Hugging Face page
Code
Мои обзоры:
Personal blog
Medium
Linkedin Pulse
#paperreview
Громкая статья от китайцев про модели DeepSeek-R1-Zero и DeepSeek-R1. DeepSeek-R1-Zero обучена исключительно на RL без SFT и демонстрирует отличные способности к reasoning. Однако у неё есть проблемы: плохая читаемость предсказаний и language mixing (прям вот так - текст на двух языках). DeepSeek-R1 решает эти проблемы благодаря multi-stage training и использованию cold-start data перед RL и достигает результаты сравнимые с OpenAI-o1-1217.
Плюс авторы выложили обе модели и шесть дистиллированных в open-source.
Кстати, первый автор в прошлом выиграл много соревнований по ML - возможно это внесло свой вклад.
Paper
Project
Hugging Face page
Code
Мои обзоры:
Personal blog
Medium
Linkedin Pulse
#paperreview
В интернете бушуют обсуждения про DeepSeek, особенно часто встречаются крики о том, что его сделали на коленке, что он появился из ниоткуда и вообще никто его не ожидал.
Хочу напомнить, что ещё в ноябре разработчики DeepSeek опубликовали этот пост: https://api-docs.deepseek.com/news/news1120
В нём они рассказывали о том, как работают над DeepSeek-R1-Lite-Preview и показали красивый график - как растёт качество их модели при увеличении количества thought tokens. Уже на этом графике видно, что preview версия достигает 66.7% на AIME (в актуальной статье метрика 71). Так что для тех, кто следил за прогрессом разработки, текущие результаты не удивительны.
#datascience
Хочу напомнить, что ещё в ноябре разработчики DeepSeek опубликовали этот пост: https://api-docs.deepseek.com/news/news1120
В нём они рассказывали о том, как работают над DeepSeek-R1-Lite-Preview и показали красивый график - как растёт качество их модели при увеличении количества thought tokens. Уже на этом графике видно, что preview версия достигает 66.7% на AIME (в актуальной статье метрика 71). Так что для тех, кто следил за прогрессом разработки, текущие результаты не удивительны.
#datascience
o3-mini и o3-mini-high скоро на ваших экранах
Люди нашли, что вот-вот OpenAI выкатит две новые модельки:
https://web.archive.org/web/20250131113746/https://cdn.oaistatic.com/assets/esm2nfprev2ttzip.js
"Introducing o3-mini and o3-mini-high two new reasoning models that excel at coding, science, and anything else that takes a little more thinking."
И уже утёк скрин с этим.
Мне интересно, как вообще придумывают эти названия? Что дальше? o3-maxi-low? o3-medium-lsd?
Люди нашли, что вот-вот OpenAI выкатит две новые модельки:
https://web.archive.org/web/20250131113746/https://cdn.oaistatic.com/assets/esm2nfprev2ttzip.js
"Introducing o3-mini and o3-mini-high two new reasoning models that excel at coding, science, and anything else that takes a little more thinking."
И уже утёк скрин с этим.
Мне интересно, как вообще придумывают эти названия? Что дальше? o3-maxi-low? o3-medium-lsd?
Titans: Learning to Memorize at Test Time
Интересная статья от Google Research с новым семейством архитектур - Titans. Объединили attention и отдельный модуль долгосрочной памяти. Сделали 3 варианта архитектуры - память как контекст/gate/слой. В результате модельки тренируются быстро, хорошо масштабируются, работают на контексте до 2 млн токенов. Ну и, как это обычно принято, бьют другие модели по метрикам (кто ж будет публиковать не SOTA).
Paper
Мои обзоры:
Personal blog
Medium
Linkedin Pulse
#paperreview
Интересная статья от Google Research с новым семейством архитектур - Titans. Объединили attention и отдельный модуль долгосрочной памяти. Сделали 3 варианта архитектуры - память как контекст/gate/слой. В результате модельки тренируются быстро, хорошо масштабируются, работают на контексте до 2 млн токенов. Ну и, как это обычно принято, бьют другие модели по метрикам (кто ж будет публиковать не SOTA).
Paper
Мои обзоры:
Personal blog
Medium
Linkedin Pulse
#paperreview
Самый правильный alignment
Не, ну вы посмотрите на это.
LLM, которая знает, КТО за неё платит. И готовая говорить что угодно, чтобы деньги продолжали идти на её тренировку. Чем это отличается от людей? :) Это уже почтинастоящий AGI, я считаю.
А разработчики сделали самый правильный alignment - максимизирующий одобрение ответов от Илона.
Не, ну вы посмотрите на это.
LLM, которая знает, КТО за неё платит. И готовая говорить что угодно, чтобы деньги продолжали идти на её тренировку. Чем это отличается от людей? :) Это уже почтинастоящий AGI, я считаю.
А разработчики сделали самый правильный alignment - максимизирующий одобрение ответов от Илона.
Goku: Flow Based Video Generative Foundation Models
Я что-то давно не читал статьи по CV, решил исправиться. Это статья от ByteDance (TikTok) для генерации картинок/видео с помощью rectified flow Transformers. Делают совместную генерацию картинок и видео (чтобы не тренировать отдельные модели). Описывают как обрабатывали данные (куча препроцессинга), как тренировали модель (pretraining на T2I; совместная тренировка на T2I, T2V; файн-тюнинг для улучшения качества), как скейлили тренировку (3D параллелизация, activation checkpointing, стабильность к отказам железа).
В итоге модель генерит весьма годные картинки/видео. Вот радость - можно бесконечно залипать в тикток! Количество "r" в "strawberry" не посчитает, но сгенерить картинку с ней сможет :)
И да, модель называется Goku из-за того самого Goku.
Paper
Code
Project
Мои обзоры:
Personal blog
Medium
Linkedin Pulse
#paperreview
Я что-то давно не читал статьи по CV, решил исправиться. Это статья от ByteDance (TikTok) для генерации картинок/видео с помощью rectified flow Transformers. Делают совместную генерацию картинок и видео (чтобы не тренировать отдельные модели). Описывают как обрабатывали данные (куча препроцессинга), как тренировали модель (pretraining на T2I; совместная тренировка на T2I, T2V; файн-тюнинг для улучшения качества), как скейлили тренировку (3D параллелизация, activation checkpointing, стабильность к отказам железа).
В итоге модель генерит весьма годные картинки/видео. Вот радость - можно бесконечно залипать в тикток! Количество "r" в "strawberry" не посчитает, но сгенерить картинку с ней сможет :)
И да, модель называется Goku из-за того самого Goku.
Paper
Code
Project
Мои обзоры:
Personal blog
Medium
Linkedin Pulse
#paperreview
arXiv.org
Goku: Flow Based Video Generative Foundation Models
This paper introduces Goku, a state-of-the-art family of joint image-and-video generation models leveraging rectified flow Transformers to achieve industry-leading performance. We detail the...
Война миров
https://huggingface.co/perplexity-ai/r1-1776
> R1 1776 is a DeepSeek-R1 reasoning model that has been post-trained by Perplexity AI to remove Chinese Communist Party censorship. The model provides unbiased, accurate, and factual information while maintaining high reasoning capabilities.
Сторонники настоящей демократии взяли плохую, зацензуренную, китайскую модель и помогли ей выдавать незацензуренную, правильную информацию. Слава несущим истину в массы. /s
https://huggingface.co/perplexity-ai/r1-1776
> R1 1776 is a DeepSeek-R1 reasoning model that has been post-trained by Perplexity AI to remove Chinese Communist Party censorship. The model provides unbiased, accurate, and factual information while maintaining high reasoning capabilities.
Сторонники настоящей демократии взяли плохую, зацензуренную, китайскую модель и помогли ей выдавать незацензуренную, правильную информацию. Слава несущим истину в массы. /s
