Анализ данных (Data analysis)

🧠 Cartridges: как ускорить LLM в 26 раз без потери качества

Что, если вместо того, чтобы каждый раз загонять в контекст LLM весь репозиторий, мы предварительно обучим мини-контекст — и будем просто вставлять его при генерации?

🔍 Это и есть идея Cartridges — небольшой KV-кэш, обученный заранее с помощью метода self-study (обучение во время инференса).

📦 Репозиторий: содержит код для тренировки "картриджа" — легкого представления большого текстового дампа (например, всей кодовой базы), которое вставляется в LLM как контекст.

📉 Проблема:
• Если вставлять много текста в LLM, KV-кэш раздувается, скорость падает, стоимость растёт

🚀 Решение:
• Обучаем маленький KV-кэш для документации или репо
• Используем его как "сжатый контекст" при генерации

📈 Результаты:
• До 26× ускорения
• Качество ответов сохраняется
• Простая реализация и универсальный подход

📖 Подробнее в статье: *Cartridges: Lightweight and general-purpose long context representations via self-study*

git clone https://github.com/HazyResearch/cartridges && cd cartridges
pip install uv
uv pip install -e .

📎 Идея простая, но мощная: пусть LLM "запоминает" ваш проект заранее — и работает с ним быстро, как с привычным знанием.

▪ Github

www.group-telegram.com/us/data_analysis_ml.com/3656

3.5K viewsJun 10 at 12:36

🧠 Cartridges: как ускорить LLM в 26 раз без потери качества

Что, если вместо того, чтобы каждый раз загонять в контекст LLM весь репозиторий, мы предварительно обучим мини-контекст — и будем просто вставлять его при генерации?

🔍 Это и есть идея Cartridges — небольшой KV-кэш, обученный заранее с помощью метода self-study (обучение во время инференса).

📦 Репозиторий: содержит код для тренировки "картриджа" — легкого представления большого текстового дампа (например, всей кодовой базы), которое вставляется в LLM как контекст.

📉 Проблема:
• Если вставлять много текста в LLM, KV-кэш раздувается, скорость падает, стоимость растёт

🚀 Решение:
• Обучаем маленький KV-кэш для документации или репо
• Используем его как "сжатый контекст" при генерации

📈 Результаты:
• До 26× ускорения
• Качество ответов сохраняется
• Простая реализация и универсальный подход

📖 Подробнее в статье: *Cartridges: Lightweight and general-purpose long context representations via self-study*

git clone https://github.com/HazyResearch/cartridges && cd cartridges
pip install uv
uv pip install -e .

📎 Идея простая, но мощная: пусть LLM "запоминает" ваш проект заранее — и работает с ним быстро, как с привычным знанием.

▪ Github

BY Анализ данных (Data analysis)