group-telegram.com/Psy_Eyes/2344
Last Update:
🤖 ЧАТЫ 🤖
DeepSeek: выпустили LLM (языковую модель) DeepSeek V3 с 671B параметров. Показывает себя по многим метрикам лучше других опенсорсных, а также Claude Sonnet и GPT-4o... но весит сотни гигов. Зато обновили V 2.5, она стала лучше в коде, математике и поиске.
TensorRT-LLM: в v 0.16 добавлена поддержка DeepSeek v1, Qwen2-VL, SDXL, и не только.
TensorRT: к v 10.7 добавлена поддержка BF16 и FP8 для пайплайна с Flux Dev и Schnell, а также стриминг весов, и работа в low-vram режиме c 32 ГБ VRAM... в воздухе веет призраком 5090. Хотя какой там призрак, до CES 2025 осталась считай неделя.
Ollama: добавлена поддержка Falcon 3 и ответов структурированных через JSON.
OpenWebUI: появились каналы как в дискорде, для взаимодействия юзеров с ботами; асинхронные чаты, в которых AI будет продолжать генерить в фоновом режиме, пока вкладка не активна; итд.
OpenAI: за 12 дней стримов анонсировали публичный доступ к o1 и o1 Pro за $200/мес, превью o3/o3 mini (бренд o2 занят), поддержку видеострима в голосовом режиме, и другое.
Google: тоже провёл свою презу и представил Gemini 2 Flash, который быстрее предшественника и может помимо текста брать на вход длинные видео + аудио и отвечать по ним голосом, исполнять код, и гуглить. Ещё показали рассуждающую ллм Flash Thinking Experimental как аналог o1. Можно погонять на арене.
X: Илон сделал Grok-2 доступным для всех бесплатно (открывается в боковой панели твиттера по кнопке /). Можно генерить текст и картинки через модель Aurora (сравнение с Flux).
Запрещёнка вышла с ламой 3.3. Только в размере 70B, но говорят выдаёт результаты ламы 3.1 405B. Минимум 26 ГБ VRAM. Ollama плюс хаггинг.
Alibaba: дропнули VLM (визуальную языковую модель) QvQ 72B, превью версию модели с пошаговым мышлением по визуалу. До этого ранее вышла модель чисто по тексту QwQ 32.
Arch: обработчик промтов для AI-агентов. Персонализирует ллм для пользователя, отсеивает джеилбрейки, подрубает вызов функций/RAG, итд.
CrewAI: фреймворк для назначения AI-агентам разных ролей и поручения им заданий. По умолчанию работает с апи OpenAI, но можно подключить локальные ллм.
Replit: их AI-разработчик вышел из раннего доступа и стал доступен публично, но за подписку, минимальная — $25.
InternVL: обновлённый до v 2.5 чат по визуалу в размерах от 1B (смартфоны) до 78B (сервер/рабочая станция). Улучшения в рассуждениях, а также работе с доками и математикой. Лицензия MIT.
Microsoft: дропнули Florence-VL, которая основана на Florence-2, но лучше в работает в формате чата (а не просто распознавания), меньше ловит галлюнов и точнее.
Ещё майки сделали бесплатный тариф Copilot для VS Code с лимитом в 2000 дополнений кода/мес или 50 сообщений к AI. На выбор под капотом GPT-4o или Claude 3.5 Sonnet.
Nvidia: выпустили Jetson Orin Nano, микрокомпьютер для ML задач с 67 TOPS за $249. Похожее — Turing Pi.
Ivy-VL: маленькая моделька (3B) для чата по картинкам и тексту на телефонах и смарт очках.
LG: выпустили ллм EXAONE в размерах от 2.4B до 32B, с фокусом на работе мобильных устройствах и пользовательском железе.
Cohere: сообщество научило модель Aya 8B видеть и отвечать на вопросы по визуалу.
Gradio демка для голосового чата в реалтайме с моделью OpenAI. Нужен их API.
Anthropic: Claude теперь может анализировать крупные эксельки (30 МБ), и фича с анализом работает в мобильной апе.
CogAgent: опенсорсный AI-агент, который может видеть интерфейс пользователя и выполнять задания. Чтобы гонять нужно 29 ГБ VRAM.
TII: выпустили ллм Falcon 3 в размерах от 1B до 10B с контекстом 32К. По сравнению с предыдущей версией модель стала лучше рассуждениях, написании кода и математике.
Apollo: модель, которая может просматривать часовое видео и отвечать по нему.
Подсветка синтаксиса Gradio Lite в VS Code.