group-telegram.com/Psy_Eyes/2296
Last Update:
PocketPal: мобильный интерфейс для чата с разными маленькими языковыми моделями, интегрировал поддержку HuggingFace.
Теперь можно в мобильном приложении искать, качать и запускать модели прямо с хаггинга из списка или по ссылке.
Фичи:
* Работают оффлайн
* Смена моделей внутри одного чата, чтобы сравнить ответы
* Автозагрузка/выгрузка из памяти
* Управление размером контекста и другие параметры
* Метрики производительности видны после ответа
Я заметил, что когда ты возвращаешься после сворачивания приложения или выходишь с блокировки экрана, модель грузится по новой. Если что, это можно выключить в настройках, и загружать модели вручную.
Пока все, что щупал своим тестом на Mi Note 10 Pro генерят медленно. Но важнее не скорость, а качество. И пока ответы ни от одной из стартового списка (лама, SmolLM, Gemma, Danube, Phi, Qwen) меня не удовлетворили.
Некоторое время назад Qualcomm выпустили ворох моделей оптимизированных под мобилки. Я сейчас залез на хаггинг а они оказывается 5 дней назад их обновили и похоже новых залили. Надо будет заценить.
Android
iOS
Гитхаб
BY Psy Eyes
Share with your friend now:
group-telegram.com/Psy_Eyes/2296