Telegram Group & Telegram Channel
This media is not supported in your browser
VIEW IN TELEGRAM
PocketPal: мобильный интерфейс для чата с разными маленькими языковыми моделями, интегрировал поддержку HuggingFace.

Теперь можно в мобильном приложении искать, качать и запускать модели прямо с хаггинга из списка или по ссылке.

Фичи:
* Работают оффлайн
* Смена моделей внутри одного чата, чтобы сравнить ответы
* Автозагрузка/выгрузка из памяти
* Управление размером контекста и другие параметры
* Метрики производительности видны после ответа

Я заметил, что когда ты возвращаешься после сворачивания приложения или выходишь с блокировки экрана, модель грузится по новой. Если что, это можно выключить в настройках, и загружать модели вручную.

Пока все, что щупал своим тестом на Mi Note 10 Pro генерят медленно. Но важнее не скорость, а качество. И пока ответы ни от одной из стартового списка (лама, SmolLM, Gemma, Danube, Phi, Qwen) меня не удовлетворили.

Некоторое время назад Qualcomm выпустили ворох моделей оптимизированных под мобилки. Я сейчас залез на хаггинг а они оказывается 5 дней назад их обновили и похоже новых залили. Надо будет заценить.

Android
iOS
Гитхаб



group-telegram.com/Psy_Eyes/2296
Create:
Last Update:

PocketPal: мобильный интерфейс для чата с разными маленькими языковыми моделями, интегрировал поддержку HuggingFace.

Теперь можно в мобильном приложении искать, качать и запускать модели прямо с хаггинга из списка или по ссылке.

Фичи:
* Работают оффлайн
* Смена моделей внутри одного чата, чтобы сравнить ответы
* Автозагрузка/выгрузка из памяти
* Управление размером контекста и другие параметры
* Метрики производительности видны после ответа

Я заметил, что когда ты возвращаешься после сворачивания приложения или выходишь с блокировки экрана, модель грузится по новой. Если что, это можно выключить в настройках, и загружать модели вручную.

Пока все, что щупал своим тестом на Mi Note 10 Pro генерят медленно. Но важнее не скорость, а качество. И пока ответы ни от одной из стартового списка (лама, SmolLM, Gemma, Danube, Phi, Qwen) меня не удовлетворили.

Некоторое время назад Qualcomm выпустили ворох моделей оптимизированных под мобилки. Я сейчас залез на хаггинг а они оказывается 5 дней назад их обновили и похоже новых залили. Надо будет заценить.

Android
iOS
Гитхаб

BY Psy Eyes


Share with your friend now:
group-telegram.com/Psy_Eyes/2296

View MORE
Open in Telegram


Telegram | DID YOU KNOW?

Date: |

Some privacy experts say Telegram is not secure enough "He has to start being more proactive and to find a real solution to this situation, not stay in standby without interfering. It's a very irresponsible position from the owner of Telegram," she said. The fake Zelenskiy account reached 20,000 followers on Telegram before it was shut down, a remedial action that experts say is all too rare. The S&P 500 fell 1.3% to 4,204.36, and the Dow Jones Industrial Average was down 0.7% to 32,943.33. The Dow posted a fifth straight weekly loss — its longest losing streak since 2019. The Nasdaq Composite tumbled 2.2% to 12,843.81. Though all three indexes opened in the green, stocks took a turn after a new report showed U.S. consumer sentiment deteriorated more than expected in early March as consumers' inflation expectations soared to the highest since 1981. Individual messages can be fully encrypted. But the user has to turn on that function. It's not automatic, as it is on Signal and WhatsApp.
from us


Telegram Psy Eyes
FROM American