Telegram Group & Telegram Channel
This media is not supported in your browser
VIEW IN TELEGRAM
PocketPal: мобильный интерфейс для чата с разными маленькими языковыми моделями, интегрировал поддержку HuggingFace.

Теперь можно в мобильном приложении искать, качать и запускать модели прямо с хаггинга из списка или по ссылке.

Фичи:
* Работают оффлайн
* Смена моделей внутри одного чата, чтобы сравнить ответы
* Автозагрузка/выгрузка из памяти
* Управление размером контекста и другие параметры
* Метрики производительности видны после ответа

Я заметил, что когда ты возвращаешься после сворачивания приложения или выходишь с блокировки экрана, модель грузится по новой. Если что, это можно выключить в настройках, и загружать модели вручную.

Пока все, что щупал своим тестом на Mi Note 10 Pro генерят медленно. Но важнее не скорость, а качество. И пока ответы ни от одной из стартового списка (лама, SmolLM, Gemma, Danube, Phi, Qwen) меня не удовлетворили.

Некоторое время назад Qualcomm выпустили ворох моделей оптимизированных под мобилки. Я сейчас залез на хаггинг а они оказывается 5 дней назад их обновили и похоже новых залили. Надо будет заценить.

Android
iOS
Гитхаб



group-telegram.com/Psy_Eyes/2296
Create:
Last Update:

PocketPal: мобильный интерфейс для чата с разными маленькими языковыми моделями, интегрировал поддержку HuggingFace.

Теперь можно в мобильном приложении искать, качать и запускать модели прямо с хаггинга из списка или по ссылке.

Фичи:
* Работают оффлайн
* Смена моделей внутри одного чата, чтобы сравнить ответы
* Автозагрузка/выгрузка из памяти
* Управление размером контекста и другие параметры
* Метрики производительности видны после ответа

Я заметил, что когда ты возвращаешься после сворачивания приложения или выходишь с блокировки экрана, модель грузится по новой. Если что, это можно выключить в настройках, и загружать модели вручную.

Пока все, что щупал своим тестом на Mi Note 10 Pro генерят медленно. Но важнее не скорость, а качество. И пока ответы ни от одной из стартового списка (лама, SmolLM, Gemma, Danube, Phi, Qwen) меня не удовлетворили.

Некоторое время назад Qualcomm выпустили ворох моделей оптимизированных под мобилки. Я сейчас залез на хаггинг а они оказывается 5 дней назад их обновили и похоже новых залили. Надо будет заценить.

Android
iOS
Гитхаб

BY Psy Eyes


Share with your friend now:
group-telegram.com/Psy_Eyes/2296

View MORE
Open in Telegram


Telegram | DID YOU KNOW?

Date: |

The message was not authentic, with the real Zelenskiy soon denying the claim on his official Telegram channel, but the incident highlighted a major problem: disinformation quickly spreads unchecked on the encrypted app. "The argument from Telegram is, 'You should trust us because we tell you that we're trustworthy,'" Maréchal said. "It's really in the eye of the beholder whether that's something you want to buy into." And indeed, volatility has been a hallmark of the market environment so far in 2022, with the S&P 500 still down more than 10% for the year-to-date after first sliding into a correction last month. The CBOE Volatility Index, or VIX, has held at a lofty level of more than 30. After fleeing Russia, the brothers founded Telegram as a way to communicate outside the Kremlin's orbit. They now run it from Dubai, and Pavel Durov says it has more than 500 million monthly active users. I want a secure messaging app, should I use Telegram?
from tr


Telegram Psy Eyes
FROM American