PocketPal: мобильный интерфейс для чата с разными маленькими языковыми моделями, интегрировал поддержку HuggingFace.
Теперь можно в мобильном приложении искать, качать и запускать модели прямо с хаггинга из списка или по ссылке.
Фичи: * Работают оффлайн * Смена моделей внутри одного чата, чтобы сравнить ответы * Автозагрузка/выгрузка из памяти * Управление размером контекста и другие параметры * Метрики производительности видны после ответа
Я заметил, что когда ты возвращаешься после сворачивания приложения или выходишь с блокировки экрана, модель грузится по новой. Если что, это можно выключить в настройках, и загружать модели вручную.
Пока все, что щупал своим тестом на Mi Note 10 Pro генерят медленно. Но важнее не скорость, а качество. И пока ответы ни от одной из стартового списка (лама, SmolLM, Gemma, Danube, Phi, Qwen) меня не удовлетворили.
Некоторое время назад Qualcomm выпустили ворох моделей оптимизированных под мобилки. Я сейчас залез на хаггинг а они оказывается 5 дней назад их обновили и похоже новых залили. Надо будет заценить.
PocketPal: мобильный интерфейс для чата с разными маленькими языковыми моделями, интегрировал поддержку HuggingFace.
Теперь можно в мобильном приложении искать, качать и запускать модели прямо с хаггинга из списка или по ссылке.
Фичи: * Работают оффлайн * Смена моделей внутри одного чата, чтобы сравнить ответы * Автозагрузка/выгрузка из памяти * Управление размером контекста и другие параметры * Метрики производительности видны после ответа
Я заметил, что когда ты возвращаешься после сворачивания приложения или выходишь с блокировки экрана, модель грузится по новой. Если что, это можно выключить в настройках, и загружать модели вручную.
Пока все, что щупал своим тестом на Mi Note 10 Pro генерят медленно. Но важнее не скорость, а качество. И пока ответы ни от одной из стартового списка (лама, SmolLM, Gemma, Danube, Phi, Qwen) меня не удовлетворили.
Некоторое время назад Qualcomm выпустили ворох моделей оптимизированных под мобилки. Я сейчас залез на хаггинг а они оказывается 5 дней назад их обновили и похоже новых залили. Надо будет заценить.
And indeed, volatility has been a hallmark of the market environment so far in 2022, with the S&P 500 still down more than 10% for the year-to-date after first sliding into a correction last month. The CBOE Volatility Index, or VIX, has held at a lofty level of more than 30. DFR Lab sent the image through Microsoft Azure's Face Verification program and found that it was "highly unlikely" that the person in the second photo was the same as the first woman. The fact-checker Logically AI also found the claim to be false. The woman, Olena Kurilo, was also captured in a video after the airstrike and shown to have the injuries. The S&P 500 fell 1.3% to 4,204.36, and the Dow Jones Industrial Average was down 0.7% to 32,943.33. The Dow posted a fifth straight weekly loss — its longest losing streak since 2019. The Nasdaq Composite tumbled 2.2% to 12,843.81. Though all three indexes opened in the green, stocks took a turn after a new report showed U.S. consumer sentiment deteriorated more than expected in early March as consumers' inflation expectations soared to the highest since 1981. 'Wild West' "Russians are really disconnected from the reality of what happening to their country," Andrey said. "So Telegram has become essential for understanding what's going on to the Russian-speaking world."
from sg
