🤯Локальные LLM-ки на подъеме — некий Кулибин запуcтил Карпатовскую llama2.c на Galaxy Watch 4!
Моделька не самая жирная, но это пока. Через год-два 1B параметров будет на часах бегать. Персональный ассистент у вас на руке!
Скорость: Модель с 15M параметров: 22 токенов/сек* Модель с 43M параметров: 8 токенов/сек
Вот вам еще небольшая подборка моих постов, про локальнные LLM: - LLaMa с text-retrieval плагином: тык-1, тык-2 - LLama-7B на на макбуке: тык - LLaMa-30B на макбуке (4-bit + mmap): тык - llama2.c или Карпатый запускает LLaMa-2-7B на рисоварке: тык - Falcon 180B дома на маке M2 Ultra: тык
🤯Локальные LLM-ки на подъеме — некий Кулибин запуcтил Карпатовскую llama2.c на Galaxy Watch 4!
Моделька не самая жирная, но это пока. Через год-два 1B параметров будет на часах бегать. Персональный ассистент у вас на руке!
Скорость: Модель с 15M параметров: 22 токенов/сек* Модель с 43M параметров: 8 токенов/сек
Вот вам еще небольшая подборка моих постов, про локальнные LLM: - LLaMa с text-retrieval плагином: тык-1, тык-2 - LLama-7B на на макбуке: тык - LLaMa-30B на макбуке (4-bit + mmap): тык - llama2.c или Карпатый запускает LLaMa-2-7B на рисоварке: тык - Falcon 180B дома на маке M2 Ultra: тык
Russian President Vladimir Putin launched Russia's invasion of Ukraine in the early-morning hours of February 24, targeting several key cities with military strikes. This provided opportunity to their linked entities to offload their shares at higher prices and make significant profits at the cost of unsuspecting retail investors. A Russian Telegram channel with over 700,000 followers is spreading disinformation about Russia's invasion of Ukraine under the guise of providing "objective information" and fact-checking fake news. Its influence extends beyond the platform, with major Russian publications, government officials, and journalists citing the page's posts. The regulator said it has been undertaking several campaigns to educate the investors to be vigilant while taking investment decisions based on stock tips. But Kliuchnikov, the Ukranian now in France, said he will use Signal or WhatsApp for sensitive conversations, but questions around privacy on Telegram do not give him pause when it comes to sharing information about the war.
from tw
