🤯Локальные LLM-ки на подъеме — некий Кулибин запуcтил Карпатовскую llama2.c на Galaxy Watch 4!
Моделька не самая жирная, но это пока. Через год-два 1B параметров будет на часах бегать. Персональный ассистент у вас на руке!
Скорость: Модель с 15M параметров: 22 токенов/сек* Модель с 43M параметров: 8 токенов/сек
Вот вам еще небольшая подборка моих постов, про локальнные LLM: - LLaMa с text-retrieval плагином: тык-1, тык-2 - LLama-7B на на макбуке: тык - LLaMa-30B на макбуке (4-bit + mmap): тык - llama2.c или Карпатый запускает LLaMa-2-7B на рисоварке: тык - Falcon 180B дома на маке M2 Ultra: тык
🤯Локальные LLM-ки на подъеме — некий Кулибин запуcтил Карпатовскую llama2.c на Galaxy Watch 4!
Моделька не самая жирная, но это пока. Через год-два 1B параметров будет на часах бегать. Персональный ассистент у вас на руке!
Скорость: Модель с 15M параметров: 22 токенов/сек* Модель с 43M параметров: 8 токенов/сек
Вот вам еще небольшая подборка моих постов, про локальнные LLM: - LLaMa с text-retrieval плагином: тык-1, тык-2 - LLama-7B на на макбуке: тык - LLaMa-30B на макбуке (4-bit + mmap): тык - llama2.c или Карпатый запускает LLaMa-2-7B на рисоварке: тык - Falcon 180B дома на маке M2 Ultra: тык
Continuing its crackdown against entities allegedly involved in a front-running scam using messaging app Telegram, Sebi on Thursday carried out search and seizure operations at the premises of eight entities in multiple locations across the country. Stocks closed in the red Friday as investors weighed upbeat remarks from Russian President Vladimir Putin about diplomatic discussions with Ukraine against a weaker-than-expected print on U.S. consumer sentiment. Telegram does offer end-to-end encrypted communications through Secret Chats, but this is not the default setting. Standard conversations use the MTProto method, enabling server-client encryption but with them stored on the server for ease-of-access. This makes using Telegram across multiple devices simple, but also means that the regular Telegram chats you’re having with folks are not as secure as you may believe. The account, "War on Fakes," was created on February 24, the same day Russian President Vladimir Putin announced a "special military operation" and troops began invading Ukraine. The page is rife with disinformation, according to The Atlantic Council's Digital Forensic Research Lab, which studies digital extremism and published a report examining the channel. The Russian invasion of Ukraine has been a driving force in markets for the past few weeks.
from pl
