🤯Локальные LLM-ки на подъеме — некий Кулибин запуcтил Карпатовскую llama2.c на Galaxy Watch 4!
Моделька не самая жирная, но это пока. Через год-два 1B параметров будет на часах бегать. Персональный ассистент у вас на руке!
Скорость: Модель с 15M параметров: 22 токенов/сек* Модель с 43M параметров: 8 токенов/сек
Вот вам еще небольшая подборка моих постов, про локальнные LLM: - LLaMa с text-retrieval плагином: тык-1, тык-2 - LLama-7B на на макбуке: тык - LLaMa-30B на макбуке (4-bit + mmap): тык - llama2.c или Карпатый запускает LLaMa-2-7B на рисоварке: тык - Falcon 180B дома на маке M2 Ultra: тык
🤯Локальные LLM-ки на подъеме — некий Кулибин запуcтил Карпатовскую llama2.c на Galaxy Watch 4!
Моделька не самая жирная, но это пока. Через год-два 1B параметров будет на часах бегать. Персональный ассистент у вас на руке!
Скорость: Модель с 15M параметров: 22 токенов/сек* Модель с 43M параметров: 8 токенов/сек
Вот вам еще небольшая подборка моих постов, про локальнные LLM: - LLaMa с text-retrieval плагином: тык-1, тык-2 - LLama-7B на на макбуке: тык - LLaMa-30B на макбуке (4-bit + mmap): тык - llama2.c или Карпатый запускает LLaMa-2-7B на рисоварке: тык - Falcon 180B дома на маке M2 Ultra: тык
Recently, Durav wrote on his Telegram channel that users' right to privacy, in light of the war in Ukraine, is "sacred, now more than ever." Telegram users are able to send files of any type up to 2GB each and access them from any device, with no limit on cloud storage, which has made downloading files more popular on the platform. The SC urges the public to refer to the SC’s I nvestor Alert List before investing. The list contains details of unauthorised websites, investment products, companies and individuals. Members of the public who suspect that they have been approached by unauthorised firms or individuals offering schemes that promise unrealistic returns Perpetrators of these scams will create a public group on Telegram to promote these investment packages that are usually accompanied by fake testimonies and sometimes advertised as being Shariah-compliant. Interested investors will be asked to directly message the representatives to begin investing in the various investment packages offered. As the war in Ukraine rages, the messaging app Telegram has emerged as the go-to place for unfiltered live war updates for both Ukrainian refugees and increasingly isolated Russians alike.
from us
