эйай ньюз

ох чего не сделаешь ради nsfw или Как запустить ЛЛМ на ноутбуке.

Не знаю почему, но как-то по ощущениям ЛЛМ-ки народ меньше запускает локально, как, например, тот же стэйбл диффьюжн. Хотя я за локальные ллм очень топлю – не люблю свои данные в клауд опенаи отправлять. То ли проблема в том, что нормальных открытых моделей до недавнего не было, то ли в том, что модельки эти просят 40 GB VRAM.

Но ведь у нас теперь есть LLAMA 3 8B! Мне удалось запустить квантизированную версию на ноуте с GTX 1650 Ti c 4 GB VRAM без особой нагрузки. (Оно и неудивительно, ведь Ламу и на мобиле уже запускают.)

Короче, вот вам гайд, как за пару тыков поставить эту кударявую лошадку себе на домашний компьютер:

1) Заходим на сайт LM Studio , качаем под свою систему сетап.
2) В поиске находим QuantFactory/Meta-Llama-3-8B-Instruct-GGUF, берем версию под себя. Там несколько квантизаций с разным уровнем сжатия. Ну или выбираем любую другую модель.
3) Заходим в окно чата, подгружаем модель и радуемся.

После того как освоились с этим, можно и поизвращаться)

Вот вам еще моя копипаста - небольшая подборка постов, про локальнные LLM:
- LLaMa с text-retrieval плагином: тык-1, тык-2
- LLama-7B на на макбуке: тык
- LLaMa-30B на макбуке (4-bit + mmap): тык
- llama2.c или Карпатый запускает LLaMa-2-7B на рисоварке: тык; а вот реализация на часах: тык
- Falcon 180B дома на маке M2 Ultra: тык

LM Studio

#туториал
@ai_newz

LM Studio

LM Studio - Discover, download, and run local LLMs

Run Llama, Mistral, Phi-3 locally on your computer.

www.group-telegram.com/hk/ai_newz.com/2716

29.4K viewsedited  May 18, 2024 at 19:45

ох чего не сделаешь ради nsfw или Как запустить ЛЛМ на ноутбуке.

Не знаю почему, но как-то по ощущениям ЛЛМ-ки народ меньше запускает локально, как, например, тот же стэйбл диффьюжн. Хотя я за локальные ллм очень топлю – не люблю свои данные в клауд опенаи отправлять. То ли проблема в том, что нормальных открытых моделей до недавнего не было, то ли в том, что модельки эти просят 40 GB VRAM.

Но ведь у нас теперь есть LLAMA 3 8B! Мне удалось запустить квантизированную версию на ноуте с GTX 1650 Ti c 4 GB VRAM без особой нагрузки. (Оно и неудивительно, ведь Ламу и на мобиле уже запускают.)

Короче, вот вам гайд, как за пару тыков поставить эту кударявую лошадку себе на домашний компьютер:

1) Заходим на сайт LM Studio , качаем под свою систему сетап.
2) В поиске находим QuantFactory/Meta-Llama-3-8B-Instruct-GGUF, берем версию под себя. Там несколько квантизаций с разным уровнем сжатия. Ну или выбираем любую другую модель.
3) Заходим в окно чата, подгружаем модель и радуемся.

После того как освоились с этим, можно и поизвращаться)

Вот вам еще моя копипаста - небольшая подборка постов, про локальнные LLM:
- LLaMa с text-retrieval плагином: тык-1, тык-2
- LLama-7B на на макбуке: тык
- LLaMa-30B на макбуке (4-bit + mmap): тык
- llama2.c или Карпатый запускает LLaMa-2-7B на рисоварке: тык; а вот реализация на часах: тык
- Falcon 180B дома на маке M2 Ultra: тык

LM Studio

#туториал
@ai_newz

BY эйай ньюз