Наконец установил Ollama - Llama 3.2, Phi 3, Mistral, Gemma 2 и вообще любые модели с HuggingFace на вашем компьютере локально (Mac/Windows/Linux). Установка занимает пару минут. Просто зайти на сайт и скачать приложение.
Можно пользоваться моделями без цензуры. Что бы поделючить модели с HF нужно использовать следующий формат:
например:
также можно указать определённый Quant:
Update от читателя: По-русски хорошо говорит DeepSeek (но весит 162гига):
Сергей Булаев AI 🤖 - об AI и не только
Можно пользоваться моделями без цензуры. Что бы поделючить модели с HF нужно использовать следующий формат:
ollama run hf.co/{username}/{reponame}:latestнапример:
ollama run hf.co/bartowski/Llama-3.2-1B-Instruct-GGUF:latestтакже можно указать определённый Quant:
ollama run hf.co/bartowski/Llama-3.2-1B-Instruct-GGUF:Q8_0Update от читателя: По-русски хорошо говорит DeepSeek (но весит 162гига):
ollama run deepseek-v2.5:236b-q5_0Сергей Булаев AI 🤖 - об AI и не только
group-telegram.com/sergiobulaev/766
Create:
Last Update:
Last Update:
Наконец установил Ollama - Llama 3.2, Phi 3, Mistral, Gemma 2 и вообще любые модели с HuggingFace на вашем компьютере локально (Mac/Windows/Linux). Установка занимает пару минут. Просто зайти на сайт и скачать приложение.
Можно пользоваться моделями без цензуры. Что бы поделючить модели с HF нужно использовать следующий формат:
например:
также можно указать определённый Quant:
Update от читателя: По-русски хорошо говорит DeepSeek (но весит 162гига):
Сергей Булаев AI 🤖 - об AI и не только
Можно пользоваться моделями без цензуры. Что бы поделючить модели с HF нужно использовать следующий формат:
ollama run hf.co/{username}/{reponame}:latestнапример:
ollama run hf.co/bartowski/Llama-3.2-1B-Instruct-GGUF:latestтакже можно указать определённый Quant:
ollama run hf.co/bartowski/Llama-3.2-1B-Instruct-GGUF:Q8_0Update от читателя: По-русски хорошо говорит DeepSeek (но весит 162гига):
ollama run deepseek-v2.5:236b-q5_0Сергей Булаев AI 🤖 - об AI и не только
BY Сергей Булаев AI 🤖
Share with your friend now:
group-telegram.com/sergiobulaev/766