Telegram Group & Telegram Channel
🤖 Создание легковесного персонального ассистента на базе Qwen

Хочешь создать собственного ИИ-ассистента, работающего локально? В статье на Machine Learning Mastery показано, как это сделать с помощью модели Qwen1.5-7B-Chat от Alibaba.

🔧 Что понадобится:
- Python
- Библиотеки: transformers, accelerate, bitsandbytes, einops, ipywidgets
- Модель Qwen1.5-7B-Chat с поддержкой 4-битной квантизации для экономии памяти

🛠️ Основные шаги:
1. Установка необходимых библиотек и проверка совместимости
2. Загрузка модели и токенизатора с использованием Hugging Face Transformers
3. Настройка квантизации (4-битной или 8-битной) для оптимизации использования памяти
4. Создание функции генерации ответов с учетом истории чата
5. Реализация пользовательского интерфейса с помощью ipywidgets или командной строки

📈 Преимущества:
- Работа на локальной машине без необходимости подключения к интернету
- Быстрая генерация ответов благодаря квантизации и использованию GPU
- Гибкость в настройке и расширении функциональности ассистента

🔗 Подробнее о процессе создания ассистента читайте в оригинальной статье



group-telegram.com/data_analysis_ml/3569
Create:
Last Update:

🤖 Создание легковесного персонального ассистента на базе Qwen

Хочешь создать собственного ИИ-ассистента, работающего локально? В статье на Machine Learning Mastery показано, как это сделать с помощью модели Qwen1.5-7B-Chat от Alibaba.

🔧 Что понадобится:
- Python
- Библиотеки: transformers, accelerate, bitsandbytes, einops, ipywidgets
- Модель Qwen1.5-7B-Chat с поддержкой 4-битной квантизации для экономии памяти

🛠️ Основные шаги:
1. Установка необходимых библиотек и проверка совместимости
2. Загрузка модели и токенизатора с использованием Hugging Face Transformers
3. Настройка квантизации (4-битной или 8-битной) для оптимизации использования памяти
4. Создание функции генерации ответов с учетом истории чата
5. Реализация пользовательского интерфейса с помощью ipywidgets или командной строки

📈 Преимущества:
- Работа на локальной машине без необходимости подключения к интернету
- Быстрая генерация ответов благодаря квантизации и использованию GPU
- Гибкость в настройке и расширении функциональности ассистента

🔗 Подробнее о процессе создания ассистента читайте в оригинальной статье

BY Анализ данных (Data analysis)




Share with your friend now:
group-telegram.com/data_analysis_ml/3569

View MORE
Open in Telegram


Telegram | DID YOU KNOW?

Date: |

Given the pro-privacy stance of the platform, it’s taken as a given that it’ll be used for a number of reasons, not all of them good. And Telegram has been attached to a fair few scandals related to terrorism, sexual exploitation and crime. Back in 2015, Vox described Telegram as “ISIS’ app of choice,” saying that the platform’s real use is the ability to use channels to distribute material to large groups at once. Telegram has acted to remove public channels affiliated with terrorism, but Pavel Durov reiterated that he had no business snooping on private conversations. The Russian invasion of Ukraine has been a driving force in markets for the past few weeks. The message was not authentic, with the real Zelenskiy soon denying the claim on his official Telegram channel, but the incident highlighted a major problem: disinformation quickly spreads unchecked on the encrypted app. DFR Lab sent the image through Microsoft Azure's Face Verification program and found that it was "highly unlikely" that the person in the second photo was the same as the first woman. The fact-checker Logically AI also found the claim to be false. The woman, Olena Kurilo, was also captured in a video after the airstrike and shown to have the injuries. "The result is on this photo: fiery 'greetings' to the invaders," the Security Service of Ukraine wrote alongside a photo showing several military vehicles among plumes of black smoke.
from us


Telegram Анализ данных (Data analysis)
FROM American