🔥 DeepSeek Code Companion — это локальный чат-бот для помощи в программировании, основанный на модели DeepSeek-R1!

🌟 Он предоставляет функции отладки кода, генерации документации и разработки решений, при этом работает полностью офлайн, что обеспечивает конфиденциальность данных. Взаимодействие с ботом осуществляется через Gradio, предоставляя удобный веб-интерфейс.

🖥 Github

@data_analysis_ml

✔️ Защитный щит Anthropic против взлома LLM.

Anthropic разработала новый метод защиты LLM от джейлбрейк-атак, который не исправляет сами модели, а блокирует попытки взлома, не допуская нежелательных ответов.

Для создания защитного экрана компания сгенерировала датасет вопросов и ответов и перевела их на несколько языков, переписала в стиле запросов, которые используются хакерами.

Чтобы проверить эффективности экрана, Anthropic провела конкурс, где 183 участника более 3000 часов пытались обмануть Claude, но никто не смог получить ответ на более чем на 5 из 10 запрещенных вопросов. Затем провели второй тест, где 10 000 джейлбрейков, созданных LLM, были направлены на защитный экран. Пробить его смогли только 4,4% запросов, а без использования экрана - 86%. Есть минус - система защиты может блокировать безобидные вопросы и увеличивает вычислительные затраты.
technologyreview.com

✔️ ИИ приближает возможность самовосстанавливающегося асфальта.

Ученые из Университета Суонси и Королевского колледжа Лондона в сотрудничестве с коллегами из Чили объявили о планах по разработке самовосстанавливающихся асфальтовых дорог из биомассы с использованием ИИ.

Исследования показали, что можно обратить вспять процесс растрескивания битума, чтобы «сшить» асфальт обратно. Для создания «самовосстанавливающегося» асфальта команда добавила крошечные пористые материалы - споры, заполненные переработанным растительным маслом. При появлении микротрещин масло высвобождается из спор, чтобы заполнить трещины и предотвратить окисление битума, которое приводит к образованию выбоин. Лабораторные эксперименты показали, что биоспоровые микрокапсулы полностью залечивали трещины в образце состаренного битума за 50 минут. Исследования стали возможны благодаря ML, которое применялось для изучения органических молекул в сложных вязких субстанциях.
highwaysmagazine.co.uk

✔️ DeepSeek блокируют по всему миру из-за опасений по поводу безопасности данных.

Растет число стран и правительственных органов которые запретили использование моделей DeepSeek, выразив обеспокоенность по поводу этики, конфиденциальности и безопасности компании. Согласно политике DeepSeek, все данные пользователей хранятся в Китае, где местные законы требуют от организаций делиться данными с спецслужбами по запросу.

Италия стала одной из первых стран, запретивших DeepSeek после расследования комитетом по защите конфиденциальности. Тайвань запретил использование DeepSeek в гос.учреждениях из-за риска утечки информации. Конгресс США, Министерство обороны США, НАСА и и штат Техас также запретили использовать технологии DeepSeek, сославшись на потенциальные угрозы безопасности.
techcrunch.com

✔️ ИИ разрабатывает компьютерные чипы, которые человеческий разум не может понять.

CNN, разработанная в Принстонском университете, спроектировала беспроводные чипы, которые превосходят существующие аналоги. Нейронная сеть пользовалась методикой реверсивного инжиниринга - она проанализировала желаемые свойства чипа и создала его его в обратном порядке. Инженеры не смогли объяснить, как работают эти чипы, что может привести к проблемам с их ремонтом и сделать их одноразовыми.
popularmechanics.com

✔️ Google Cloud представляет новые виртуальные машины A4 на базе NVIDIA B200 для ИИ.

Google Cloud анонсировала предварительный показ новых виртуальных машин A4, оснащенных NVIDIA Blackwell B200. Каждая A4 VM имеет 8 GPU Blackwell, соединенных NVLink пятого поколения, что обеспечивает двухкратное увеличение производительности по сравнению с A3 High VM предыдущего поколения.

A4 VMs подходят для обучения и тонкой настройки различных архитектур моделей и используют сетевой адаптер Titanium ML, который предоставляет неблокирующую передачу данных между GPUs со скоростью 3,2 Тбит/с.

Google предлагает различные модели потребления - Dynamic Workload Scheduler с режимами Flex Start и Calendar для различных рабочих нагрузок.
cloud.google.com

✔️ Goedel-Prover: 7B LLM - новая SOTA по производительности в доказательстве теорем! 1-е место в таблице лидеров PutnamBench.

▪Blog ▪Github


#news #ai #ml

🖥 pytorch-cpp-cuda-starter

Cтартовый пакет работы с Pytorch на C/C++ с поддержкой CUDA.

▪ Github

#cpp #python #cuda #nvidia #opensource

⭐️ Simple GRPO

Вы можете запустить GRPO (Group Relative Policy Optimization - основной алгоритм Deepseek r1), для моделей на 8b параметров на GPU стоимостью 10 долл/ч.

4xH100 достаточно для тренировки Llama 3.1 8b и алгоритм прекрасно работает.

▪ Код: https://github.com/minosvasilias/simple_grpo

@data_analysis_ml

#gpro #deepseek #reasoning

🤖 Как гуманоидные роботы могут общаться не используя слов?

🚀 Новые исследования в области взаимодействия человека и робота!

Как человекоподобные роботы могут общаться не только словами? Фреймворк EMOTION использует большие языковые модели (LLM) для динамической генерации выразительных жестов, улучшая невербальную коммуникацию роботов.

EMOTION способен принимать фидбек от людей для совершенствования коммуникации (EMOTION++)

📜 Читайте полный текст статьи: https://arxiv.org/abs/2410.23234
🎬 Видео: https://machinelearning.apple.com/research/emotion-expressive-motion

🐼 Pandas умирает медленной и мучительной смертью.

Это самая популярная в мире библиотека обработки данных, но она медленная, и многие библиотеки значительно превзошли ее.

Проблема альтернатив Pandas в том, что никто не хочет изучать новый API.

Давайте посмотрим правде в глаза: люди не будут переносить свои проекты, га другие фреймворки, без особой причины.

Я уже давно работаю с FireDucks 🦆

Эта библиотека в разы быстрее Pandas, и вам не придется менять код старых проектов для перехода на нее.

Вы можете изменить *одну* строку кода и весь остальной код будет работать на FireDucks :

import fireducks.pandas as pd

Вы также можете запустить свой код *не* изменяя ни одной строки, используя хук:

python 
$ python -mfireducks.imhook yourfile[.]py

FireDucks — это многопоточная библиотека с ускорением компилятора и полностью совместимым с pandas API.

Она быстрее, чем Polars. Ниже приведена ссылка на некоторые бенчмарки, сравнивающие Pandas, Polars и FireDucks.

FireDucks побеждает с отрывом.

⛓️Здесь находится репозиторий FireDucks на GitHub:
https://github.com/fireducks-dev/fireducks

⛓️Если вы хотите пощупать либу, откройте этот пример:
https://github.com/fireducks-dev/fireducks/tree/main/notebooks/nyc_demo

⛓️Если вы хотите сравнить FireDucks с Polars и Pandas, вот еще один блокнот:
https://github.com/fireducks-dev/fireducks/blob/main/notebooks/FireDucks_vs_Pandas_vs_Polars.ipynb

⛓️И наконец, бенчмарки, с которыми стоит ознакомиться:
https://fireducks-dev.github.io/docs/benchmarks/

⭐️ Подписаться: @data_analysis_ml

#fireducks #Pandas #dataanalysis #datascience #python #opensource

✔️ Mistral AI обновила Le Chat: быстрый инференс, мобильные приложения и новые тарифы.

Главное в обновлении - новая функция "Flash Answers", которая генерирует ответы со скоростью до 1000 слов в секунду. Mistral AI утверждает, что это делает Le Chat самым быстрым AI-ассистентом на данный момент.

Обновление включает в себя интерпретатор кода с возможностью его запуска, возможность научного анализа статей и создание визуализаций. За генерацию изображений в сервисе отвечает модель Flux Ultra от Black Forest Labs.

Mistral также презентовал новую структуру ценообразования с 4 тарифными планами: бесплатный базовый план, план Pro за $14.99 в месяц, план Team за $24.99 в месяц на пользователя и план Enterprise с индивидуальным ценообразованием для крупных организаций. Le Chat теперь доступен на iOS и Android.
mistral.ai

✔️ OpenAI планирует выпуск устройства на базе ChatGPT.

OpenAI подтвердила разработку потребительского устройства на базе ChatGPT. По словам Сэма Альтмана, компания планирует разрабатывать его в сотрудничестве с несколькими компаниями, предполагая, что голосовой ввод станет основным способом взаимодействия.

Поскольку над дизайном работает Джони Айв, бывший дизайнер Apple, ожидается, что устройство будет обладать привлекательным внешним видом. Конфиденциальность также является ключевым моментом, особенно если устройство будет оснащено камерами и микрофонами.
techradar.com

✔️ Google смягчает ограничения на использование ИИ в оборонных контрактах.

Google пересмотрела свои этические принципы в отношении ИИ, отменив прежний запрет на использование его в оружии и системах наблюдения. Компания объясняет это решение растущей глобальной конкуренцией за лидерство в сфере ИИ. В новой редакции принципов акцент делается на человеческом контроле и тестировании, чтобы обеспечить соответствие международному праву и правам человека и минимизировать непреднамеренные или вредные последствия.

Другие крупные ИИ-вендоры - OpenAI, Anthropic и Microsoft уже начали сотрудничество с оборонными подрядчиками или предоставляют свои технологии американским военным.
washingtonpost.com

✔️ Microsoft представила методы низкобитного квантования для развертывания LLM на периферийных устройствах.

Методы, предложенные Microsoft - это: компилятор типов данных Ladder, библиотека T-MAC mpGEMM и аппаратная архитектура LUT Tensor Core.

Ladder преобразует неподдерживаемые форматы данных в аппаратно-совместимые представления, библиотека T-MAC mpGEMM оптимизирует вычисления смешанной точности, используя метод на основе таблицы поиска (LUT), а архитектура LUT Tensor Core представляет собой специализированный ускоритель, предназначенный для низкобитного квантования.

Их совокупность позволяет LLM эффективно работать на широком спектре оборудования, от ноутбуков до маломощных IoT-устройств. В тестах библиотека T-MAC достигла 48 токенов в секунду для модели 3B BitNet-b1.58 на Surface Laptop 7 и 11 токенов в секунду на Raspberry Pi 5.
microsoft.com

✔️ Inspira Technologies разработала датчик оксигенации на базе ИИ.

Израильская компания Inspira Technologies OXY анонсировала интеграцию кислородного индикатора нового поколения в свою технологию HYLA на базе искусственного интеллекта, которая изменит неотложную помощь, обеспечив мониторинг оксигенации тканей в реальном времени без традиционного забора крови. Индикатор на базе ИИ предназначен для непрерывного мониторинга уровня кислорода для раннего выявления гипоксии и других респираторных осложнений.

Сейчас датчики HYLA проходят клиническую проверку в медицинском центре Sheba, и Inspira ожидает, что вскоре будут опубликованы предварительные результаты, а подача в FDA для получения разрешения регулирующих органов ожидается во второй половине 2025 года.
prnewswire.com

✔️ SMOL-GPT
Простая реализация PyTorch для обучения вашего собственного LLM с нуля. Репозитория создан для образовательных целей изучения больших языковых моделей на практике.
Github

✔️ SYNTHETIC-1: новый крупнейший синтетический датасет, состоящий из 1,4 млн задач, охватывающих математику, код, науку.
Dataset

#news #ai #ml

⭐️А вы знали, что можно легко преобразовать репозиторий GitHub для работы с LLM?

В мире современных технологий, где искусственный интеллект и машинное обучение становятся всё более распространёнными, важно уметь эффективно использовать доступные инструменты.

Одним из таких инструментов является возможность работы с репозиториями на GitHub для обучения и взаимодействия с языковыми моделями (LLM).

👾👾Как это сделать?
Если вы хотите адаптировать репозиторий GitHub для работы с LLM, вам нужно лишь внести небольшое изменение в URL.

Вместо стандартного адреса с «hub» замените его на «ingest».

Это простое действие позволит вам интегрировать данные из репозитория в ваши модели, что значительно упростит процесс обработки и анализа информации.
🤖Пример
Предположим, у вас есть URL репозитория:

https://github.com/username/repository

Чтобы преобразовать его для работы с LLM, просто замените «hub» на «ingest»:

https://gitingest.com/username/repository

Теперь вы можете использовать этот новый адрес для загрузки данных и обучения вашей модели.
👍🏻👍🏻👍🏻

@data_analysis_ml

🤖 Абсурдность нашего предстоящего будущего

@data_analysis_ml