Я нечасто постил на прошлой неделе, однако произошло много интересного. Вот тут несколько хайлайтов.
🔥LLaMA- новая языковая модель от Meta AI LLaMA - семейство моделей (7, 13, 33 и 65 млрд параметров). При том, что количество параметров у LLaMA на порядок меньше, она может превосходить GPT-3 по качеству на бенчмарках. Что не менее важно, Meta релизит веса для исследователей.
🛞Стартап Амазона Zoox, производящий автономные такси, получил разрешениена поездки В машине полностью отсутствует руль и педали. Однако, пока что, тестирование на дорогах общего пользования сильно ограничено: ездить можно только по выходным, не более 65км/ч и только в отведенных районах.
🤗Библиотека PEFTот Hugging Face для эффективного файн-тьюнинга PEFT интегрирован с HF Accelerate и позволяет оптимизировать только часть параметров, что значительно экономит необходимые ресурсы. Как прмер, авторы приводят файнтьюнинг bigscience/T0_3B (3B params), для которой требования VRAM снизились с ~50Gb до 15Gb.
⚡Либа FlexGen позволяет запустить огромную языковую модель типа OPT-175B/GPT-3 на одной видеокарте 16 GB VRAM. Вот только нужно 200Gb оперативки.
📈Трендовый гайдпо промпт-инженерингу Хочешь красивую генерацию – люби и промпты подбирать. В репе есть примеры инженеринга промтов для разных задач, а так же лекция и другие материалы на тему.
👀Grid-search по лекарствам против рака с помощью Компьютерного зрения. Ученые испытывали препараты не на раковом больном, а параллельно на десятках образцах его тканей. При этом, за изменениями в целевых клетках, наблюдала нейронка, которая позволяла отмечать даже малые изменения в клетках после терапии. В итоге смогли найти подходящее лекарство, про которое раньше даже и не думали, и у пациента началась ремиссия.
🔎Google нашел новый эффективный оптимайзер – Lion. [Пост]
Я нечасто постил на прошлой неделе, однако произошло много интересного. Вот тут несколько хайлайтов.
🔥LLaMA- новая языковая модель от Meta AI LLaMA - семейство моделей (7, 13, 33 и 65 млрд параметров). При том, что количество параметров у LLaMA на порядок меньше, она может превосходить GPT-3 по качеству на бенчмарках. Что не менее важно, Meta релизит веса для исследователей.
🛞Стартап Амазона Zoox, производящий автономные такси, получил разрешениена поездки В машине полностью отсутствует руль и педали. Однако, пока что, тестирование на дорогах общего пользования сильно ограничено: ездить можно только по выходным, не более 65км/ч и только в отведенных районах.
🤗Библиотека PEFTот Hugging Face для эффективного файн-тьюнинга PEFT интегрирован с HF Accelerate и позволяет оптимизировать только часть параметров, что значительно экономит необходимые ресурсы. Как прмер, авторы приводят файнтьюнинг bigscience/T0_3B (3B params), для которой требования VRAM снизились с ~50Gb до 15Gb.
⚡Либа FlexGen позволяет запустить огромную языковую модель типа OPT-175B/GPT-3 на одной видеокарте 16 GB VRAM. Вот только нужно 200Gb оперативки.
📈Трендовый гайдпо промпт-инженерингу Хочешь красивую генерацию – люби и промпты подбирать. В репе есть примеры инженеринга промтов для разных задач, а так же лекция и другие материалы на тему.
👀Grid-search по лекарствам против рака с помощью Компьютерного зрения. Ученые испытывали препараты не на раковом больном, а параллельно на десятках образцах его тканей. При этом, за изменениями в целевых клетках, наблюдала нейронка, которая позволяла отмечать даже малые изменения в клетках после терапии. В итоге смогли найти подходящее лекарство, про которое раньше даже и не думали, и у пациента началась ремиссия.
🔎Google нашел новый эффективный оптимайзер – Lion. [Пост]
At the start of 2018, the company attempted to launch an Initial Coin Offering (ICO) which would enable it to enable payments (and earn the cash that comes from doing so). The initial signals were promising, especially given Telegram’s user base is already fairly crypto-savvy. It raised an initial tranche of cash – worth more than a billion dollars – to help develop the coin before opening sales to the public. Unfortunately, third-party sales of coins bought in those initial fundraising rounds raised the ire of the SEC, which brought the hammer down on the whole operation. In 2020, officials ordered Telegram to pay a fine of $18.5 million and hand back much of the cash that it had raised. Telegram has become more interventionist over time, and has steadily increased its efforts to shut down these accounts. But this has also meant that the company has also engaged with lawmakers more generally, although it maintains that it doesn’t do so willingly. For instance, in September 2021, Telegram reportedly blocked a chat bot in support of (Putin critic) Alexei Navalny during Russia’s most recent parliamentary elections. Pavel Durov was quoted at the time saying that the company was obliged to follow a “legitimate” law of the land. He added that as Apple and Google both follow the law, to violate it would give both platforms a reason to boot the messenger from its stores. "For Telegram, accountability has always been a problem, which is why it was so popular even before the full-scale war with far-right extremists and terrorists from all over the world," she told AFP from her safe house outside the Ukrainian capital. DFR Lab sent the image through Microsoft Azure's Face Verification program and found that it was "highly unlikely" that the person in the second photo was the same as the first woman. The fact-checker Logically AI also found the claim to be false. The woman, Olena Kurilo, was also captured in a video after the airstrike and shown to have the injuries. In a statement, the regulator said the search and seizure operation was carried out against seven individuals and one corporate entity at multiple locations in Ahmedabad and Bhavnagar in Gujarat, Neemuch in Madhya Pradesh, Delhi, and Mumbai.
from id
