Немного странный анонс моделей с приговоркой "статья будет чуть позже", meta раньше так не делали, но всё равно модели очень крутые и уже доступны
Детали: 1. 16K GPU 🤯 1. 15T токенов 🤯🤯 1. Веса моделей на 8B и 70B параметров уже доступны 🎉 1. Тренируют модель на 405B параметров (без MoE) 🤯 1. 8K длина контекста
1. Архиткетурно самые большие отличия: Grouped Query Attention и 128K vocab size 1. Для тренировки оценивали scaling laws на разных доменах датасета (и на downstream задачах) после чего из них высчитывали оптимальное взвешивание
Бенчмарки: 1. На MMLU, Llama 3 8B работает на уровне PALM-540B и Chinchilla 70B 1. Там же Llama 70B обходит Claude 3 Sonnet и Mistral Large
Немного странный анонс моделей с приговоркой "статья будет чуть позже", meta раньше так не делали, но всё равно модели очень крутые и уже доступны
Детали: 1. 16K GPU 🤯 1. 15T токенов 🤯🤯 1. Веса моделей на 8B и 70B параметров уже доступны 🎉 1. Тренируют модель на 405B параметров (без MoE) 🤯 1. 8K длина контекста
1. Архиткетурно самые большие отличия: Grouped Query Attention и 128K vocab size 1. Для тренировки оценивали scaling laws на разных доменах датасета (и на downstream задачах) после чего из них высчитывали оптимальное взвешивание
Бенчмарки: 1. На MMLU, Llama 3 8B работает на уровне PALM-540B и Chinchilla 70B 1. Там же Llama 70B обходит Claude 3 Sonnet и Mistral Large
"This time we received the coordinates of enemy vehicles marked 'V' in Kyiv region," it added. On December 23rd, 2020, Pavel Durov posted to his channel that the company would need to start generating revenue. In early 2021, he added that any advertising on the platform would not use user data for targeting, and that it would be focused on “large one-to-many channels.” He pledged that ads would be “non-intrusive” and that most users would simply not notice any change. "There are several million Russians who can lift their head up from propaganda and try to look for other sources, and I'd say that most look for it on Telegram," he said. The Securities and Exchange Board of India (Sebi) had carried out a similar exercise in 2017 in a matter related to circulation of messages through WhatsApp. Founder Pavel Durov says tech is meant to set you free
from sg
