LLM стают ещё дешевле - Lambda запустили Inference API
Миллион токенов Llama 3.1 405B в fp8 теперь стоит всего 90 центов (одинаковая цена за инпут и аутпут). Это почти в два раза дешевле самого дешёвого провайдера. Цена других моделей тоже поражает - за миллион токенов Qwen 2.5 Coder просят всего 9 центов.
Увы, пока что нет context caching и batch api, но если их когда-то добавят, то разнос будет полный. Ждём бенчей эндпоинтов и поддержку bf16.
LLM стают ещё дешевле - Lambda запустили Inference API
Миллион токенов Llama 3.1 405B в fp8 теперь стоит всего 90 центов (одинаковая цена за инпут и аутпут). Это почти в два раза дешевле самого дешёвого провайдера. Цена других моделей тоже поражает - за миллион токенов Qwen 2.5 Coder просят всего 9 центов.
Увы, пока что нет context caching и batch api, но если их когда-то добавят, то разнос будет полный. Ждём бенчей эндпоинтов и поддержку bf16.
On December 23rd, 2020, Pavel Durov posted to his channel that the company would need to start generating revenue. In early 2021, he added that any advertising on the platform would not use user data for targeting, and that it would be focused on “large one-to-many channels.” He pledged that ads would be “non-intrusive” and that most users would simply not notice any change. During the operations, Sebi officials seized various records and documents, including 34 mobile phones, six laptops, four desktops, four tablets, two hard drive disks and one pen drive from the custody of these persons. The gold standard of encryption, known as end-to-end encryption, where only the sender and person who receives the message are able to see it, is available on Telegram only when the Secret Chat function is enabled. Voice and video calls are also completely encrypted. Ukrainian President Volodymyr Zelensky said in a video message on Tuesday that Ukrainian forces "destroy the invaders wherever we can." READ MORE
from de
