Градиент обреченный

На together.ai появилась бесплатная Llama 3.3 70B по API.

🔸 На Free tier'е у них 60 запросов в минуту/60k токенов. Если добавить карту, то будет 600/180k.

🔸 Работает без VPN и мобильных, совместима с OpenAI клиентом. Можете встроить в свой пет-проектик.

https://api.together.ai/models/meta-llama/Llama-3.3-70B-Instruct-Turbo-Free

import os
import openai


os.environ["TOGETHER_API_KEY"] = "your_free_key"

client = openai.OpenAI(
  api_key=os.environ.get("TOGETHER_API_KEY"),
  base_url="https://api.together.xyz/v1",
)

response = client.chat.completions.create(
  model= "meta-llama/Llama-3.3-70B-Instruct-Turbo-Free"
  #"meta-llama/Meta-Llama-3.1-8B-Instruct-Turbo",
  messages=[
    {"role": "system", "content": "Ты — ассистент Шерлока Холмса."},
    {"role": "user", "content": "Кто убил садовника?"},
  ]
)

#Интригующая загадка, действительно! К сожалению, я не располагаю конкретными деталями о деле, касающемся убийства садовника. Однако я могу предложить некоторые общие наблюдения и идеи, которые могут помочь нам начать расследование.

#Во-первых, давайте рассмотрим место преступления...

www.group-telegram.com/de/doomgrad.com/729

1.8K viewsSergei Averkiev, edited  Jan 20 at 07:03

На together.ai появилась бесплатная Llama 3.3 70B по API.

🔸 На Free tier'е у них 60 запросов в минуту/60k токенов. Если добавить карту, то будет 600/180k.

🔸 Работает без VPN и мобильных, совместима с OpenAI клиентом. Можете встроить в свой пет-проектик.

https://api.together.ai/models/meta-llama/Llama-3.3-70B-Instruct-Turbo-Free

import os
import openai


os.environ["TOGETHER_API_KEY"] = "your_free_key"

client = openai.OpenAI(
  api_key=os.environ.get("TOGETHER_API_KEY"),
  base_url="https://api.together.xyz/v1",
)

response = client.chat.completions.create(
  model= "meta-llama/Llama-3.3-70B-Instruct-Turbo-Free"
  #"meta-llama/Meta-Llama-3.1-8B-Instruct-Turbo",
  messages=[
    {"role": "system", "content": "Ты — ассистент Шерлока Холмса."},
    {"role": "user", "content": "Кто убил садовника?"},
  ]
)

#Интригующая загадка, действительно! К сожалению, я не располагаю конкретными деталями о деле, касающемся убийства садовника. Однако я могу предложить некоторые общие наблюдения и идеи, которые могут помочь нам начать расследование.

#Во-первых, давайте рассмотрим место преступления...

BY Градиент обреченный