Llama 3.1 8b Instruct

Цена

Текстовый диалог · вход

2,53 ₽ / 1 млн токенов

Текстовый диалог · выход

6,33 ₽ / 1 млн токенов

Текстовый диалог · вход из кэша

2,53 ₽ / 1 млн токенов

Цена указана в рублях для выбранной операции и её параметров.

Перед оплачиваемым запросом создаётся резерв. Итоговый расход привязан к сохранённым параметрам и тарифу запроса. При неизвестном результате резерв удерживается до проверки; такой запрос не следует повторять с новым идентификатором.

О модели

Llama 3.1 8b Instruct предназначена для несложных текстовых запросов. Она принимает инструкции и материалы в текстовом виде и формирует текстовый результат. В каталоге указан контекст 131072 токена, предел ответа: 16384 токена.

Характеристики

Тип модели

Текст

Вход модели

Текст

Данные, которые модель принимает вместе с запросом.

Выход модели

Текст

Форматы результата, которые создаёт модель.

Контекстное окно

131 072 токенов

Контекстное окно по данным каталога. Лимит ответа и допустимый объём запроса проверяйте отдельно.

Максимальный ответ

16 384 токенов

Максимальный размер ответа по данным каталога. Фактический предел запроса зависит от подключённой операции.

Операции

Текстовый диалог

Возможности модели

Потоковый ответ, Вызов инструментов, Вызов функций

Контрольные показатели

Оценки относятся к этой версии модели и методике источника. Качество и скорость конкретного запроса они не гарантируют.

API-запрос

Операция доступна через API. Ключ храните в переменной окружения на своём сервере. REQUEST_ID: уникальный идентификатор запроса. При повторе сохраняйте его и тело запроса.

import json
import os
from urllib.request import Request, HTTPRedirectHandler, build_opener

class NoRedirect(HTTPRedirectHandler):
    def redirect_request(self, req, fp, code, msg, headers, newurl):
        return None

opener = build_opener(NoRedirect)

def post(url, payload):
    request = Request(url, data=json.dumps(payload).encode("utf-8"), headers={
        "Authorization": "Bearer " + os.environ["KVANTORA_API_KEY"],
        "Content-Type": "application/json",
        "Idempotency-Key": os.environ["REQUEST_ID"],
    }, method="POST")
    with opener.open(request, timeout=120) as response:
        return json.load(response)

payload = {
  "model": "meta/llama-3.1-8b-instruct",
  "messages": [
    {
      "role": "user",
      "content": "Объясни задачу кратко."
    }
  ]
}
print(post("https://api.kvantora.ai/v1/chat/completions", payload))

Похожие модели

Загружаем похожие модели…