Page History

Korzystanie z API do inferencji modeli językowych rozliczane jest przy użyciu tzw. *kredytów*. Tokeny generowane przez dany model są przeliczane na kredyty, koszt tokenu uzależniony jest od rozmiaru modelu.
O usługę dostępu do hostowanego API modeli językowych wnioskować można w portalu PLGRID w zakładce [usługi](https://portal. plgrid.pl/services). Należy wyszukać i aktywować usługę [Dostęp do dużych modeli językowych w ośrodku Cyfronet](https://portal. plgrid.pl/services/111). Usługa może zostać aktywowana tylko użytkownikom z grantem właściwym posiadającym alokację kredytów.
Po otrzymaniu dostępu do usługi należy przejść do https://llmlab.plgrid.pl/ i zalogować się przez przy użyciu danych z portalu PLGRID.

Po zalogowaniu, w głównym panelu zobaczymy:

-

Listę aktywnych grantów wraz z ilością dostępnych kredytów i stopniem ich zużycia

-

Sekcję do generowania kluczy API dla danego grantu

-

Sekcję do sprawdzania obecnie aktywnych modeli

Aby wygenerować klucz do API, należy w sekcji "Generate API Key" wybrać z listy rozwijanej grant do rozliczenia zapytań. Po wyborze grantu należy kliknąć przycisk “Generate” - na ekranie pojawi się klucz API do uwierzytelnienia zapytań do modelu. Klucz ważny jest przez 30 dni, nie ma możliwości jego ponownego wyświetlenia.
Aby sprawdzić dostępne modele, należy kliknąć na przycisk "Check" w sekcji "Check available models". Zostanie wyświetlona lista aktualnie aktywnych modeli. Nazwy tych wspieranych modeli wraz z dodatkowymi informacjami: czy model jest obecnie aktywny; czy model jest dostępny dla użytkownika (niektóre modele dostępne są tylko dla ograniczonej liczby użytkowników), oraz jaki jest koszt zapytań do modelu, wyrażony w tokenach na kredyty. Nazwy modeli będą później wykorzystane w zapytaniu aby wskazać, który model powinien odpowiedzieć na zapytanie.
Aby sprawdzić dostępne modele przez API, należy wysłać zapytanie typu GET na URL https://llmlab.plgrid.pl/api/v1/models. Zapytanie powinno mieć następującą strukturę (należy pamiętać o zastąpieniu pola `<API <API-key>` key> wygenerowanym w usłudze kluczem):
Code Block
language bash
curl -X 'GET' \ 'https://llmlab.plgrid.pl/api/v1/models' \ -H 'accept: application/json' \ -H 'Authorization: Bearer <API-key>'

API jest kompatybilne z

[

API OpenAI

](https://platform

.

openai.com/docs/api-reference/chat).

Aby wysłać zapytanie do modelu, należy wysłać zapytanie typu POST na adres URL https://llmlab.plgrid.pl/api/v1/chat/completions o następującej strukturze (należy pamiętać o zastąpieniu pola

`<API

<API-

key>`

key> wygenerowanym w usłudze kluczem oraz pola

`<model

<model-

name>`

name> nazwą wybranego modelu):

Code Block

language	bash

 curl -X 'POST' \
	'https://llmlab.plgrid.pl/api/v1/chat/completions' \
	-H 'accept: application/json' \
	-H 'Authorization: Bearer <API-key>' \
	-H 'Content-Type: application/json' \
	-d '{
		"model": "<nazwa-modelu>",
        "messages": [
            {
              "role": "user",
              "content": "Hej, jak się masz?"
            }
          ],
        "max_tokens": 100,
        "top_p": 1,
        "temperature": 1,
        "presence_penalty": 0,
        "frequency_penalty": 0,
        "stream": false
		}'

7.
8.
```bash

}'
```
Model

Model odpowiada w strukturze zgodnej z API OpenAI. Szczegóły pozostałych parametrów zapytania dostępne są w

dokumentacji [

Dokumentacji API OpenAI

](https://platform.openai

.

com/docs/api-reference/chat).

9. Dokumentacja API zgodna z formatem OpenAPI dostępna jest pod adresem [llmlab.plgrid.pl/api/docs](https://llmlab.plgrid.pl/api/docs).10.
Koszt zapytań do danego modelu w kredytach na token:

Page tree

Versions Compared

Old Version 1

New Version Current

Key