Narzędzia AI
Brama LLM to nasza własna warstwa kontrolna dla ruchu LLM. Wdrażamy ją w Twojej sieci jako jeden samodzielny system - a przy modelach zainstalowanych w infrastrukturze lokalnej cały ruch pozostaje wewnątrz Twojej sieci.
Sześć możliwości, które brama wnosi do wdrożenia Private Vector. Każda z nich jest dziś w pełni zaimplementowana w oprogramowaniu.
Aplikacje korzystają ze znanych ścieżek API zgodnych z OpenAI do generowania tekstu, tworzenia wektorów osadzeń i generowania obrazów. Każda grupa zapytań trafia do wybranego przez Ciebie środowiska wykonawczego, a brama pośredniczy w każdym wywołaniu do skonfigurowanej usługi.
Cała brama to pojedynczy plik binarny z wbudowaną bazą danych. Nie trzeba instalować, zabezpieczać ani utrzymywać zewnętrznego serwera bazodanowego, a schemat bazy konfiguruje się automatycznie podczas uruchomienia.
Każdy użytkownik otrzymuje własny klucz do bramy z indywidualnymi uprawnieniami do punktów końcowych, a dowolny klucz można natychmiast unieważnić. Jedna osoba może mieć dostęp do czatu i wektorów osadzeń, podczas gdy inna dodatkowo korzysta z generowania obrazów.
Określasz limit wydatków dla każdego użytkownika, a brama automatycznie blokuje kolejne wywołania po jego osiągnięciu. Mechanizm działający w tle aktywuje blokadę i zdejmuje ją po wygaśnięciu okna czasowego, dzięki czemu limit jest egzekwowany bez konieczności ręcznego nadzoru.
Liczba przetworzonych tokenów i koszty generowania obrazów są rejestrowane dla każdego użytkownika oraz klucza w stałych oknach czasowych. Historia pomiarów jest w pełni dostępna do zapytań, a czas jej przechowywania zależy od Twojej konfiguracji.
Pod dużym obciążeniem brama utrzymuje zapytania w ograniczonych kolejkach, odrzuca nadmiarowy ruch przy spadku wydajności usług docelowych i wstrzymuje kierowanie zapytań do serwerów niespełniających testów sprawności. Gdy serwer powraca do pracy, ruch wznawia się automatycznie.
Brama działa jako jeden system w infrastrukturze Twojej sieci. Poniższe pozycje określają, gdzie przechowywane są klucze, liczniki zużycia i rejestry audytu oraz w jaki sposób zarządzany jest przepływający ruch.
Rejestry i reguły, które nie opuszczają Twojej sieci.
Każda przekazywana odpowiedź jest zapisywana w rejestrach audytu według określonych warstw, z osobnym oknem retencji dla każdej z nich.
Opcjonalny punkt moderacji weryfikuje treść zapytania przed jego przekazaniem dalej, łącząc szybką kontrolę lokalną z dokładniejszą oceną przez model klasyfikacyjny.
Brama okresowo tworzy kopię zapasową działającej bazy danych bez przerywania obsługi zapytań i publikuje każdą kopię w sposób niepodzielny (atomowy).
Podczas wyłączania brama w pierwszej kolejności zatrzymuje zadania w tle, a następnie dokończa przetwarzanie aktywnych zapytań w ramach ściśle określonego limitu czasu.
Każde zapytanie otrzymuje identyfikator korelacji, który jest zapisywany i przekazywany do usług docelowych, co umożliwia pełne prześledzenie każdego wywołania.
Brama wykrywa przypisane rdzenie procesora oraz dostępną pamięć operacyjną i dostosowuje do nich swoją pracę w ramach zdefiniowanego elastycznego limitu pamięci.
Brama LLM to jeden z elementów wdrożenia Private Vector, a nie samo wdrożenie. Poniższe strony przedstawiają pozostałą część procesu: etap, na którym mierzone zużycie przekłada się na mierzalną optymalizację, oraz usługę wdrażającą infrastrukturę AI w Twojej sieci.