Podejście do wyceny
Ta strona przedstawia zasady wyceny wdrożeń: metodykę, a nie cennik - bez nieweryfikowalnych kwot, bez deklarowanych zysków bez pokrycia i bez procentów podawanych jako cena. Trzy filary to metodyka szacowania ROI i okresu zwrotu, porównanie chmury z Twoją siecią oraz wskazówki doboru GPU dla Twojej prywatnej infrastruktury.
Trzy metody
Każda z poniższych trzech tabel przedstawia wyłącznie metodologię. Podane liczby to zakresy doboru sprzętu, mnożniki, pasma ufności i cykle zwrotu - kryteria oceny kolejnych bramek i decyzji projektowych, a nie cennik. Tabele warto analizować po kolei: najpierw metodologię ROI i okresu zwrotu, która warunkuje zaangażowanie kapitału na każdym etapie; następnie porównanie chmury z architekturą w Twojej sieci, wynikające z wymogów rezydencji danych; na końcu wskazówki doboru GPU dla infrastruktury w Twojej sieci.
Metodologia ROI i okresu zwrotu
Cztery wymiary metody - każdy etap mierzony względem linii odniesienia z Diagnozy.
| Wymiar bramki | Co mierzy | Jak odnosi się do linii odniesienia z Diagnozy |
|---|---|---|
| Oczekiwany zwrot | Zmierzony mnożnik zwrotu z wdrożonego artefaktu fazy - przyrost przepustowości, skrócenie czasu cyklu lub uniknięty koszt - odniesiony do linii odniesienia z Diagnozy, udokumentowanej przed napisaniem pierwszej linijki kodu. | Artefakt fazy mierzony względem poziomu odniesienia 1,0× wyznaczonego w Diagnozie. Kolejny kapitał jest angażowany tylko wtedy, gdy wynik przekracza pasmo prognozowane dla danej bramki. |
| Pasmo ufności | Przedział od wartości minimalnej do maksymalnej wokół mnożnika oczekiwanego zwrotu - szerszy na wczesnych etapach i zawężany w miarę przybywania dowodów w Twojej sieci. | Pasmo początkowe 0,40 do 0,60 w pierwszej fazie wdrożenia; zawężane faza po fazie, gdy sprawdzony prototyp weryfikuje założenia planistyczne. |
| Bramka decyzyjna | Decyzja podejmowana na przejściu między fazami na podstawie działającego oprogramowania wytworzonego w danej fazie: kontynuacja, doprecyzowanie zakresu lub zamknięcie prac - bez niekończących się strumieni zadań. | Bramka otwiera się tylko wtedy, gdy zmierzony zwrot z artefaktu przekracza założone pasmo. Faza, która nie osiąga wymaganego wyniku, zostaje zamknięta, a nie przesunięta na kolejny kwartał. |
| Rytm ponownej wyceny | Każde aktywne zobowiązanie jest ponownie mierzone względem aktualnej linii odniesienia z Diagnozy w stałym cyklu raportowania, tak aby wszelkie odchylenia wpływały na wycenę kolejnych etapów przed ich realizacją. | Uruchamiane przy zmianie linii odniesienia o co najmniej 0,10× względem poprzedniego raportu oraz na każdym przejściu między fazami, bez względu na skalę odchylenia. |
Chmura a prywatna infrastruktura w Twojej sieci
Pięć wymiarów zakupu - kontrola, rezydencja, opóźnienie, przepustowość, operacje.
| Wymiar | Chmura publiczna | Infrastruktura w Twojej sieci |
|---|---|---|
| Model kontroli | Model współdzielonej odpowiedzialności. Dostawca we własnym rytmie aktualizuje i wycofuje funkcje oraz interfejsy. | Środowisko w pełni zarządzane przez operatora. Wszelkie instalacje, aktualizacje i wycofania komponentów odbywają się wewnątrz Twojej sieci. |
| Rezydencja danych | Ścieżka zapytań i odpowiedzi domyślnie przekracza granicę regionu dostawcy. | Ścieżka zapytań i odpowiedzi pozostaje w jurysdykcji wybranej przez klienta. Żadne wywołanie inferencji nie opuszcza Twojej sieci. |
| Opóźnienie sieciowe (round-trip) | Połączenie WAN z regionem dostawcy o opóźnieniu rzędu kilkudziesięciu do kilkuset milisekund. | Połączenie w sieci lokalnej (LAN) do serwera inferencji w Twojej sieci o opóźnieniu rzędu pojedynczych milisekund. |
| Limit przepustowości | Ograniczony limitami dzierżawy i podatny na degradację przez innych użytkowników współdzielonej infrastruktury dostawcy. | Wymiarowany pod kątem zwalidowanej współbieżności. Brak rywalizacji o zasoby wewnątrz Twojej infrastruktury. |
| Telemetria operacyjna | Aktualizacje zarządzane przez dostawcę i niejawne strumienie telemetrii przesyłane na serwery zewnętrzne. | Aktualizacje kontrolowane przez operatora i telemetria zatrzymywana w Twojej sieci. Żaden sygnał nie opuszcza Twojego środowiska. |
Wskazówki doboru GPU
Trzy wielkości wejściowe - klasa modelu, obciążenie współbieżne, maksymalny kontekst - które określają zestaw sprzętowy.
| Klasa modelu | Współbieżność | Maksymalny kontekst | Sugerowany zestaw sprzętowy |
|---|---|---|---|
| Wyszukiwanie i embedding | Do 256 równoległych zapytań | 32K tokenów | Pojedynczy akcelerator w Twojej sieci; sharding na dwa akceleratory dla redundancji międzyregionowej. |
| Modele od 30B do 100B | Od 5 do 10 równoległych zapytań | 256K tokenów | Pojedynczy akcelerator w Twojej sieci; sharding na dwa akceleratory dla większej współbieżności i dostępności. |
| Modele od 100B do 200B | Od 10 do 20 równoległych zapytań | 512K tokenów | Dwa akceleratory w Twojej sieci z inferencją wsadową; sharding na trzy akceleratory dla wyższej jakości usług. |
| Modele od 200B do 500B | Od 20 do 100 równoległych zapytań | 1M tokenów | Pula wieloakceleratorowa, równoległość tensorowa (tensor parallelism) na czterech do ośmiu akceleratorach. |
| Własny, dostrojony model | Dobór na podstawie zwalidowanego prototypu z etapu Wdrożenia i walidacji | Dobierany zgodnie z parametrami danego projektu | Wymiarowanie wyłącznie po zaliczeniu bramki na etapie Wdrożenia i walidacji - bez zgadywania z tabeli doboru. |
Zakresy doboru sprawdzane na rzeczywistym sprzęcie - klasa RTX Pro - w naszym laboratorium GPU. Wdrożenie i walidacja Laboratorium GPU
Co dalej
Każda liczba na tej stronie ma swoje źródło. Bramki wynikają z mapy drogowej, a zakresy doboru sprawdzamy na rzeczywistym sprzęcie. Zobacz oba etapy poniżej albo umów spotkanie i porozmawiajmy.