Pełna kontrola nad wyborem modelu AI: obsługa wielu modeli LLM w tym Claude, Gemini, Mistral i własnych, niestandardowych wdrożeń
Nasza platforma obsługuje teraz natywną integrację z modelami OpenAI, Claude od Anthropic, Google oraz Mistral, a opcje zgodne z RODO są dostępne w przypadku wszystkich czterech dostawców. Modele można przypisywać na poziomie scenariusza lub do pojedynczych kroków dialogu, co pozwala różnym funkcjom obsługiwać różne części jednej rozmowy, bez angażowania programistów.
Dla organizacji wymagających pełnej kontroli nad lokalizacją danych i logiką modelu platforma obsługuje również niestandardowe wdrożenia LLM. Oznacza to, że klienci korporacyjni mogą podłączyć własny prywatny LLM (na przykład instancję Llama uruchomioną wewnętrznie ) bezpośrednio do platformy Voice Agent i traktować go jak natywnego dostawcę. Ma to szczególne znaczenie, gdy wymogi regulacyjne, terminologia branżowa lub warunki przetargów publicznych wykluczają model działający na współdzielonej infrastrukturze.
Wydajność i wyróżniki
Szybkość a dokładność
Modele LLM wiążą się z kompromisem między opóźnieniem a głębokością rozumowania. Lekkie modele (np. Gemini 2.5 Flash) odpowiadają w około 600 ms, natomiast bardziej złożone modele (np. Claude Opus) mogą potrzebować nawet 2 sekund, co powoduje słīszalne przerwy w rozmowie. Zarówno szybkość, jak i dokładność mają znaczenie, ale priorytety zależą od zastosowania. W komunikacji głosowej niskie opóźnienie jest kluczowe dla naturalnej wymiany zdań, natomiast dokładność decyduje o poprawnej obsłudze złożonych wypowiedzi, takich jak nietypowe nazwy własne czy terminologia branżowa.
Poza rozpoznawaniem systemy muszą także interpretować intencję i kontekst, aby generować trafne odpowiedzi. W komunikacji tekstowej opóźnienie jest mniej krytyczne niż w głosowej, co pozwala skupić się bardziej na głębszym rozumieniu i jakości odpowiedzi niż na samej szybkości. Realnym wyróżnikiem platformy jest umiejętność zrównoważenia szybkich czasów reakcji z odpowiednią kompetencją językową i zdolnością rozumowania w realnych scenariuszach.
Elastyczność
Platforma oferuje wysoką modułowość w wyborze modelu LLM.. Modele można przypisywać na poziomie całego scenariusza lub pojedynczych bloków („bricków"), co umożliwia wykorzystanie różnych modeli do konkretnych zadań, na przykład jednego modelu do rozmowy, a drugiego do ekstrakcji danych.
„Wiele firm od dawna pracuje z konkretnymi dostawcami LLM w swoich procesach wewnętrznych, a ich pracownicy są przeszkoleni w tworzeniu promptów i obsłudze odpowiedzi. Nie ograniczamy już naszych klientów do modeli dotychczas dostępnych na platformie. Mogą nadal korzystać z tego, co sprawdza się w ich w innych procesach, bez potrzeby przeszkolenia zespołów czy przechodzenia na nowe modele.
Co najważniejsze, jeśli firma posiada własne lokalne modele LLM wytrenowane na danych wewnętrznych , otwiera to nowe możliwości dla zastosowań Voice Agent."
- Alexander Mishin, Product Owner agentów głosowych
Ta elastyczność jest dostępna dzięki wizualnemu interfejsowi low-code/no-code, z którego korzystają zarówno klienci (za pośrednictwem swoich dialog designerów ), jak i nasze wewnętrzne zespoły. W tym samym środowisku można konfigurować, testować i aktualizować scenariusze bez udziału programistów. Dzięki temu zespoły mogą stopniowo doskonalić każdy krok , równoważąc szybkość, dokładność i zgodność, zachowując pełną kontrolę nad logiką.
Takie podejście eliminuje zależność od jednego dostawcy i pozwala platformie dostosować się do złożoności rzeczywistych zastosowań, w których różne części jednej rozmowy często wymagają różnych zdolności modeli.
Zgodność z RODO
Wszystkie modele na platformie są wyraźnie oznaczone jako zgodne lub bez gwarancji zgodności z RODO, z wbudowanym filtrem, który domyślnie wskazuje jako preferowane modele hostowane w Europie dla klientów europejskich.
Jednocześnie platforma zachowuje elastyczność. W zastosowaniach, gdzie ścisła lokalizacja danych nie jest wymagana, modele niezgodne można włączyć wybiórczowo, aby uzyskać aby uzyskać szersze możliwości lub lepszą wydajność. Dzięki temu zespoły mogą optymalizować jakość, szybkość lub konkretne funkcje, gdy wymogi regulacyjne na to pozwalają.
Koszty korzystania z LLM są wliczone
Funkcje oparte na LLM są obecnie częścią standardowej oferty . Nie ma dodatkowych opłat za korzystanie z wbudowanych modeli ani za „funkcjonalność ChatGPT". Dzięki temu klienci mogą korzystać z zaawansowanych funkcji AI bez konieczności rozliczania kosztów osobno dla każdego modelu.
Dla zespołów o specyficznych wymaganiach niestandardowe integracje LLM pozostają dostępnew ramach dodatkowego projektu . Jak zawsze, różne modele można łączyć, by zrównoważyć szybkość i jakość odpowiedziw zależności od zastosowania, aby wydajność była dopasowana do każdego scenariusza.