Banki były jednymi z pierwszych instytucji, które wdrożyły sztuczną inteligencję na dużą skalę. We wczesnym etapie jej zastosowania koncentrowano się głównie na identyfikowaniu wzorców w danych historycznych oraz wspomaganiu ekstrakcji istotnych informacji na potrzeby procesów decyzyjnych. Mając dostęp do ogromnych zbiorów danych, naturalnym krokiem było wykorzystanie algorytmów do ich analizy i interpretacji.
Obecnie obserwujemy prawdziwy boom na generatywną sztuczną inteligencję. Banki, jako organizacje opierające swoją działalność na przetwarzaniu informacji, musiały wziąć udział w tym wyścigu.
Tym, co wyróżnia obecne zjawisko, są niedeterministyczne oczekiwania. Dotychczas, tworząc oprogramowanie, mieliśmy jasno określony cel i oczekiwany rezultat — system musiał działać deterministycznie. LLM-y z natury są niedeterministyczne — to samo zapytanie zadane dwa razy może przynieść zupełnie inne wyniki. I akceptujemy to. Ba, oczekujemy wręcz kreatywności od naszych modeli!
Jednakże sektor bankowy musi działać w sposób ściśle deterministyczny. Decyzje podejmowane przez instytucje finansowe muszą być wyjaśnialne, audytowalne i spójne. Dlatego tak ważne jest wdrażanie guardraili (mechanizmów ograniczających ryzyko).
„Guardrails” to barierki ochronne wzdłuż autostrady — nie zapobiegają kolizjom, ale chronią przed wypadnięciem z drogi, co mogłoby mieć katastrofalne skutki. Podobnie powinny działać guardraile w systemach opartych na LLM.
To z góry zdefiniowane, deterministyczne reguły, które mają na celu utrzymanie zachowań niedeterministycznych modeli w bezpiecznych ramach.
Do typowych mechanizmów guardraili zaliczamy:
- Filtrowanie danych wejściowych i wyjściowych – zapobiega przetwarzaniu lub generowaniu treści szkodliwych, niezgodnych z przepisami lub zawierających dane wrażliwe.
- Ochrona przed prompt injection – zabezpieczenia przed próbami przejęcia kontroli nad zachowaniem modelu przez złośliwe zapytania.
- Zabezpieczenia prywatności – zapewniają, że dane klientów nie zostaną ujawnione ani niewłaściwie wykorzystane.
- Ograniczenia tematyczne lub dziedzinowe – wymuszają, aby odpowiedzi dotyczyły wyłącznie zatwierdzonych i istotnych tematów biznesowych.
Guardraile dzielimy zasadniczo na dwie grupy:
- Mechanizmy kontrolujące prompt przed przekazaniem do modelu (pre-processing),
- Mechanizmy weryfikujące odpowiedź modelu przed jej udostępnieniem (post-processing).
Załączony schemat przedstawia przykładową implementację. GenAI działa w różnych środowiskach, dlatego dobór zabezpieczeń powinien być dostosowany do konkretnego kontekstu biznesowego oraz wymagań regulacyjnych.
W firmie eSourcing od wielu lat projektujemy i rozwijamy oprogramowanie dla sektora bankowego — jednej z najbardziej regulowanych gałęzi gospodarki. Dlatego chcemy podzielić się naszą deterministyczną perspektywą na temat projektowania i kontroli systemów opartych na niedeterministycznej generatywnej sztucznej inteligencji.