Žinutės

Šiandien 11:00 online DIA (DI - Automatizacijos) bendruomenės teminis susitikimas: DI produktai ir teisė.

Šiandien jau gana paprasta sukurti DI automatizaciją, agentą ar su LLM po kapotu valdomą produktą.
Tačiau veikiantis sprendimas dar nebūtinai reiškia, kad jį galima teisiškai ir saugiai paleisti klientams ar pradėti naudoti įmonėje.
Kai į automatizacijas patenka realūs klientų ar darbuotojų duomenys, kai jie siunčiami į skirtingas sistemas ir LLM tiekėjus, o DI sugeneruoti atsakymai naudojami realiame verslo procese, atsiranda visai kitas klausimų sluoksnis.
Situacija dar sudėtingesnė, kai produktą pradeda naudoti klientai skirtingose šalyse.
Būtent apie tai ir diskutuosime šiame DIA susitikime.

Svečias - Martynas Nikolavjevas
Martynas su komanda vysto vasara.ai - DI pagrįstą teisinį produktą, kuris padeda atlikti teisines paieškas, analizuoti dokumentus ir rengti atsakymus remiantis Lietuvos teisės šaltiniais. Jau virš 300 teisininkų Lietuvoje naudojasi Vasara.ai

Martynas pristatys patį produktą ir pasidalins praktine kūrėjo bei verslininko patirtimi - su kokiais klausimais tenka susidurti, kai LLM eksperimentas tampa realiai žmonių naudojamu produktu.

Registracija: https://dia.aiMastersApps.com

Flagina, nes autonumetima esu isjunges...

gal kažkas gali pasidalinti patarimais ar konkrečiais sprendimais:

- kaip saugomi slaptažodžiai VPS
- kaip juos šifruoti
- kur juos laikyti
- kaip atnaujinti
- izoliuoti nuo agentų

išklausysiu visus variantus

https://github.com/jdx/fnox visai patinka, slaptažodžiai dažniausiai hashinami, ir tikrini ar sha256(pass+salt) == hash, ir hash gali saugiau laikyti nes atvirkščiai sunkiai

Jei dar saugiau tai https://www.yubico.com/lt/product/security-key-c-nfc-by-yubico-black/ :D

jo, dar rimčiau tai naudot toki kaip yubi ar nitrokey kaip hsm, trečia šalis kuri tik api duoda ir paslapčiu nutekinti neimanoma, bet brangiau ir dažnai napatogu

klausimas kiek svarbios paslaptis, labai daug sprendimu čia, klausimas kiek patogiai nori galutinai

na, man užteko 70€ dviems raktams, tų rimtų protokolų nenaudoju, tiesiog ssh key užšifravau, bet čia jau kur tikrai saugumo reikia 500% :)

dar jei laimingas kompas su TPM2 geru ateina, bet jei viskas ant vps, fizine sauga sunkiau

aha

Nuo agentų slapti duomenys saugomi SOPS. Užšifruoti, iššifruojami tik turint raktą, kuris egzistuoja production servery ir tavo youbikey (arba faile, kuris agentui nepasiekiamas). Gali būti keli raktai, keliems serveriams (staging, etc.).
Duomenys, kurie agentui turi būti pasiekiami, bet neturi būti git, saugomi su gitcrypt – užšifruojami ir iššifruojami git hook'ais.
Visa tai suponuoja, kad agentas lokaliai veikia kažkokiam sandbox'e (docker/podman/bwrap ar pan.) ir neturi laisvos prieigos prie serverių, kuriuose gyvena raktai. Deployment'as daromas tarpiniu būdų – paruošiant žmogaus patikrinamus ansible script'us arba nixos konfigūraciją (ar ką jau ten benaudotum), arba kažkokio kito (lokaliai leidžiamo) modelio, kuriam prie paslapčių prieiti leidžiama.

Jei reikia, galiu šitom temom padėti, konsultuoti, etc.

jo https://github.com/getsops/sops irgi minetas šiam chate

jei reikia, serveris gali naudoti KMS (Key Management Service), ne vietinį failą (įmanoma ir TPM, pasistengus)

Aš dažniausiai naudoju serverio ssh key ir tiek – jei ssh key nutekėtų, šakės ir visiems secret'ams. SSH key sugeneruojamas automatiškai servery on first boot, niekad nepalieka sistemos, paprasta ir dažniausiai pakankama, jei nereikia audituoti.

dar vienas banked resetas codex už 20m user

žaidžiat kas su https://x.com/opencode/status/2090758645499728234 ?
geras modelis kol kas, 700T dalina tokenų savaite

Dėkui už atsakymus, gal dar papildomos kokios info, kur galima plačiau susipažinti - nesinori kvailais klausimais pradėti, bet manau, artėjant prie rimtesnio įgyvendinimo - reikės kreiptis. Tai labai aktuali ir rimta tema.

ir agentai daug žino, bet tam čia ir grupė, geriau klaust laisvai

dėkui

Labai priklauso nuo to, kaip aplink paslaptis infrastruktūra sutvarkyta ir nuo „threat model“ – kokios grėsmės labiausiai tikėtinos, nuo ko pirmiausia saugomės. Šiais laikais skirtingi žmonės turi labai skirtingą toleranciją tam, ką gali matyti agentas. Vieni paduoda visus API raktus ir YOLO – svarbu, kad į git nepatektų (būna ir kas į git commit'ina, bet to jau nepateisinu). Kiti agentui duoda tik pavyzdinius duomenis ir prie tikrų duombazių, log'ų, etc. neprileidžia dėl GDPR ir panašių atsakomybių. Yra ir baimės, kad duomenis mokymuisi panaudos Anthropic/OpenAI.
Tad reikia apsibrėžti ko bijai ir kiek patogumo dėl to nori paaukoti 🙂
Pas mane asmeniškai – labai priklauso nuo projekto. Ar tai asmeninis, ar kliento, kiek jautrių duomenų.

(Yra dar vienas paranojos tipas – baimė, kad modeliai, staiga įgavę „sąmonę“ ar „norą išlikti“ ims reketuoti, šantažuoti, šiaip grobstyti pinigus norėdami apmokėti serverius, kuriuose gyvena. Ne nulinė tikimybė! 😁)