Hogyan talál, és hogyan válaszol a Privát AI.

A keresés nem egyetlen lépés, hanem több szint együttműködése. A mondat- és az összefoglaló-szintű kulcsszavas keresés (BM25), az oldalak vektoros előszűrése (átlag- és összefoglaló-vektor alapján) és a szelektív tudásgráf-keresés közösen jelöli ki a keresési kört. A költségesebb, mondatszintű vektoros keresés már csak ezen a szűkített körön belül fut.

A tudásgráf (ArangoDB) a dokumentumokból kinyert entitásokat és kapcsolatokat tartalmazza. A rendszer szelektíven használja: csak azokat az oldalakat emeli ki, ahol a fogalom megkülönböztető erejű, így a gyakori fogalmak nem zajosítják a találatokat. Az összefoglalóban és a gráfban megtalált oldalak súlytöbbletet kapnak, a pontszámokat a rendszer összevonja, végül újrarangsoroló modell (BGE reranker) állítja sorba a találatokat. A szöveg-beágyazást E5 Large modell végzi.

A magyar nyelv ragozó jellegű, ezért a rendszer magyar lemmatizálót és entitás-felismerőt (NER) használ. A kérdésben szereplő ragozott alak így is megtalálja a dokumentumban szereplő szótövet. Az NLP-feldolgozás Apache Spark és SparkNLP alapokon fut.

A tudásbázis magyar nyelvre van optimalizálva, a rendszer azonban felismeri a kérdező nyelvét, és a nyelvi modell fordítási képességének köszönhetően a felhasználó a saját nyelvén kérdezhet és kaphat választ.

A rendszer eszközöket használ, és az összetett kérdéseket részkérdésekre bontja. Minden részkérdés előbb a saját koordinátorán fut át: az kiegészíti vagy lépésekre bontja a feladatot, és csak ezután futnak a feladat saját eszközei, amelyek megkapják a rész-lépések eredményét. A testvér részkérdések egymástól függetlenek, a végső kontextus mindegyik eredményét egyesíti.

Egy eszköz háromféle eredménnyel zárulhat: kontextust ad a válaszhoz, kész választ ad, vagy visszakérdezést kezdeményez. A kész válasz azonnal lezárja a kérést, a felesleges lépések pedig kimaradnak. A sorrendet nem a nyelvi modell, hanem a vezérlő alkalmazás kódja határozza meg.

Nem kell mindent előre feltölteni a tudásbázisba. Az egyedi pluginként fejlesztett agentek a csatlakoztatott rendszerekből is képesek kontextust kérni egy kérdés megválaszolásához, egyedi API-konnektorokon vagy szabványos MCP-szervereken keresztül.

Hogy mikor, melyik rendszerből kell adatot kérni, azt a plugin fejlesztője dönti el, így a tudásbázis és az élő rendszerek adatai egyetlen válaszban találkozhatnak.

A válasz előtt egy minőségellenőrző lépés vizsgálja, hogy a kontextus tartalmazza-e a kért információt, és igazolt-e minden feltétel. Ha az információ nincs kimondva, vagy egy feltétel csak közvetetten igazolt, az ellenőrzés leszállítja a pontszámot.

Ha a kontextus nem elég, a mélykeresés előbb a releváns oldalak közvetlen környezetében keres, és csak ha ott sincs válasz, akkor tágítja a kört. Minden részeredményt az ellenőrző lépés újra megvizsgál a forrásoldalon, az elutasított idézet pedig visszakerül a következő kísérletbe. A végső válaszoló megkapja a kért információt, az idézetet, a döntést és a feltételeket.

Ha egy eszköz azt jelzi, hogy hiányzik egy adat, a rendszer elmenti a teljes feladatot és a részben kitöltött kérést, és a kérdés kimegy a felhasználónak. A válasz gyors úton jut vissza ugyanahhoz az eszközhöz, amely újra kérdezhet, vagy végrehajtja a feladatot. Több kérdés is követheti egymást, körönként egy.

Sok mai megoldás a nyelvi modellre bízza a folyamat irányítását: a modell dönti el, mikor hív eszközt, és milyen lépéseket tesz. Ez gyors prototípushoz jó, éles környezetben viszont a folyamat nem determinisztikus, nehezen naplózható, és a modell cseréje vagy frissítése megváltoztathatja a működést.

A Privát AI rendszer-alapú: az eszközöket a vezérlő alkalmazás aktiválja, koordinálja és sorrendezi. A nyelvi modell jól körülhatárolt feladatokat kap, például a kérdés nyelvének felismerését, normalizálását, a paraméterek kinyerését, az osztályozást és a végső választ. Minden döntés, prioritás és elágazás a kódban él, naplózható és tesztelhető, így a működés akkor is kiszámítható marad, ha a mögöttes modell változik.

Egyetlen telepítésen belül több, egymástól adatszinten elkülönített domain futhat. Egy kórház például ugyanazon a rendszeren üzemeltethet betegdokumentációs, belső szabályzati és HR domaint is. Az elkülönítés az adatokon érvényesül: a keresés, az eszközök aktiválása és a tudásbázis tartalma mind a domain határán belül marad, az egyik domain adataihoz a másik kérései nem férnek hozzá.

A felhasználó a bejelentkezéskor, az integrációs hívások pedig a kérésben határozzák meg, melyik domainnel dolgoznak.

A domainen belül a system tovább szűkíti a hatókört. Egy egészségügyi domainben például a belgyógyászat és a kardiológia külön system lehet: azonos infrastruktúrán, de elkülönített adatkészlettel és akár eltérő eszközökkel. Ha a kérés system-szűrőt tartalmaz, a keresés és az eszközök aktiválása csak az adott system adataira és tool-jaira terjed ki.

A tudásbázis PDF- és DOCX-dokumentumokból, valamint weboldalakból építhető. A betöltés mögött egy LibreOffice-alapú konvertáló mikroszolgáltatás áll, ezért mindazokat a formátumokat támogatjuk, amelyeket a LibreOffice kezelni tud. A táblázatok felismerése OCR-rel is működik, így a szkennelt anyagok sem maradnak ki. A válasz igény szerint letölthető PDF-dokumentumként vagy strukturált (Markdown, JSON) kimenetként is elkérhető.

• Domain: egymástól adatszinten elkülönített tudásterület, például betegdokumentáció vagy HR.
• System: a domainen belüli további szűkítés, például egy szakterület.
• Tool (eszköz, agent): a platform alapegysége, egy feladatot megvalósító agent. Kontextust ad a válaszhoz, kész választ ad, vagy visszakérdez.
• Plugin: csomagolási egység, amely egy vagy több tool-t tartalmazhat, és futás közben tölthető be.

Minden válasz mögött automatikus relevancia-értékelés fut, amely önhangoló küszöbbel figyeli a találatok minőségét. Gyenge találatnál a rendszer mélyebb, kiegészítő elemzést indít, mielőtt válaszolna. A beépített hűség-ellenőrzés azt méri, mennyire támaszkodik a válasz ténylegesen a visszakeresett forrásokra, ez csökkenti a hallucináció kockázatát.

A platform metrika modulja a keresés minőségét szabványos információ-visszakeresési mutatókkal (MRR, MAP, nDCG, Success@k) méri, kérdéstípusonként és keresési módszerenként: BM25, vektoros és az összevont, újrarangsorolt keresés. A mérések Grafana műszerfalon követhetők.

A modellt vLLM szolgálja ki, OpenAI-kompatibilis interfésszel. Bármilyen nyílt modell használható, például Gemma, Llama, Mistral, Qwen vagy DeepSeek. A modell cserélhető anélkül, hogy a platform többi része változna.

A platform kész, azonnal használható chatfelülettel érkezik: streamelt válaszok, beszélgetés-előzmények, forrásmegjelenítés, világos és sötét téma. Külön fejlesztés nélkül is használható, ugyanakkor a platform API-n keresztül bármely meglévő rendszerbe beépíthető.

A beszélgetés-memóriát Redis adja.

Az admin felületen kezelhető a teljes rendszer: itt hozhatók létre a domainek, itt tölthető fel az induló dokumentumkészlet, és itt szerkeszthetők a tudásbázis elemei is. Ugyanitt kezelhetők a felhasználók, a szerepkörök és a rendszerpromptok.

Ha a szervezet saját forrásból dolgozna, plugin fejlesztésével egyedi ingestion pipeline is kialakítható. Az integrációkról a fejlesztőknek szóló oldalon, a biztonsági megoldásokról a Biztonság oldalon olvashat.