Telepítés és üzemeltetés
A szervezet saját infrastruktúráján.
A platform konténeres környezetben fut, a telepítés a felmérés alapján, testreszabottan történik.
Hardverigény
A vezérlő alkalmazás (Spring Boot, Apache Spark, SparkNLP) hagyományos, konténerizált alkalmazást futtató szerverkörnyezetben fut. GPU-ra kizárólag a nyelvi modellt kiszolgáló vLLM szervernek van szüksége. Kisebb szervezeteknél nem szükséges nagy értékű célhardver beszerzése: a nyelvi modell megfelelő, fogyasztói kategóriájú GPU-kon is jó válaszsebességgel futtatható. A pontos méretezés a kiválasztott modelltől és a felhasználószámtól függ, ezt a felmérés során határozzuk meg.
Környezet
A komponensek konténerekben futnak, a telepítés formája pedig a szervezethez igazodik: Docker Compose környezet, igény esetén Kubernetes cluster, és ha a terhelés indokolja, a vezérlő alkalmazás több példányban is futtatható (skálázás).
A platformhoz saját identitáskezelő tartozik (mögé LDAP-címtár is köthető), de bármely OAuth2 alapú identity providerhez csatlakoztatható.
Frissítés
A frissítés a telepítéshez igazodik, és leállásmentesen megoldható. Például egy szkript a csere idejére ideiglenes példányt futtat, hibás új verzió esetén pedig a régi verzió fut tovább.
Licenc
A licenc offline ellenőrizhető, hardverujjlenyomathoz kötött, ezért zárt hálózaton is működik.
Beszéljük át a környezetüket.
A felmérés során megtervezzük a hardvert, az integrációkat és a tudásbázist.
Frissítve: