Fontos, hogy a mesterséges intelligencia jövőbeni fejlődését ne korlátozza technológiai silókba zárt infrastruktúra, hanem a szervezetek szabadon eldönthessék, az AI modelleket milyen gyorsítón és mely felhőben telepítik és futtatják, mégis következetesen kiemelkedő felhasználói élményt kapjanak, és költségeik ne szálljanak az égbe, mondta a Red Hat. A vállalatoknak mindehhez egy univerzális inferencia-platformra lesz szükségük, amely a zökkenőmentes, nagy teljesítményű AI innováció szabványaként hosszú távon is segíteni fogja őket a generatív mesterséges intelligenciában és a megvalósított beruházásokban rejlő lehetőségek kiaknázásában.
A Red Hat AI Inference Server, amely a szállító Bostonban idén május végén megtartott éves konferenciáján debütált, jelentős előrelépés a generatív AI hibrid felhős demokratizálása terén. A RedHat AI részét alkotó, vállalati szintű inferencia-szerver a nagy teljesítményű, nyílt forráskódú vLLM projekt eredményeire épül, amelyeket a Red Hat a Neural Magic technológiákat integrálva továbbfejlesztett a még nagyobb gyorsítói és költséghatékonyság, valamint futási sebesség eléréséhez.
Neurális varázslat
Az inferencia a mesterséges intelligencia végrehajtó motorja, az alkalmazás kritikus fontosságú szakasza, amelyben az előre tanított modellek a bevitt adatokból következtetésekre jutnak, hogy azokkal az üzleti folyamatok valós világában hatással bíró döntéseket és intézkedéseket támogassanak. A generatív AI rohamos fejlődésével, komplexitásának növekedésével és gyakorlati alkalmazásának elterjedésével azonban az inferencia szűk keresztmetszetté válhat, hardveres erőforrások iránti, csillapíthatatlan éhsége ugyanis válaszút elé állítja a szervezeteket - vagy még többet költenek az üzemeltetésre, vagy beletörődnek a teljesítmény, a válaszadó képesség csökkenésébe, mutatott rá a Red Hat. A robusztus inferencia-szerver nem fényűzés, hanem szükségszerűség - a mesterséges intelligenciában rejlő lehetőségek széles körű kiaknázásához és az ezzel járó, technológiai összetettség könnyebb kezeléséhez egyaránt nélkülözhetetlen.
Inferencia-szerverével pontosan ezeket a kihívásokat válaszolja meg, nyílt forráskódú megoldását ugyanis a számítási teljesítmény növelésére tervezte, valamint a legfejlettebb modell-tömörítő és -optimalizáló eszközökkel vértezte fel, mondta a szállító. Az innovatív platform a válaszadó képesség drámai növekedését ígéri a szervezeteknek, és minden eddiginél nagyobb szabadságot ad nekik, amikor alkalmazásaikhoz AI modellt, gyorsítót és IT környezetet választanak.
Matt Hicks, elnök-vezérigazgató
A Red Hat AI Inference Server az iparágban élenjáró vLLM projektre épül, amelyet a Kaliforniai Egyetem 2023-ban indított Berkeleyben. A nyílt forráskódú, közösségi projekt a generatív mesterséges intelligencia inferencia-teljesítményének növelését, több grafikus processzorral történő gyorsítását és a nagy adatkészleteken végzett műveletek egyidejű elvégzését (continuous batching) célozzák. A projekt egyik legnagyobb résztvevőjének számító, szintén amerikai céget, a Neural Magicet a Red Hat tavaly novemberben vásárolta fel.
A vLLM kiterjedten támogatja a nyilvánosan elérhető modellek széles körét - közöttük a mesterséges intelligencia úttörőiként számon tartott DeepSeek, Google Gemma, Llama, Llama Nemotron, Mistral, Phi és más modelleket -, így az AI inferencia terén a további innováció de facto szabványává válhat. A Red Hat AI Inference Servert - amely a vLLM élenjáró, innovatív megoldásait csomagolja egybe és erősíti meg a vállalati alkalmazáshoz szükséges képességekkel - a szervezetek konténerezett megoldásként önállóan, illetve a Red Hat Enterprise Linux AI vagy a Red Hat OpenShift AI részeként is bevezethetik a hibrid felhőben, igény szerinti IT környezetben.
Megerősített és támogatott vLLM-disztribúcióként az inferencia-platform intelligens LLM-tömörítő eszközökkel érkezik, amelyekkel a vállalatok mind az alapmodellek, mind a finomhangolt AI modellek méretét jelentősen csökkenthetik, továbbá telepítésre kész, ellenőrzött és optimalizált modellek választékát kínálja. Az új szerver képességeivel a szervezetek 2-4-szer nagyobb teljesítményt és hatékonyságot érhetnek el anélkül, hogy engednének a modellek pontosságából, mondta a Red Hat.
A vállalati IT okos oprendszere
Napjainkban sok vállalat IT osztálya egyszerre küzd az elterjedt hibrid felhős környezetek kezelésével, az AI munkaterhelések egyre sürgetőbb integrálásával és a mindehhez szükséges, kulcsfontosságú képességek hiányával, ezért különösen nagy segítséget jelentene a területnek, ha eközben egy intelligens, kikezdhetetlen és strapabíró operációs rendszerre támaszkodhatna. Az ugyancsak Bostonban premierező Red Hat Enterprise Linux 10 erre az összetett kihívásra ad választ, agilitásra és rugalmasságra tervezett, biztonságos platformként könnyen menedzselhető, és a jövőbeni fenyegetések kivédését is hathatósan támogatja, mondta a szállító.
A RHEL 10 több, mint a nyílt forráskódú operációs rendszer újabb kiadása, a vállalati IT stratégiai fontosságú, intelligens gerincét alkotja, amely könnyebé teszi a növekvő komplexitás kezelését, felgyorsítja az innovációt, és segíti a technológiai alapok, a biztonság megerősítését, mondták a konferencia előadói.
A Linux-felügyelet terén tapasztalható szakemberhiány problémáját például a RHEL 10-ben megjelenő Red Hat Enterprise Linux Lightspeed enyhíti. A közvetlenül az operációs rendszerbe integrált generatív AI természetes nyelvi kezelőfelületen ad kontextusfüggő útmutatást és ajánl végrehajtható intézkedéseket a rendszergazdáknak a leggyakrabban előforduló hibák elhárításától kezdve az összetett IT környezetek menedzseléséig.
A kvantum számítástechnika hosszú távú hatásaival számolva a RHEL 10 a vállalati Linux-disztribúciók közül elsőként integrálja a NIST (National Institute of Standards and Technology) poszt-kvantum kriptográfiai szabványait. Többek között olyan kvantumbiztos algoritmusokat és poszt-kvantum aláírási sémákat tartalmaz, amelyekkel a vállalatok proaktív módon védekezhetnek az adatbetakarító - a titkosított adatokat későbbi feltörés céljából most ellopó - támadókkal szemben, illetve ellenőrizhetik a szoftvercsomagok és a TLS tanúsítványok integritását és hitelességét.
Paradigmaváltást hozhat a RHEL 10 image mode konténeres üzemmódja, amelyben a vállalatok egyetlen, áramvonalas munkafolyamaton belül, ugyanazokkal az eszközökkel és módszerekkel fejleszthetik, telepíthetik és frissíthetik operációs rendszerüket és alkalmazásaikat, teljes IT környezetüket. A konténer-natív megközelítéssel a szervezetek proaktív módon elkerülhetik a konfigurációk tervezettől eltérő megváltoztatását, az ebből eredő biztonsági és más problémákat, alkalmazásfejlesztőik és üzemeltető csapataik számára egységes gyakorlatot alakíthatnak ki, mondta a szállító. Az adott üzleti igényre szabott szoftvercsomagok megbízható összeállítását a Red Hat Insights szintén új image builder package recommendations funkciója ajánlásokkal segíti.
Chris Wright, technológiai igazgató
A RHEL 10 már általánosan elérhető a Red Hat Customer Portalon keresztül, előre beállított és támogatott, futtatásra kész Red Hat Enterprise Linux image-ekkel együtt, amelyeket a szervezetek az AWS, a Google Cloud és a Microsoft Azure felhőjében használhatnak. A fejlesztők emellett a Red Hat nekik szánt, költségmentes programjai révén is hozzáférnek az operációs rendszerhez, valamint a munkájukat segítő videókhoz, demókhoz és dokumentációhoz.
Nem utolsósorban éves konferenciáján jelentette be a Red Hat az OpenShift Lightspeed generatív AI képességeit is. A vállalati konténerplatformba épített virtuális asszisztens a kezdő IT szakemberek számára is egyszerűbbé és könnyebbé teszi a konténerezett alkalmazások kezelését a hibrid felhőben, így tapasztaltabb és kiterjedtebb szakmai kompetenciákkal bíró kollégáik a nagyobb üzleti értéket teremtő innovációra összpontosíthatnak.
