llm-d 1.0 introduce API stabile e QoS multi-tenant per l'inferenza AI
IBM ha comunicato il 20 ottobre la versione 1.0 di llm-d, progetto open source fondato da Red Hat, IBM, Google Cloud, CoreWeave e NVIDIA e ora sotto la governance CNCF.
La release consolida controlli operativi per eseguire inferenza distribuita multi-tenant, con API v1 e gestione degli aggiornamenti senza interruzioni secondo il progetto.
Verificare la release e misurare i propri workload prima di applicare le stime di costo riportate da IBM.