Der Open Source Stack für souveräne LLMs (froscon2026)

Kleine und mittelgroße Open-Weight-Modelle holen in ihren Fähigkeiten rasant auf und laufen auf der eigenen Infrastruktur. Manche behaupten sogar, sie seien die Zukunft und könnten proprietäre Cloud-Anbieter als Standard-Weg für die Nutzung von KI ablösen. Aber wie betreibt man LLMs jenseits der Cloud - lokal und on prem? Dieser Vortrag führt in... Weiterlesen