FP8, FP16, BF16 & FP32: Numerische Präzision bei GPUs im Vergleich

Große KI-Modelle wie LLMs wären ohne reduzierte numerische Präzision kaum effizient trainierbar. Formate wie FP16, BF16 und FP8 senken den Speicherbedarf erheblich und beschleunigen Berechnungen auf modernen GPUs. Gleichzeitig beeinflusst die gewählte Präzision die Stabilität und Genauigkeit eines Modells. In diesem Artikel erklären wir Ihnen die technischen Unterschiede der wichtigsten Gleitkommaformate verständlich und praxisnah.