@bookstardust achja und mit 4, oder 6bit floating point statt 16 oder 32bit zu rechnen und nur "floating point operations" zu zählen, ist ein Taschenspielertrick.
Für dieses KI Zeugs nutzt man oft eben sehr sehr kleine Zahlen, die nur sehr wenige Bits brauchen. Also bekommst du mehr Operationen, mit der gleichen Transistorzahl, wenn du damit leben kannst, dass deine Zahlen extrem ungenau sind.