heise+ | Lokale KI schneller machen: So zünden Sie den LLM-Turbo
Ein technischer Kniff bei lokalen LLMs kann die Generierungsrate massiv erhöhen: die Multi Token Prediction. Wir haben getestet, wie sie LLMs beschleunigt.
Ähnliche Beiträge
Mac- und iPhone-Sicherheit: Objective-See-Konferenz kommt nach Berlin
Patrick Wardle gehört zu den renommiertesten Sicherheitsforschern im Apple-Bereich. Seine Non-Profit-Organisation Objective-See macht in Deutschland Station.
„Ich habe selten so was erlebt“: Portos aberwitzige Provokationen treiben VfB Stuttgart in den Wahnsinn
Nach der knappen Niederlage geht der VfB mit einer schwierigen Ausgangslage ins zweite Duell mit dem FC Porto. Der Auftritt der Portugiesen ärgert die Schwaben. Ist das die richtige Motivation für das Rückspiel?
Breaking News: USA und Russland wollen jahrelang unterbrochenen Militärdialog wieder aufnehmen
Washington und Moskau vereinbaren die Wiederaufnahme ihres seit 2021 unterbrochenen Dialogs hochrangiger Militärs. Das teilt das Kommando der US-Streitkräfte in Europa nach Verhandlungen in Abu Dhabi mit.
„Mama die Show gestohlen“: US-Superstar Rihanna zeigt erstmals Tochter Rocki
Rihanna bekommt im Herbst vergangenen Jahres ihr drittes Kind mit Partner A$AP Rocky. Jetzt präsentiert sie die Tochter erstmals in einem Fotoshooting. Rocki kann dabei offenbar vollends überzeugen.
Spaniens Thronfolgerin: Kronprinzessin Leonor erhält Fallschirmjägerabzeichen
Die spanische Thronfolgerin Leonor absolviert derzeit eine dreijährige Militärausbildung. Nach Stationen bei Heer und Marine trainiert die 20-Jährige aktuell bei der Luftwaffe. Nach mehreren Sprüngen trägt sie nun das Abzeichen der Fallschirmjäger.
Sechs Jahre für Mohammadi: Iranische Friedensnobelpreisträgerin kommt erneut in Haft
Narges Mohammadi setzt sich im Iran seit Jahrzehnten für Frauenrechte ein – dadurch gerät sie regelmäßig mit dem Staatsapparat der Islamischen Republik in Konflikt. Nun ist die Friedensnobelpreisträgerin erneut zu einer Haftstrafe verurteilt worden.
