heise+ | Lokale KI schneller machen: So zünden Sie den LLM-Turbo
Ein technischer Kniff bei lokalen LLMs kann die Generierungsrate massiv erhöhen: die Multi Token Prediction. Wir haben getestet, wie sie LLMs beschleunigt.
Ähnliche Beiträge
Hoffnung für die Ukraine: Allianz forciert Entwicklung europäischer Patriot-Alternative
US-amerikanische Patriotsysteme haben sich als wirkungsvoller Schutz gegen russische Luftangriffe erwiesen – die kompatiblen Abwehrraketen sind jedoch Mangelware. Zusammen mit Verbündeten arbeitet die Ukraine daher an einer Alternative. Das Projekt scheint voranzuschreiten.
„Einfrieren“ des Konflikts: Kasachischer Präsident fordert Stopp der Kämpfe von Putin
Kasachstan ist ein Verbündeter von Moskau. Präsident Tokajew spricht sich nun jedoch für ein Ende des Ukraine-Kriegs aus- im direkten Gespräch mit dem Kremlchef.
Nach langwierigen Verhandlungen: Klöckner besucht israelisch kontrollierten Teil des Gazastreifens
Seit dem Hamas-Massaker im Oktober 2023 war kein deutscher Politiker im Gazastreifen. Nun kann Bundestagspräsidentin Klöckner das weitgehend zerstörte Gebiet betreten – wenn auch nur kurz. Sie appelliert dabei an die israelische Regierung.
Ebola-Ausbruch: Menschen in der DR-Kongo leben in Angst vor Virus
Im Osten der Demokratischen Republik Kongo sind die Menschen in Alarmbereitschaft. Die Zahl der Ebola-Toten steigt. Der Ausbruch ist besonders gefährlich, weil die betroffene Region Ituri nur schwer zu erreichen ist. Von Karin Bensch. [mehr]
Ballmädchen beinahe kollabiert: Extreme Hitze bei French Open treibt Tennis-Profis ans Limit
Die Spieler stöhnen, die Besucher flüchten in den Schatten, ein Ballkind kippt fast um: Die Hitze ist ein großes Thema bei den French Open. Boris Becker erinnert mit Gruseln an die „Weichei“-Zeiten.
Werder versinkt in der Krise: Trainer Horst Steffen ahnt, dass seine Zeit abgelaufen ist
Zum ersten Mal in der sportlichen Krise von Werder Bremen gibt Sportchef Clemens Fritz kein Bekenntnis mehr zu Horst Steffen ab. Viele rechnen mit einer Trennung – nur der Trainer selbst nicht.
