Flux
Couleur d'accent
How fast is 10 tokens per second really?
IA Programmation

How fast is 10 tokens per second really?

Simon Willison's Weblog ·

How fast is 10 tokens per second really? Neat little HTML app by Mike Veerman (source code here) which simulates LLM token output speeds from 5/second to 800/second. Useful if you see a model advertised as "30 tokens/second" and want to get a feel for what that actually looks like. Via Hacker News Tags: ai, generative-ai, llms

Soutenez Simon Willison's Weblog en consultant la ressource originale

Lire l'article original

Articles similaires

Une introduction interactive au Spanning Tree Protocol Nouveau
DevOps Programmation Cybersécurité

Une introduction interactive au Spanning Tree Protocol

Avertissement Cet article contient des exemples interactifs. Pour les visualiser et interagir avec eux, vous devez .quitter votre lecteur de flux :demo A1 @0,0 prio=4096 A2 @0,1 A3 @0,2 A4 @0,3 B1 @1,0 prio=8192 B2 @1,1 B3 @1,2 B4 @1,3 C1 @2,0 prio=8192 C2 @2,1 C3 @2,2 C4 @2,3 A1 -- A2 hazard=0 A2 -- A3 hazard=0 A3 -- A4 hazard=0 B1 -- B2 B2 -- B3 B3 -- B4 C1 -- C2 hazard=0 C2 -- C3 hazard=0 C3 -- C4 hazard=0 A1 -- B1 cost=10 B1 -- C1 cost=10 A4 -- B4 cost=20 B4 -- C4 cost=20 Léo @-0.3,0.7…

Vincent Bernat
L'IA a divisé par 10 le coût du refacto. Pas la nécessité de refactorer
Nouveau
Programmation Cloud IA DevOps

L'IA a divisé par 10 le coût du refacto. Pas la nécessité de refactorer

Un jour et demi, 50 $ de tokens : c'est ce qu'a coûté un refacto structurant que je n'aurais jamais lancé dans le monde d'avant. L'IA rend-elle la conception moins critique, puisqu'on peut désormais rattraper sa dette à moindres frais ? Retour d'expérience, méthode, et convictions.

OCTO Talks
Dette technique, obsolescence, modernisation : bienvenue dans la partie immergée de l'iceberg
Nouveau
Programmation Cloud IA DevOps

Dette technique, obsolescence, modernisation : bienvenue dans la partie immergée de l'iceberg

Pourquoi la dette technique et les chantiers IT arrivent-ils toujours trop tard ? Pas par manque d'arguments : les règles du jeu sont construites pour les faire perdre. Tour d'horizon des solutions que les équipes terrain ont vues fonctionner, classées du D-Tier au S-Tier.

OCTO Talks
Esc