Flux
Couleur d'accent
Un ingénieur de Netflix crée une appli pour alléger ses factures d'IA, puis l'ouvre à tout le monde
Programmation Web

Un ingénieur de Netflix crée une appli pour alléger ses factures d'IA, puis l'ouvre à tout le monde

Korben ·

Tejas Chopra, ingénieur senior chez Netflix, a bricolé un petit logiciel appelé Headroom qui s'attaque à un poste de dépense devenu douloureux dans toutes les boîtes qui carburent à l'IA : la facture en tokens, ces unités que les modèles de langage facturent au passage et qui correspondent en gros à des morceaux de mots. Son constat de départ est sévère. Près de 90% de ce qu'on balance à un grand modèle de langage, le type d'IA qui fait tourner ChatGPT, serait selon lui de la redondance pure,…

Soutenez Korben en consultant la ressource originale

Lire l'article original

Articles similaires

Une introduction interactive au Spanning Tree Protocol Nouveau
DevOps Programmation Cybersécurité

Une introduction interactive au Spanning Tree Protocol

Avertissement Cet article contient des exemples interactifs. Pour les visualiser et interagir avec eux, vous devez .quitter votre lecteur de flux :demo A1 @0,0 prio=4096 A2 @0,1 A3 @0,2 A4 @0,3 B1 @1,0 prio=8192 B2 @1,1 B3 @1,2 B4 @1,3 C1 @2,0 prio=8192 C2 @2,1 C3 @2,2 C4 @2,3 A1 -- A2 hazard=0 A2 -- A3 hazard=0 A3 -- A4 hazard=0 B1 -- B2 B2 -- B3 B3 -- B4 C1 -- C2 hazard=0 C2 -- C3 hazard=0 C3 -- C4 hazard=0 A1 -- B1 cost=10 B1 -- C1 cost=10 A4 -- B4 cost=20 B4 -- C4 cost=20 Léo @-0.3,0.7…

Vincent Bernat
L'IA a divisé par 10 le coût du refacto. Pas la nécessité de refactorer
Nouveau
Programmation Cloud IA DevOps

L'IA a divisé par 10 le coût du refacto. Pas la nécessité de refactorer

Un jour et demi, 50 $ de tokens : c'est ce qu'a coûté un refacto structurant que je n'aurais jamais lancé dans le monde d'avant. L'IA rend-elle la conception moins critique, puisqu'on peut désormais rattraper sa dette à moindres frais ? Retour d'expérience, méthode, et convictions.

OCTO Talks
Dette technique, obsolescence, modernisation : bienvenue dans la partie immergée de l'iceberg
Nouveau
Programmation Cloud IA DevOps

Dette technique, obsolescence, modernisation : bienvenue dans la partie immergée de l'iceberg

Pourquoi la dette technique et les chantiers IT arrivent-ils toujours trop tard ? Pas par manque d'arguments : les règles du jeu sont construites pour les faire perdre. Tour d'horizon des solutions que les équipes terrain ont vues fonctionner, classées du D-Tier au S-Tier.

OCTO Talks
Esc