Экономика AI-моделей // Maxim Tolmachev

Сколько интеллекта
стоит одна задача.How much intelligence
costs per task.

Мне важна стоимость решённой задачи. Поэтому здесь рядом стоят две цифры: Intelligence Index и средняя цена одной задачи.I care about the cost of a solved task. That is why this page puts two numbers side by side: Intelligence Index and average cost per task.

КАК ЧИТАТЬ ГРАФИКHOW TO READ THE CHART

Luna хорошо реагирует на effortLuna responds well to effort

У Luna Intelligence Index растёт с 34 на low до 52 на max, а цена задачи увеличивается примерно в 5,4 раза. Самый большой скачок даёт high. XHigh добавляет ещё 3 пункта, max ещё 2.Luna's Intelligence Index rises from 34 at low to 52 at max while task cost grows by about 5.4×. High gives the biggest jump. Xhigh adds another 3 points and max adds 2.

Для большинства моих обычных задач я бы начал с Luna high. На XHigh перешёл бы там, где три дополнительных пункта могут повлиять на результат.For most of my everyday tasks, I would start with Luna high. I would move to XHigh when those extra three points could change the result.

ГДЕ МОЖНО СЭКОНОМИТЬWHERE TO SAVE

Terra иногда можно пропуститьTerra can sometimes be skipped

Terra high50 / $0.228→Luna xhigh50 / $0.033

Terra max57 / $0.526→Sol high57 / $0.427

На графике эти пары дают одинаковый Intelligence Index при разной цене. Для своей задачи я всё равно проверил бы их на небольшом тесте.These pairs have the same Intelligence Index at different prices. I would still run a small test on my own task before switching.

Что даёт дополнительное рассуждениеWhat extra reasoning buys

Здесь видно, сколько баллов Intelligence Index добавляет каждый effort-уровень и как при этом меняется цена. Для Sonnet 5 уровни показаны отдельно, потому что AA пока не измерила четыре из них в этом индексе.This section shows how many Intelligence Index points each effort level adds and what happens to the price. Sonnet 5 levels are separate because AA has not measured four of them in this index yet.

Все точки и цена задачиEvery point and its task cost

В таблице указана средняя стоимость одной задачи Intelligence Index в USD. Для Sonnet 5 доступны low, medium, high и xhigh, но AA пока не опубликовала по ним benchmark-значения. Поэтому я вынес их отдельно.The table shows the average USD cost of one Intelligence Index task. Sonnet 5 has low, medium, high and xhigh modes, but AA has not published benchmark values for them. I list those modes separately.

Как считать эти цифрыHow these numbers are calculated

Artificial Analysis складывает стоимость input, cache hit, cache write, reasoning и answer tokens, делит результат на число задач и учитывает вес каждого теста. Эти цифры помогают сравнить модели на одном наборе тестов. Цена вашей задачи может отличаться, особенно для сортировки папок, миграции базы или ночного прогона агента.Artificial Analysis adds the cost of input, cache hits, cache writes, reasoning and answer tokens, divides the result by task count, then applies each evaluation's weight. These numbers compare models on the same test set. Your own task may cost more or less, especially when sorting files, migrating a database or running an agent overnight.