Бенчмарки не всегда помогают выбрать AI-инструмент
В обсуждении сравнения Fable и Astra участник отметил, что синтетические бенчмарки могут плохо отражать реальный опыт работы…
Всё полезное из чата @devsigners — инструменты, ссылки, приёмы и ответы на вопросы. Пополняется сама.
Обновлено сегодня в 02:15 · всё из чата обработано
15 записей Сбросить
В обсуждении сравнения Fable и Astra участник отметил, что синтетические бенчмарки могут плохо отражать реальный опыт работы…
В чате переслали новость о модели DeepSeek V4.1-Flash-1017: по данным поста, она обходит GPT-5.6 Sol и Claude Opus 5 в нескольких coding/agentic-бенчмарках…
В чате сравнивали Jev и Terra 6…
В чат переслали заметку из канала «LLM под капотом»: по их бенчмарку Kimi K3 сравнима с GPT-5.5 Pro по очкам, примерно в 15 раз дешевле и примерно в 2 раза…
В чате обсудили Vending-Bench 2 от Andon Labs — бенчмарк, где модели управляют условным торговым бизнесом и соревнуются за максимальную прибыль…
Полные саммари, ссылки и переходы к исходным сообщениям. Войдите через Telegram — проверим, что вы в @devsigners.