Здравствуйте! Меня зовут Анатолий Чупин. Я веду канал «Промты — и точка», являюсь частью проекта Postium и ежедневно использую нейросети.
В рамках постоянной рубрики #тестиум я провожу тестирование и сравнение различных ИИ-моделей, чтобы определить, насколько эффективно они решают реальные задачи. Сегодня я протестирую Claude Haiku 5.5.
Не пропустите: 5 лучших нейросетей для работы
Тестиум: тестируем Claude Haiku 5.5
В этом выпуске я буду проверять, как Claude Haiku 5.5 справляется с повседневными задачами: написание постов, редактирование текстов, объяснение сложных концепций простыми словами, анализ данных и поиск актуальной информации в интернете.
Для тестирования я использую Claude Haiku 5.5 в отдельном проекте, без контекста из других чатов. Уровень усилий — максимальный.
Тест № 1. Пост о пользе кофе — 3/10
С формальной точки зрения модель справилась: написала 574 знака с пробелами, описала три полезных свойства кофе, обошлась без списков, сложных терминов и явных преувеличений.
Однако со стилем возникли трудности. Я просил лёгкий, живой текст для развлекательного Telegram-канала, а получил нечто среднее между посредственным копирайтингом и научно-популярной статьёй.
Фразы «числится в бодрящих напитках», «некоторые наблюдения за большими группами людей», «есть и намёки» звучат неестественно. «Главный секрет в умеренности» и «организмы у всех разные» — избитые фразы, которые лишь ухудшают текст.
Из положительного — сравнение сердцебиения с барабаном. Но одного такого момента недостаточно.
Что касается содержания и объёма вопросов, то практически не осталось, а заданный стиль письма Haiku не смогла выполнить. Пост оказался тяжёлым, местами откровенно неестественным. Его необходимо переписать с нуля.
Тест № 2. Редактирование машинного текста — 5/10
Claude Haiku успешно распознала признаки машинного текста: выявила канцеляризмы, повторы, шаблонные обороты и громоздкие конструкции. Некоторые правки оказались удачными. Например, фраза о работе с перепиской клиента стала заметно проще и естественнее.
Тем не менее, сама редактура вышла неровной. «ИИ всё чаще входит в повседневную жизнь» — избитый оборот, а «Во многих сценариях задачи теперь решаются быстрее и удобнее» не лучше исходного варианта.
Кроме того, модель слишком механически избавлялась от противопоставлений, хотя конструкция «не X, а Y» не всегда является плохой и вполне допустима.
Заключение также осталось шаблонным: «В итоге ИИ полезен и обычным пользователям, и бизнесу». Таким образом, Haiku замечает недостатки машинного текста, но при исправлении сама допускает аналогичные ошибки.
В целом текст стал чище, есть хорошие точечные правки, но редактуру всё равно нужно будет завершать вручную.
Тест № 3. Объяснение «Преступления и наказания» через вселенную DC — 4/10
Здесь Haiku должна была объяснить главную идею романа Достоевского человеку, который не читал книгу, но хорошо знаком с персонажами DC.
Модель начала с Джокера и сцены с двумя паромами из «Тёмного рыцаря». Идея интересная, но аналогия оказалась поверхностной. Джокер проверяет моральные принципы других людей, в то время как Раскольников пытается доказать самому себе, что он принадлежит к числу «необыкновенных». Haiku обозначила сходство, но не развила его. После первого абзаца вселенная DC вообще исчезла из объяснения.
Есть и смысловые ошибки. Фраза «раз он умный, значит, сойдёт с рук» искажает мотив Раскольникова. Его теория касается прежде всего морального права переступить через запрет, а не о способности избежать наказания.
Утверждение «полиция его не ловит» также слишком упрощает сюжет. Порфирий Петрович подозревает Раскольникова и оказывает на него психологическое давление.
Тем не менее, написано довольно живо, а основные темы романа — теория исключительности, муки совести и признание — модель всё-таки затронула. Но я просил объяснить произведение через знакомых персонажей DC, а получил краткий пересказ с одной аналогией в начале.
Тест № 4. Анализ данных Google Search Console — 6/10
На анализ выгрузки Claude Haiku потратила почти 10 минут. За это время модель изучила показатели, сравнила CTR различных страниц, выявила запросы с высоким числом показов и предложила несколько способов увеличить трафик.
С цифрами она справилась неплохо, но полезных находок оказалось немного.
Главное упущение — влияние ИИ-ответов Google на кликабельность. Например, запрос «зумеры это» получил более 45 тысяч показов и всего 35 кликов. Причина может заключаться не в плохом заголовке или содержании статьи. Пользователь видит ответ прямо в поисковой выдаче, поэтому переходить на сайт ему незачем.
Haiku эту проблему заметила, но не учла в достаточной степени при выборе страниц для доработки. Из-за этого некоторые рекомендации выглядят спорными, а расчёты возможного прироста CTR — слишком оптимистичными.
То есть данные модель обработала, закономерности выявила, но не всегда верно объяснила их причины.
Если бы дать модели больше контекста и заранее обозначить, какие особенности поисковой выдачи учитывать, результат мог бы быть лучше. Однако здесь я хотел проверить, сможет ли Haiku самостоятельно разобраться в данных и найти точки роста.
Тест № 5. Поиск актуальных данных в интернете — 8/10
Здесь Claude Haiku проявила себя значительно лучше. Модель нашла пять доступных китайских ИИ-моделей для генерации изображений, сравнила стоимость API, рассчитала цену за 1000 изображений и разобрала особенности тарифов.
Задание осложнялось тем, что не все разработчики предоставляют прямой доступ к API. Иногда приходится искать сторонних провайдеров, у которых цены могут значительно отличаться от официальных.
Без пропусков всё же не обошлось. В первоначальный рейтинг не попали Kolors и GLM-Image. После моего замечания Haiku проверила GLM-Image, признала ошибку и обновила таблицу. Официальную стоимость она уточнила: $0,015 за изображение.
А вот цену Kolors в $0,0011 за картинку подтвердить не смогла и не стала добавлять модель в рейтинг без надёжного источника. В данном случае это скорее плюс: лучше прямо сказать, что цена не подтверждена, чем выдать сомнительные данные за точные.
Поиск оказался достаточно подробным, а сравнение цен — полезным. Первоначальный список был неполным, но модель смогла исправить часть ошибок и не стала придумывать недостающие сведения. Поэтому тут твёрдая восьмёрка.
Итого
Claude Haiku 5.5 набрала 26 из 50 баллов (5,2 средняя).
С текстами модель справилась не очень хорошо. Пост для Telegram получился неестественным, редактура — поверхностной, а объяснение классики через персонажей DC свелось к обычному пересказу.
С анализом данных и поиском информации дела обстоят лучше. Haiku умеет работать с цифрами, сравнивать показатели и находить актуальные сведения. Но для достижения хорошего результата ей требуется детализированное ТЗ с чёткими критериями и контекстом. Без этого модель может упустить важные детали и сделать неверные выводы.
Больше тестов: Кто лучше пишет текст — DeepSeek или ChatGPT
