Исследование не претендует на статистическую объективность и предназначено исключительно для внутреннего использования в нашем проекте. Кроме того, оно не направлено на оценку этических, юридических или социальных последствий использования ИИ.

• Умение ИИ отвечать правильно.
• Наличие и точность ссылок на статьи законов и первоисточники.
• Способность сделать правильный вывод из найденной информации.
• Интерпретацию закона при противоречии формальных норм и реальных прецедентов.
• Способен ли ИИ выделить ключевые факторы вопроса из объёма неструктурированных данных.

• 11 моделей ИИ — протестировали в рамках бенчмарка;

• 50 вопросов — поочерёдно задавали каждой из них;

• 2 этапа оценки использовали для составления рейтинга.

• За правильный, обоснованный, структурированный и полный ответ на каждый из 50 вопросов ИИ-модель получала +1 балл, а за неправильный — 1 балл.

• Отдельные ответы хотелось отметить пятёркой с плюсом, что мы и делали — так ИИ получал +1 дополнительный балл.

• Каждая ИИ-модель при тестировании максимально могла бы набрать 50 баллов, просто ответив правильно на все вопросы, и 100 баллов, если бы каждый ответ получил от нас наивысшую отметку. Максимальный балл за первый этап — 100 (50 базовых + 50 дополнительных за высшую оценку).

• Для чистоты эксперимента мы сознательно не использовали какие-либо промпты.

• Все вопросы были заданы естественным языком.

• Каждый вопрос был задан нейросети автоматическим способом, только один раз, без диалогов и итераций.

• По итогам обработки мы автоматически получили таблицу с ответами в формате markdown.

• Результаты носят экспериментальный характер и могут быть пересмотрены по мере развития технологий.

• глубину ответа (вопросы с «подвопросом»);

• 2 задания на цитирование закона — пункты из ГПК и НК РФ;

• создание юридического документа — претензии и заявления в Росреестр;

• знание обновлений в законодательстве — спросили про мораторий на неустойку по ДДУ в 2025 году.

Анализ показал, что модели ИИ в 85% случаев давали корректные и обоснованные ответы. В таблице они отмечены зелёным цветом.

Правильными ответами мы считали ответы с такими характеристиками:

• Правильность ответа непосредственно по существу вопроса.

• Точность ответа. Некоторые модели ИИ активно ссылались на актуальные законы и статьи, предоставляли полные данные, в том числе исключения, особые обстоятельства и поправки, которые соответствовали действительности, а вот другие ограничивались размытыми формулировками. Таких ответов, по нашим оценкам, было около 37%.

• Логическая структура. Ответы, которые были логично структурированы, содержали чёткие аргументы и последовательное изложение мысли, позволяли легко понять суть вопроса и его решения, следить за логикой рассуждения.

• Обоснование ответов. Модели ИИ, которые приводили ссылки на нормативно-правовые акты, демонстрировали более высокий уровень надёжности. Такие ответы не только отвечали на вопрос, но и давали возможность пользователю самостоятельно углубиться в тему и быть уверенным, что сгенерированный контент от ИИ не является произвольным толкованием имеющихся у сети данных.

Неправильные ответы от ИИ тоже были, в таблице они выделены розовым цветом. Их можно охарактеризовать так:

• Фактические ошибки: некоторые ИИ генерировали ответы, содержащие вымышленные судебные решения или неверные ссылки на законы. Это могло ввести в заблуждение пользователей и привести к неправильным выводам. ИИ неправильно применял законы или статьи или вовсе не применял их, что привело к ошибкам.

• Поверхностный анализ: в случаях, когда вопросы имели подтекст или требовали глубокого и системного анализа, нейросети давали очень поверхностные ответы, без учёта вариативности, из-за чего ответ нельзя засчитать как правильный.

Чтобы поставить KPI качественно, используйте методику SMART. Это значит, что цель должна быть:

Не обошлось и без знаменитых «галлюцинаций» — ситуаций, когда ИИ при генерации контента даёт вымышленные факты или данные. В процессе анализа были замечены:

• Вымышленные судебные акты. Некоторые ИИ генерировали несуществующие решения судов и указывали их номера в виде 12345/67 либо давали ссылку на решение суда, которое существует, но не имеет никакого отношения к вопросу.

• Вымышленные статьи и номера нормативно-правовых актов.

Приведённые DeepSeek постановления не удалось обнаружить в судебной практике, по всей видимости, их просто не существует:

Перепутанные номера статей законов: ссылки на статьи законов были неверными или не соответствовали действительности.

Из-за ошибки в номере закона порой трудно понять, «что хотел сказать автор»:

*DeepSeek, вероятно, имел в виду право на забвение и ФЗ от 27 июля 2006 года № 149-ФЗ «Об информации, информационных технологиях и о защите информации».

На втором этапе оценки мы анализировали отдельные качественные характеристики ИИ, необходимые для работы юриста: по каждой из них субъективно выставлялись баллы. Оценивались следующие  4 характеристики: глубина ответа, цитирование, создание документа, проверка знаний актуальности данных.

Например, ответ DeepSeek на сложный вопрос о необходимости IT-компании регистрироваться в качестве провайдера хостинга:

С одной стороны, качество при цитировании всё ещё остаётся неудовлетворительным, с другой стороны, есть лайфхаки для юристов и AI-тренеров, как добиться более качественных результатов, но это тема совсем другой статьи и тест-кейса.

Некоторые ИИ-модели отказываются цитировать:

Другие хитрят:

Третьи выдают вольный пересказ без нумерации за цитату из кодекса:

Ассистент Doczilla справился с заданием на «5+», но… судя по ссылке, нашёл цитату не в первоисточнике:

На первый взгляд, все ИИ справились на «отлично», но если присмотреться, то мы видим, что некоторые ИИ-сети по умолчанию посчитали, что заявление подаёт физическое лицо, не предусмотрели, что заявление может быть подано и от имени корпорации:

При составлении документа некоторые модели ИИ не забывали и о ссылках на НПА:

С этой задачей все модели справились, однако мы дополнительно оценили баллами вариативность документа (подходит ли он не только для физического лица, но и для юридического, например), а также обоснованность, структуру документа.

ИИ может помочь в автоматизации технических функций, таких как исправление ошибок и проверка комплектности документов, при этом принятие решений о значимости и релевантности источников информации всё ещё требует деятельного человеческого участия.

«Машина времени» от Open AI:

Qwen совсем немного отстаёт от актуальных данных:

DeepSeek пишет огромный, правильный, развёрнутый ответ о неустойке, но… основанный на неактуальных данных:

Лишь ассистент Doczilla и модели Perplexity, Yandex 5 Pro справились с заданием:

Вопрос о проверке обновлений в законе оказался сложным для большинства моделей, участвующих в тесте, а ведь актуальность и действие закона во времени — краеугольный камень в работе юриста.

Этот параметр нуждается в отдельном исследовании, ведь разработчики и не скрывают, что знания модели ограничены определённым сроком, поэтому пока мы его оценили просто как 0 или 1.

Антирейтинг возглавила как раз такая, устаревшая к моменту публикации обзора, модель OpenAI GPT 4o — всего 22 балла.

*Результаты нашего исследования ни в коем случае не являются рекомендацией или рекламой какой-либо из моделей ИИ.

• Разнообразие качества ответов. Модели ИИ значительно различаются в точности, структурированности и глубине анализа правовых вопросов. Лидеры тестирования продемонстрировали высокую способность к детальному анализу даже без дополнительных подсказок, тогда как менее успешные модели допускали грубые ошибки или предоставляли поверхностные ответы.

• Необходимость проверки. Неправильные ответы ИИ могут иметь серьёзные последствия для юридической практики, влияя на принятие решений как клиентами, так и юристами. Это подчёркивает важность тщательной проверки информации, предоставляемой системами искусственного интеллекта, прежде чем использовать её в реальных случаях.

• Сильные стороны ИИ. Искусственный интеллект эффективен в быстрой обработке больших объёмов данных, выявлении технических ошибок и генерации качественного контента. Однако он ограничен в оценке сложных человеческих факторов, таких как личные связи участников спора или подводные камни в формулировках законов.

• Ограничения ИИ. Модели часто пропускают нюансы из-за буквальной интерпретации законов и могут воспроизводить предвзятые паттерны, заложенные в процессе обучения. Это делает их ненадёжными при оценке неочевидных рисков и человеческого контекста.

• Роль юриста. Юристам следует рассматривать ИИ как помощника, а не как единственный источник информации. Его ценность заключается в быстроте и качестве первичной генерации данных, но окончательное решение всегда должно приниматься человеком с учётом комплексного анализа ситуации. Искусственный интеллект трансформируется в мощный профессиональный акселератор, однако принципиально не способен заместить экспертный анализ, юридический опыт, интуицию и этический выбор специалиста. Технологии призваны усиливать, а не подменять человеческую экспертную область.

Юристы должны рассматривать ИИ как вспомогательный инструмент, а не как замену своему опыту.

• Для специалистов по ИИ данный анализ представляет собой инструмент для оценки возможностей различных моделей и выбора наиболее подходящих для конкретных задач.

• Для юристов это наглядный пример текущего уровня развития технологий в правовой области, который помогает осознать необходимость сочетания автоматизации с профессиональным опытом.

• Улучшению качества сгенерированного контента помогает промптинг и диалоги («цепочка мыслей»).

• Стабильность в качестве ответов от ИИ напрямую зависит от RAG-моделей, а будущее за ИИ-агентами.

• Анализ и проверка документов — можно проверить проект документа либо быстро найти только выводы и тезисы, которые имеют значение для юриста.

• Создание правовых документов — ИИ в считаные секунды создаст проект, канву будущего документа, который останется доработать при помощи собственной экспертности, не тратя время на второстепенные задачи.

• Применение законов к конкретным ситуациям — поможет дать полный и системный ответ по ситуации, подсветить все аспекты по заданному вопросу, в том числе как элемент самопроверки.

• Юридические заключения и консультации — ИИ быстро составляет как минимум стандартную часть юридического заключения со ссылками на законы, выводами и рекомендациями.

• качественно генерируют документы; 
• корректно цитируют нормативно-правовые акты;
• показывают глубокое понимание правовых нюансов.