Как измерять эффективность ИИ в найме с помощью метрик: кейс Контура

27 августа 2026#кейсы

По следам вебинара⚡️

Присматриваетесь к ИИ-инструменту для найма, но так и не можете решиться, потому что не знаете, действительно ли он будет эффективным? По следам вебинара с Ульяной Крыловой, менеджером проектов подбора в Контуре, рассказываем, как она выстроила методологию оценки ИИ-решения — с метриками, формулами и реальными цифрами — на примере пилота с Джуном.

Как выбирали провайдера

Контур — экосистема для бизнеса. Более 3,1 млн компаний в России пользуются продуктами Контура, а в команде более 11 тысяч сотрудников. Команда подбора закрывает вакансии в пяти направлениях: ИТ, узкопрофильные специалисты, массовые продажи, корпоративные продажи и техническая поддержка.

Потребность в ИИ-инструменте в Контуре возникла из-за роста количества откликов. Рынок труда и экономика резко изменились, и подходящих под запрос специалистов стало труднее найти. Как результат — наём замедлялся, а нужные специалисты могли остаться незамеченными или долго ждать обратную связь. Определив «узкие» места в процессе поиска сотрудников, команда рекрутмента решила для начала сконцентрироваться на автоматизации разбора откликов и холодного поиска.

Для этого Ульяна Крылова провела масштабное исследование рынка ИИ-платформ для найма:

Составила список из 50+ сервисов;
Организовала 30+ встреч с демонстрациями продуктов;
Организовала и провела 7 триалов;
Запустила 1 масштабный пилот на 50 000 кандидатов сразу по пяти направлениям подбора.

Вывод оказался таким: нужен инструмент, который встроится в отличающиеся процессы разных направлений. И Джун подошёл для этой задачи.

Метрики для измерения эффективности ИИ-инструмента

Во время пилота Джуна в Контуре измеряли три категории метрик:

Качество работы системы — Recall (полнота), Precision (точность), nDCG, Precision@20.
Бизнес-эффективность — скорость разбора откликов, скорость активного поиска на hh.ru, данные из воронки подбора.
Удовлетворённость пользователей — CSAT, оценка сценариев по пятибалльной шкале, открытый вопрос для сбора комментариев.

Разберём метрики качества работы подробнее.

Recall: не теряем ли мы таланты

Recall (Полнота) — показывает, какую долю релевантных кандидатов система правильно идентифицировала. Эта метрика отвечает за главный страх: «а вдруг ИИ пропустит сильного кандидата».

Recall должен быть не ниже 90%.
Recall Джуна по итогам пилота на разных вакансиях равен 90-100%.

«Высокий Recall — ключевая метрика, так как она определяет целесообразность использования ИИ-скоринга и влияет на доверие к инструменту со стороны пользователей», — Ульяна Крылова, менеджер проектов подбора в Контуре.

При этом высокий Recall — это не магия, а результат гибкой настройки требований под вакансию, когда можно:

Делить требования на обязательные и желательные;
Задавать количество компаний, общий стаж, длительность опыта точечно в той роли, которую вы ищите;
Описывать задачи, которые уже решал кандидат;
Фильтровать по отрасли (например, финтех — подходит, а фарма — нет);
Учитывать актуальность опыта, а не только наличие.

Precision: не подсовывает ли система лишних кандидатов

Precision (Точность) — показывает, какая доля кандидатов, отобранных ИИ, действительно оказалась релевантной. Если этот показатель низкий, рекрутеру придётся перепроверять отобранных кандидатов за инструментом. Также есть показатель Precision@20 — он тоже определяет точность инструмента, но в рамках первых 20 резюме, которые рекрутер видит в системе.

Precision должен быть не ниже 70%.
Precision Джуна по итогам пилота равен 60-80%, а Precision@20 — 65-90%.

В Джуне можно указывать список обязательных и необязательных требований, по которым система отклонит кандидата, если он не соответствует хотя бы одному пункту, — и это сыграло ключевую роль. Это особенно важно, когда подходящий кандидат должен закрывать сразу несколько условий одновременно: например, локация, три года опыта и умение считать unit-экономику.

nDCG: правильный ли порядок в выдаче

nDCG (от англ., — normalized discounted cumulative gain) — метрика качества ранжирования. Она сравнивает порядок, в котором ИИ-инструмент расставил кандидатов, — с такой же оценкой со стороны HR-менеджера. Чем выше nDCG, тем увереннее рекрутер может смотреть только «верхушку» отобранных кандидатов, не боясь упустить сильного специалиста.

nDCG Джуна равен 0,96 (при максимуме 1) — инструмент действительно выдаёт самых релевантных кандидатов в начале списка.

Accuracy как общий итог

Accuracy — это доля всех правильных решений модели среди всех вынесенных ей вердиктов: и по одобренным, и по отклонённым кандидатам. Джун показал Accuracy более 80-90% — то есть практически не ошибался и не терял релевантных кандидатов ни в одном из пяти направлений подбора.

💡Формулы и расчёты для оценки ИИ-инструмента Ульяна собрала в отдельный файл с готовыми метриками — с оценочным листом для эксперта, дашбордом и автоматическим расчётом 10 показателей. Полезно, если вы хотите повторить такую же методологию у себя.

Как преодолевали сопротивление команды

В реальности внедрение ИИ-инструмента почти никогда не выглядит как «подключили — и все начали в нём работать». В Контуре сначала провели обучение для команды, а через неделю с Джуном активно работали пять человек — те, кто выбирал его вместе с Ульяной. Остальные сомневались в корректности оценки или просто не находили время на настройку.

Продавать инструмент пришлось на двух уровнях:

Руководству — через просчитанный бизнес-процесс: сколько стоит незакрытая вакансия и сколько времени теряется на каждом этапе;
Рекрутерам — через простую математику на реальных цифрах.

Например, на вакансию продуктового маркетолога пришло 169 откликов. Джун определил 129 как нерелевантных. Без ИИ рекрутеру потребовалось бы почти 194 минуты, чтобы прочитать все резюме и отправить отказы. С Джуном — 45 минут. Экономия — 76,8% времени.

Настройка Джуна тоже заняла некоторое время: команда загружала вакансию, обрабатывала 5-10 резюме, смотрела на результат, а затем донастраивала требования — и только потом переходила к массовому разбору откликов. «Когда рекрутеры видели, что сервис не ошибается, доверие росло, и дальше могли не перепроверять каждую оценку», — говорит Ульяна Крылова.

Что в итоге показал CSAT

Через 2,5 месяца пилота в Контур проверили индекс удовлетворённости пользователей платформы (CSAT) — и он составил 73%. 22 из 30 респондентов оценили сервис на 4-5 баллов.

Вывод команды: пользователи удовлетворены, но не безоговорочно лояльны — сервис не работает как волшебная таблетка, требует вдумчивой настройки и времени на обучение. Просевшие пункты в опросе оказались в основном у тех, кто успел подключить одну-две вакансии для теста.

Итоги пилота в цифрах

Пилот длился 2,5 месяца. Сейчас команда продолжает пользоваться сервисом;
Обработано 30 000 кандидатов;
Задействовано 5 направлений подбора;
Сроки рассмотрения резюме по узкопрофильным вакансиям снизились с 10-16 дней (пиково — до 15,8 дня) до 1-4 дней по 75% кандидатов.

При этом Ульяна честно отмечает: сроки закрытия вакансий кардинально не изменились — команда планирует дальше работать над тем, чтобы освободившееся время рекрутеры действительно инвестировали в интервью, а не только в разбор откликов. Сроки закрытия сильно зависят и от других участников подбора — нанимающих менеджеров и готовности кандидатов к встречам.

Хотите так же прозрачно измерить эффективность ИИ в своей компании? Попробуйте Джуна — ИИ-платформу для поиска кандидатов и разбора откликов. Обрабатывает 1500+ резюме в минуту, экономит более 2 часов рекрутера в день, сокращает сроки найма на 7+ дней и держит индекс вежливости hh.ru на 98-100%.