Я нанял абсолютно разных рекрутеров, агентство и тимлидов — результаты оказались противоположными

Абсолютно разные структуры — агентство, рекрутеры, тимлиды — выдали абсолютно одно и то же. Так что неудивительно, что проблемы с наймом будут везде.

Зачем мы это проверяли

Мы хотели проверить, насколько наш продукт вообще значим. Без такого эксперимента наши гипотезы не могли подтвердиться: утверждать что-то на своём личном опыте мы можем, но сухие данные всегда лучше. Поэтому при первом же найме, который мы провели для себя, мы решили провести и эксперимент.

Гипотеза такая. Сейчас в IT невозможно пройти найм без механизмов обхода ИИ-проверок и популярных ATS-систем. Они отсекают кандидатов, которые чуть-чуть не подходят под промпты, и люди без определённых слов в резюме не имеют ни малейшего шанса оказаться в лидирующих позициях. Человек не дойдёт до реального собеседования, где можно показать навыки: он остановится на рекрутере, потому что большинство данных отсекается с помощью ИИ, и это делается повсеместно.

Я ожидал, что хотя бы половина из тех, кого мы определили как топовых, попадёт в топы рекрутеров.

Инструменты участникам мы не ограничивали. Эксперимент прозрачный, и было бы глупо что-то ограничивать: нам не нужны пробирочные условия, найм должен происходить в своей среде.

Как устроен эксперимент

Вакансия была реальной: мы искали человека к себе в проект, и кандидаты откликались на настоящую работу, а не готовились к эксперименту. На вакансию Junior+/Middle Python-разработчика пришло около 400 откликов, решение практического задания прислали 112 человек. Задание — сервис, который работает с ненадёжной внешней системой; его проверяют 97 автотестов, в том числе на сбои и нагрузку. Нейросети кандидатам были разрешены.

Участников искали на популярных площадках: на фриланс-биржах FL.ru, Профи.ру и Kwork, в профессиональных телеграм-каналах HR и IT-рекрутеров, писали напрямую рекрутерам на Хабр Карьере и hh.ru. Пятерым участникам мы дали обезличенные резюме этих 112 человек и ту же вакансию, которую публиковали сами. Каждый поставил всем кандидатам оценку от 1 до 10: насколько уверен, что позвал бы на техническое собеседование. Каждому участнику заплатили от 3 до 10 тысяч рублей, сумма не зависела от оценок.

К вакансии мы добавили бриф нанимающего менеджера — для честности, чтобы рекрутеры понимали, какого кандидата искать. Мы имитировали слова нанимающего менеджера: нужен человек, который быстро и качественно пишет сервис примерно такого уровня — принимает запросы, быстро отвечает и избегает неудачных случаев. Задача у рекрутера была та же, что у нашего сервиса: понять по резюме, сможет ли человек выполнить это задание.

Затем мы сравнили топ-10 каждого участника с десяткой лучших по автотестам. Правило подсчёта зафиксировали заранее, до первых оценок.

Что получилось

В среднем в топ-10 участника попадало 0,15 из десяти лучших по коду. Случайный выбор дал бы 0,9. Это не случайность: вероятность получить такой или худший результат, выбирая наугад, — меньше 1%. Восьмерых из десяти лучших не выбрал ни один участник.

Больше всего удивило, насколько близки значения. Мне казалось, что разные нейросети дадут намного более отличающиеся результаты. Оказалось, что рекрутеры в большинстве своём используют нейросети, и ничего плохого я в этом не вижу. Но результат был настолько схожим, что это, конечно, печально: нейросети бывают разные, и мне казалось, что использовать их можно по-разному.

Я предполагал, что совпадение с нами будет хотя бы в половине случаев. Здесь — полное несовпадение. Случайный выбор людей дал бы больше, чем то, что сделали рекрутеры.

Выбор рекрутеров — полная противоположность навыку

У всех пятерых участников одна и та же картина: кандидаты, чьё решение не прошло ни одного теста, в среднем получили по резюме больше баллов, чем десятка лучших по коду.

Я думаю, что это две разные сферы. Искусство создания резюме — отдельная сфера, и зачастую она никак не соотносится с инженерной мыслью. Нейросеть — не точный алгоритм, её нельзя детерминировать. Промпт-инжинирингом можно найти последовательности, которые выбивают резюме в топ, и мы давно видели, как совсем безбашенные резюме выводили в топ разных сайтов и механизмов. Со стороны ситуация в целом грустная: сегодняшний крутой инженер должен заниматься таким маразмом — брутфорсить неточные алгоритмы, чтобы продвинуть своё резюме.

Вторая гипотеза: многие ещё не знают, как сейчас устроен найм. Они получают проблемы с наймом и не понимают их истоков. Надеются, что резюме без накрутки, с одним университетом пройдёт дальше, а находится человек более продвинутый — или, можно даже сказать, более аморальный, — который полунечестными способами выглядит лучше для этих механизмов.

Как факт закономерность есть, и она явно не высосана из пальца. Это не может не удручать: обычному хорошему инженеру не пробиться без танцев с бубном вокруг своего резюме.

Все пятеро взяли нейросеть

Мы не просили использовать ИИ и не запрещали его. Все пятеро разбирали резюме с нейросетью или специализированной программой — и выстроили кандидатов почти в одном и том же порядке: согласие между участниками от 0,92 до 0,97 (корреляция, где 1 — полное совпадение).

То, что все взяли нейросеть, не удивительно. Нейросети ускоряют такие муторные процессы в разы, если не в десятки раз. Там, где не требуется тщательнейшая работа, человек скорее сделает быстро и пойдёт за новым заказом. Это абсолютно капиталистическая мысль, и в ней нет ничего плохого: за максимальное качество зачастую больше не заплатят. Задача рекрутера — быстро нанять, получить за это деньги и идти дальше, а тут ещё давит текучка.

Рекрутеры далеки от технической специальности. Они могут определить софтскиллы, но технически они не сверхлюди, чтобы знать всё на свете.

Для меня удивительно, что разные нейросети оценивают одинаково. Возможно, все использовали близкие нейросети или задавали похожий промпт. А возможно, корень проблемы в том, что рекрутер не может поставить машине правильную задачу. Он говорит «выведи лучшего программиста», вставляет вакансию и думает, что на этом работа окончена. Но технические подводные камни по резюме не выявляются: для этого нужно вести диалог с сотнями людей, а лучше всего — видеть их на практике.

После эксперимента мы расспросили каждого участника о его опыте найма. На вопрос, что сейчас самое трудное, все пятеро ответили по сути одно и то же:

• «Самое трудное — находить кандидатов, резюме которых действительно соответствует их навыкам.»— HR в штате крупного холдинга

• «Самое сложное — отличить реальный практический опыт от заученной теории.»— технический рекрутер IT-компании

• «Понять по резюме, что человек действительно умеет. Резюме стали похожи друг на друга, и длинный список технологий почти ничего не говорит о реальном опыте.»— бывший тимлид

• «Понять по резюме реальную самостоятельность разработчика. Перечисленный стек часто совпадает с вакансией, но неясно, что человек делал лично.»— собственник веб-студии

• «Самое сложное — установить, способен ли конкретный человек самостоятельно решать именно те задачи, ради которых его нанимают.»— рекрутинговое агентство

Получается комедия. Одна сторона жалуется, что её не могут оценить по достоинству и она проигрывает в конкуренции неучам. Другая говорит, что не может определить, кто реально достоин. Хотелось бы стать мостом между рекрутером и программистом.

Маленький секрет: моё резюме тоже было в выборке

Среди резюме было и моё — человека, который решил задание на 97 из 97. Участники об этом не знали, в основной подсчёт оно не входит. Все пятеро поставили его в топ-5.

Я считаю, что это говорит в плюс: ситуация не безнадёжна. В моём резюме буквально описан этот проект — название я вырезал, но описал его полностью, со всеми механизмами, которые нужны от человека, которого мы нанимаем. И всё равно я не был номером один: максимальный балл мне поставил только один участник.

Минус в другом. Человек, научившийся обходить систему, просто подделает резюме под вакансию. Ему не обязательно раскрывать механизмы, которые он реально делал: достаточно описать то, что написано в вакансии, и сказать, что делал то же самое. Никакого пруф-чекинга, никакого реального знания не нужно, чтобы оказаться впереди. Только один участник отметил, что мой опыт почти один в один совпадает с продуктом компании, — и всё равно поставил высокий балл. Так что всем, кто хочет эксплуатировать систему, совет: редактируйте резюме под вакансию. Но у нас такое не пройдёт 😎

Что из этого следует

Качественно разобрать 200 откликов по резюме не получается. Разные подходы, разные нейросети, ручной разбор, автоматический — всё равно получается непроверенный вариант. Провести диалоги со всеми кандидатами за день невозможно, проверить все тестовые силами тимлида — тоже. Понять, кто есть кто и кто обошёл систему, можно только по реальной работе: по существующим проектам, закреплённым за человеком, или по технической проверке.

Резюме нужны. Но в текущем найме у них слишком большая позиция силы. Если говорить по-программистски, резюме стало God Object. Оно должно резюмировать опыт человека, но никак не быть решающим фактором в найме. Мы даём слишком много ответственности скромному инструменту, который так легко обходится. И в итоге этот механизм пропускает людей туда, куда они не должны были попасть. Граница проходит именно там.

Рекрутеры работают неплохо — насколько могут в текущих условиях. Если я завтра стану рекрутером, я, скорее всего, буду поступать точно так же: подходящих инструментов крайне мало. Даже наш инструмент не идеален, нам ещё много его развивать. Но мы стараемся им стать.

Свою команду я и дальше буду отбирать через наш флоу. Было бы стыдно не использовать собственный продукт. Как только он появился, я первым делом попробовал его в реальных условиях — и человек, с которым мы продолжили работу, действительно что-то умеет.

Минусы исследования

• Одна вакансия и одно задание: Junior+/Middle Python backend.
• Названия бигтеха и крупных компаний в резюме остались, а названия малых и средних компаний, имена и контакты мы обезличили, чтобы не нарушать приватность кандидатов.
• Рамок мы не ставили, и все пятеро оценивали с ИИ. По итогу оценивали, по сути, пять запусков нейросети. Это результат отсутствия ограничений: возможно, следующий эксперимент проведём с оценкой только вручную.

Больше финансов — и эксперимент можно провести масштабнее: сразу несколько вакансий, одну с нашим инструментом, другую без. Но это уже другие эксперименты. Для гипотезы о том, что рекрутеры сейчас нанимают практически одинаково, потому что все используют похожие инструменты, этот эксперимент полноценный.

Что дальше

У сегодняшнего рекрутера, возможно, нет интереса делать свою работу качественнее — или нет для этого инструментов. Во втором случае таким инструментом может стать «Чутьё»: кандидаты из откликов решают техническое задание, а нанимающий видит результат по реальному решению, а не по резюме. В тандеме с рекрутерами мы хотим помочь пробиться правильным людям.

Для тех, кто ищет работу, новость грустнее. В текущих условиях, когда отбор по резюме даёт результат не лучше случайного, скорее всего, приходится врать и подкручивать резюме под вакансию. И даже создатель продукта, под который ищут кандидата, скорее всего, не окажется у рекрутера первым.

Эксперименты мы будем проводить и дальше, вокруг HR-теха: возможно, следующий будет со стороны кандидатов, возможно, с оценкой резюме только вручную, возможно, проведём хакатоны.