Как распознать использование ИИ в резюме, тестовых и на собеседовании
ИИ все чаще помогает кандидатам проходить отбор. Но нейросети оставляют в тексте определенные «следы» и артефакты, поэтому генерацию можно распознать. Как это сделать, знает Владислав Галимов («Лаборатория Касперского»)
Фото: Charissa Limuel / Unsplash
Этот материал входит в новый раздел РБК Образование, где мы рассказываем о том, как развивать навыки, принимать взвешенные решения и двигаться по карьере осознанно.
Школа управления РБК — новый образовательный проект медиахолдинга, ориентированный на развитие руководителей. Встречаемся каждый четверг в 19.00 на онлайн-событиях, где вместе решаем сложные управленческие задачи.
Расписание и темы можно посмотреть здесь.
К нейросетям в IT-найме порой относятся настороженно. Причина не только в «вайб-кодинге»: кандидаты все чаще используют ИИ, чтобы упростить себе путь в компанию. Однако сам по себе ИИ — это нейтральный инструмент, который в компетентном применении ускоряет процессы и снижает объем рутины.
HR-специалисты также адаптируются к меняющемуся рынку и активно внедряют ИИ в процессы отбора. В этой статье мы рассмотрим ключевые способы использования нейросетей со стороны кандидатов и обсудим, как будет развиваться эта «гонка» в перспективе.
Кто применяет ИИ? Среднестатистический портрет пользователя
Сейчас следы применения нейросетей можно встретить практически на любом этапе собеседования. Их используют, чтобы отвечать на теоретические вопросы, писать мотивационные письма и генерировать код для тестовых заданий: самая распространенная аудитория тут обычно студенты, которые подаются на стажерские программы. Опыта в разработке и кодинге у таких людей не всегда много, зато они умеют быстро закидывать промпты.
Разберем способы использования нейросетей подробнее.
Отклики и мотивационные письма
Важно отметить, что такие субъективные факторы, как стиль письма и разные пунктуационные особенности, не должны быть финальным аргументом в «обвинении» кандидата в использовании ИИ. В мире столько же людей, сколько и подходов к написанию текста, поэтому такие артефакты могут быть лишь косвенным намеком на возможную генерацию нейросети. Мы опишем лишь главные особенности сгенерированного текста для более глубокого понимания контекста нашей работы.
Чтобы определить, что отклик сформирован не человеком, а нейросетью, можно использовать ряд критериев. Самый простой из них — повторяющиеся фразы и однотипные вводные слова, такие как «однако» и «в то же время».
Столь же простой и популярный сейчас критерий — длинные тире, по которым нередко пытаются определить «иишность» конкретного текста. Но, чтобы понять наверняка, что текст писала нейросеть, лучше не пользоваться только этими критериями, а смотреть глубже.
Общие критерии потенциально «искусственного» текста можно составить так:
- повторяющиеся фразы и однотипные вводные: «однако», «в то же время» и т.д.;
- бессодержательные рассуждения, та самая вода;
- псевдофакты: грамотно оформленные, но недостоверные утверждения.
Тестовые задания
Еще один широко распространенный способ применения нейросетей — выполнение тестовых заданий. Механика проста: кандидат копирует условие, получает готовый ответ от модели и отправляет его потенциальному работодателю.
Чтобы выявить использование ИИ при выполнении тестовых заданий, нанимающим специалистам стоит применять следующий подход. Прежде чем отправлять задание кандидатам, его следует протестировать в ChatGPT или другой модели. Если нейросеть выполняет задание безошибочно, его необходимо переработать — в существующем виде оно не позволяет оценить профессиональный уровень соискателя.
Если же модель допускает ошибки, их важно зафиксировать. С высокой вероятностью аналогичные недочеты проявятся и в ответах кандидатов, полностью опирающихся на нейросети.
Может показаться, что речь идет исключительно о субъективных критериях, поэтому обратимся к конкретике.
Подозрительные тексты можно проверить на наличие артефактов, которые оставляют некоторые нейросети. Например, это могут быть степени интервала между словами.
Такие артефакты мы делим на конкретные группы, unicode-символы:
- U+200B — пробел нулевой ширины (zero-width space);
- U+202 °F — узкий неразрывный пробел (narrow no-break space);
- U+A0 — неразрывный пробел (non-breaking space) и другие.
Эти символы встречаются между числами, процентами и в целом часто распознаются в разных аналитических текстах, как раз сгенерированных нейросетью. Такие артефакты сложно заметить глазами, но их легко выявить с помощью сервисов, которые подсвечивают непечатаемые символы, или программ для написания кода вроде Sublime Text.
Стоит отметить, что с каждым обновлением модели пишут тексты все правдоподобнее. Но, по нашему опыту за последнее время, некоторые нейросети и сейчас могут генерировать такие артефакты (особенно часто такое можно встретить среди бесплатных сервисов).
Конечно, можно использовать и существующие сейчас ИИ-детекторы: GPTZero, Originality.ai, Copyleaks, даже классический «Антиплагиат». Но это не так надежно, как насмотренность самого HR-эксперта. Чем чаще вы работаете с ИИ самостоятельно, тем проще вам будет увидеть невидимое и отличить человека по другую сторону найма от машины.
Генерация кода и ее распознание
Еще один распространенный способ применения нейросетей кандидатами — подача сгенерированного с помощью ИИ кода в процессе собеседования и подготовки тестового задания. С каждым обновлением моделей код, который можно написать с применением ИИ, выглядит все более чистым, хотя и не лишен серьезных артефактов. Поэтому идея использовать такой вариант для прохождения отбора привлекает внимание не только стажеров.
Здесь вся ответственность ложится на чутье и опыт рекрутера и нанимающего менеджера. Если код, присланный кандидатом, вызывает вопросы, их можно задать на следующем этапе, попросить прояснить отдельные элементы. Если человек не писал код самостоятельно, это можно будет выяснить за несколько минут: уходы в рассуждения и вода в ответах быстро дают понимание происходящего. Если же даже сгенерированную ИИ работу кандидат может смело и грамотно объяснить, это оставит меньше сомнений в его компетенциях.
Генерация кода значительно удлиняет процесс найма (в том числе и тем, что приходится усложнять тестовые задания), но по итогу «коллективный GPT» фиксируется практически всегда.
Интересна тема статьи? Вступай в сообщество Школы управления РБК, чтобы осознанно строить карьеру руководителя.
Собеседования
У некоторых кандидатов получается использовать нейросети и во время самого интервью — собеседования. Это особенный случай, один из самых сложных с точки зрения распознавания рекрутером. Как правило, схема работает следующим образом: на устройство кандидата устанавливается программа, которая в режиме прямого времени отражает на экране ответы на вопросы специалиста. Это работает без отводов взгляда и «шпаргалок» под столом — невооруженным или неопытным взглядом распознать использование ИИ становится еще сложнее.
Здесь на помощь приходит уже ранее описанное чутье эксперта. Приходится обращать внимание на мелочи: если кандидат берет перед каждым ответом на вопрос одинаковую по длине паузу либо часто просит переспросить задание и, не отрываясь, смотрит на одну точку. Все это может стать косвенным поводом пригласить человека на дополнительную встречу, например очную. Бывали случаи, когда кандидату был задан тот же самый вопрос другими словами, что заставило его «поплыть».
Как мы готовим рекрутеров к такому вызову
Мы регулярно проводим различные воркшопы и мастер-классы для специалистов разных грейдов, чтобы у них выработались навыки по работе с нейросетями и, как следствие, насмотренность по отношению к ИИ-артефактам и не только. На таких мероприятиях мы в первую очередь разбираем специфику написания промптов, показываем, как нейросеть отвечает на них — и почему именно так. И в дальнейшем весь этот контекст помогает специалистам набивать руку и тренировать насмотренность к артефактам.
Мы почти не применяем детекторов: в этом нет необходимости, если кандидат использует ИИ и потом может все объяснить и подтвердить свои навыки и знания. Такие инструменты стоит использовать лишь в совсем спорных кейсах.
К чему приводит эта гонка
Порой — к неутешительным результатам. Рынок перегревается. Контроль со стороны рекрутеров и бизнеса становится сильнее. Найти работу из-за повсеместного использования нейросетей может оказаться сложнее как малоопытным кандидатам, так и продвинутым специалистам.
Но есть и обратная сторона. Между двумя категориями кандидатов с каждым днем растет разрыв. С одной стороны, эксперт, который понимает, что ИИ — просто еще один инструмент, учится его эффективно использовать, избавляется от рутины и растит свои показатели (например, готовится к вопросам на интервью с помощью ИИ, пытается оценить свой уровень как профессионала). С другой стороны — кандидат, который применяет нейросети как самый современный способ «списать», полагается на них целиком и полностью. Любой опытный рекрутер или нанимающий менеджер сразу распознает такого соискателя, а значит, такое чрезмерное использование нейросетей все чаще будет помогать отсеивать нерелевантных кандидатов.
Оценка компетенций тоже переживает сдвиг: раньше мы любили задавать вопросы по теории, смотрели на базовые знания, а теперь это не работает, такие компетенции успешно имитируют нейросети. Тесты остаются в прошлом, вновь возвращаются в моду старые добрые нетипичные вопросы и подробное погружение в опыт кандидата. Чем глубже закопаешься, тем быстрее увидишь, кто перед тобой: продвинутый специалист или любитель «подсмотреть в окошко ChatGPT в реальном времени».
