AI 채용 도구, 인재상과 JD 기준으로 평가하고 그 근거를 보여주는지 확인해야 합니다

"AI 채용 도구, 인재상과 JD 기준으로 평가하고 그 근거를 보여주는지 확인해야 합니다"

"정확도 95%."
AI 채용 도구 소개서에서 이런 숫자를 자주 만납니다.
그런데 이 숫자 하나만 보고 도구를 골라도 괜찮을까요?

AI는 이미 채용의 여러 단계에 들어와 있습니다.
공고 작성, 서류 검토, 영상면접 분석, 글 답변 자동 채점에도 쓰입니다.

그래서 도입을 검토하는 채용팀이 가장 먼저 묻는 질문도 대개 "AI 채용 도구는 사람보다 정확한가요?"입니다.
하지만 정확도 숫자 하나만으로는 좋은 도구인지 가릴 수 없습니다.

도구를 고르기 전에 실제로 확인해야 할 것은 두 가지입니다.
첫째, 우리 회사가 정한 인재상과 직무기술서(JD) 기준으로 지원자를 평가하는지 봐야 합니다.
여기서 인재상은 회사가 원하는 인재의 모습이고, JD는 그 자리에서 해야 할 일과 필요한 능력을 적어 둔 문서입니다.
둘째, 왜 그런 점수를 줬는지 근거를 사람이 확인할 수 있게 보여 주는지 봐야 합니다.

이 두 가지는 연구가 오래전부터 좋은 채용의 조건으로 지목한 것과 같습니다.
무엇을 정답으로 삼아 평가했는지, 그리고 그 판단의 근거를 설명할 수 있는지가 채용의 질을 갈랐기 때문입니다.

이 글은 세 종류의 연구를 함께 읽으며 그 이유를 정리합니다.
AI 채용 도구를 직접 시험한 연구, 1990년대부터 쌓인 사람 면접 연구, 그리고 지원자가 AI 면접을 어떻게 받아들이는지 살펴본 연구입니다.
연구의 문장이나 표를 그대로 옮기지 않고, 핵심 발견과 수치만 쉬운 말로 정리해 출처와 함께 제시합니다.

1. AI는 채용의 어디에 쓰이고 있을까요?

AI는 채용 공고를 쓰고 이력서를 살펴보는 데 쓰입니다.
영상면접의 답변과 목소리, 표정과 몸짓을 분석하는 데도 활용됩니다.
한 연구팀은 AI 채용 윤리를 다룬 논문 51편을, 다른 연구팀은 2014년부터 2020년까지 나온 채용·인재개발 논문 36편을 모아 이런 활용 사례를 정리했습니다.[8][9]

AI를 쓰면 지원자가 많아도 서류를 빠르게 훑어볼 수 있습니다.
하지만 컴퓨터가 판단을 돕는 과정에서 성별이나 나이 등을 이유로 특정 사람들에게 불리한 결과가 생길 수도 있습니다.

따라서 "AI 채용"을 하나의 기술로 뭉뚱그려 보면 안 됩니다.
공고 작성, 서류 검토, 면접처럼 AI가 쓰이는 단계마다 하는 일과 확인할 위험이 다르기 때문입니다.

단계마다 AI가 하는 일이 다릅니다

표의 네 단계는 위 두 리뷰 논문이 다룬 활용 영역을 채용 실무의 단계로 나눠 정리한 것입니다.
같은 "AI 채용 도구"라는 이름을 달고 있어도 실제로는 이 중 한두 단계만 담당하는 제품이 많습니다.

회사가 어느 단계를 맡길지부터 정합니다

도구를 비교하기 전에 우리 회사 채용에서 가장 오래 걸리고 판단이 흔들리는 단계가 어디인지 적어 봅니다.
서류가 밀리는 회사와 면접 일정이 밀리는 회사는 필요한 도구가 다릅니다.

이 단계를 정하지 않고 소개서부터 보면 비교 기준이 제품마다 달라집니다.
어떤 제품은 서류 분류 정확도를, 어떤 제품은 면접 시간 단축을 앞세우기 때문입니다.

2. AI 면접 점수가 실제 성과와 얼마나 맞는지 봐야 합니다

연구에서는 채용 때 받은 점수와 입사 후 실제 업무 성과가 얼마나 맞아떨어지는지를 "예측타당도"라고 부릅니다.
쉽게 말하면, 면접에서 높은 점수를 받은 사람이 입사 후에도 일을 잘했는지 확인하는 것입니다.[1][3]

면접 점수와 입사 후 업무 성과가 얼마나 함께 움직이는지는 -1에서 1 사이의 숫자로 나타냅니다.
이 숫자를 "상관계수"라고 합니다.
1에 가까운 양수일수록 면접 점수와 입사 후 업무 성과의 관계가 전반적으로 강했다는 뜻입니다.
-1에 가까울수록 면접 점수가 높을 때 업무 성과는 낮아지는 반대 관계가 강합니다.
0에 가까우면 면접 점수와 업무 성과가 일정한 방향으로 함께 움직이는 흐름이 거의 없다는 뜻입니다.[3]

다만 상관계수 0.44가 "지원자를 44% 정확하게 맞혔다"는 뜻은 아닙니다.
두 값이 어느 정도 함께 움직였다는 뜻일 뿐입니다.
면접이 성과의 직접적인 원인이라는 의미도 아닙니다.

연구 숫자를 비교할 때는 어떤 성과를 기준으로 삼았는지, 몇 명을 조사했는지, 어떤 방식으로 평가했는지 함께 봐야 합니다.
실제로 Sackett과 동료들은 2022년에 그동안의 연구 결과를 계산하는 방법을 다시 살펴봤습니다.
그 결과, 1998년 이후 널리 인용되던 일부 숫자가 실제보다 높게 나왔을 가능성을 제시했습니다.
조건이 다른 숫자를 한 줄로 세워 제품 순위처럼 보면 안 되는 이유입니다.[2]

숫자를 볼 때 함께 물어야 할 네 가지

• 누구를 대상으로 한 숫자인가요. 직무와 경력, 조사 인원을 확인합니다.

• 무엇을 성과로 봤나요. 상사 평가인지, 실적인지, 근속 기간인지에 따라 결과가 달라집니다.

• 점수를 언제 매겼나요. 입사 전 지원자를 평가한 점수인지, 이미 일하고 있는 직원을 뒤늦게 평가한 점수인지 다릅니다.

• 숫자를 어떻게 계산했나요. 보정 방식이 다르면 같은 자료에서도 다른 숫자가 나옵니다.

이 네 가지가 다르면 숫자를 나란히 놓고 비교할 수 없습니다.
그래서 "정확도 95%"라는 문구를 만나면 무엇을 몇 명에게 확인한 수치인지 되물어야 합니다.

소개서의 숫자를 이렇게 되물어 봅니다

담당자가 "저희 도구의 정확도는 90%입니다"라고 설명하면 이렇게 물을 수 있습니다.
"그 90%는 무엇을 맞힌 비율인가요, 그리고 몇 명을 대상으로 계산했나요?"

"합격자 예측에 성공한 비율"이라는 답이 돌아오면 한 가지를 더 물어야 합니다.
그 합격 판정이 우리 회사 기준이었는지, 아니면 다른 회사의 과거 자료였는지를 확인하는 질문입니다.

정확도 숫자가 흔들리는 이유는 분명합니다.
무엇을 정답으로 삼아 평가했는지, 그 판단의 근거가 무엇인지에 따라 같은 도구도 결과가 달라지기 때문입니다.
그래서 정확도 숫자 자체보다, 그 숫자가 어떤 기준과 근거에서 나왔는지를 확인하는 것이 먼저입니다.

3. AI 채용 연구에서 실제로 확인한 것은 무엇일까요?

AI 채용 연구는 "AI를 쓰면 무조건 더 정확하다"고 말하지 않습니다.
대신 앞에서 말한 두 가지, 즉 무엇을 정답으로 삼아 평가했는지와 점수의 근거를 사람이 확인할 수 있는지를 집중해서 살펴봅니다.
이어지는 연구 네 편은 이 두 가지가 결과를 어떻게 갈랐는지 보여 줍니다.

영상면접 AI는 어떤 기준을 따라 배우게 했는지가 중요했습니다

Hickman과 동료들은 2022년에 영상면접에서 말의 내용, 목소리, 표정과 몸짓을 분석해 성격을 추정하는 AI를 연구했습니다.
연구에는 모두 1,073명이 참여했습니다.

면접관이 지원자를 평가한 결과를 기준값으로 삼아 학습한 AI는 비교적 나은 결과를 보였습니다.
반면 지원자가 스스로 답한 성격 점수를 기준값으로 삼은 AI는 결과가 일정하지 않았고 믿을 만한 근거도 약했습니다.
여기서 기준값은 AI가 따라 배우도록 준 답안과 비슷한 자료를 뜻합니다.
같은 영상과 같은 AI를 사용해도 어떤 기준값을 주었는지에 따라 결과가 달라진 것입니다.[5]

이 연구가 주는 교훈은 분명합니다.
AI에 무엇을 좋은 답변으로 가르치느냐가 결과를 좌우합니다.
그래서 AI가 우리 회사의 인재상과 JD에 맞는 기준을 배웠는지 확인하는 일이 정확도 숫자보다 먼저입니다.

우리 회사에 적용하면 확인할 질문은 하나로 좁혀집니다.
"이 도구는 누구의 판단을 정답으로 삼아 배웠나요?"

다른 회사의 합격자 자료로만 배운 도구라면 그 회사의 선호를 우리 회사 채용에 그대로 옮겨 오게 됩니다.
우리 회사의 인재상과 JD를 기준값으로 넣을 수 있는지, 넣은 뒤 결과가 어떻게 달라지는지 확인해야 하는 이유입니다.

이력서를 분석한 AI는 점수의 이유를 설명할 수 있어야 했습니다

Sajjadiani와 동료들은 2019년에 지원서에 적힌 경력과 이직 사유를 AI로 분석했습니다.
교사 지원자 16,071명의 자료를 살펴보고, 어떤 경력 정보가 입사 후 성과와 퇴사에 이어지는지 확인했습니다.

이 연구는 AI가 몇 점을 줬는지만 보여 주지 않았습니다.
경력이 지원 직무와 얼마나 관련 있는지처럼 사람이 이해할 수 있는 항목으로 나눠 점수의 이유를 설명했습니다.

결과도 항목마다 달랐습니다.
지원 직무와 관련된 경력, 더 나은 조건을 찾아 옮긴 이력은 입사 후 좋은 결과와 이어졌습니다.
반대로 나쁜 일자리를 피해 온 이력은 부정적인 결과와 이어졌습니다.

연구진은 이 방식이 기존의 경력 검토보다 선발의 질을 높이면서 특정 집단이 불리해질 위험은 낮췄다고 보고했습니다.
AI 채용에서도 "왜 이런 결과가 나왔는지" 설명할 수 있어야 한다는 점을 보여 줍니다.[6]

이것이 두 번째 확인 사항입니다.
좋은 AI 채용 도구는 점수만 던져 주지 않고, 어떤 근거로 그 점수가 나왔는지 사람이 확인할 수 있게 보여 줍니다.

시연을 볼 때는 지원자 한 명의 결과 화면을 보여 달라고 하면 됩니다.
점수 옆에 어떤 답변과 어떤 평가 항목이 붙어 있는지 바로 드러납니다.

근거가 보이지 않으면 현업 조직장이 결과에 동의하기 어렵습니다.
탈락한 지원자가 이유를 물었을 때 설명할 자료도 남지 않습니다.

글 답변 자동 채점은 아직 가능성을 살펴보는 단계였습니다

Campion과 동료들은 2016년에 지원자가 쓴 답변을 컴퓨터가 자동으로 채점할 수 있는지 연구했습니다.
사람 채점자를 흉내 내도록 컴퓨터를 학습시킨 뒤 점수의 일관성과 타당성을 확인했습니다.
지원자 약 46,000명을 대상으로 비용을 줄일 수 있는지도 함께 살폈습니다.

이 연구에서는 자동 채점 점수가 소수 집단에 불리하게 작용하지 않았다고 보고했습니다.
다만 연구진은 이 연구를 "초기 탐색"이라고 분명히 밝혔습니다.
사람의 평가를 모두 AI로 바꿔도 된다는 결론을 내린 연구가 아닙니다.[7]

여기서 두 가지를 구분해야 합니다.
한 연구에서 특정 집단에 불리하지 않았다는 결과가, 모든 자동 채점 도구가 공정하다는 뜻은 아닙니다.
그래서 "연구로 검증됐다"는 말을 들으면 무엇을 어디까지 확인한 연구인지 다시 물어야 합니다.

실무에서는 자동 채점을 1차 분류에만 쓰는 편이 안전합니다.
사람이 볼 순서를 정하는 데 쓰고, 탈락 여부는 사람이 확인한 뒤 결정하는 방식입니다.

지원자도 생성형 AI를 씁니다

지금까지는 회사가 AI를 쓰는 이야기였습니다.
2024년에는 반대로 지원자가 AI를 쓰면 어떻게 되는지 확인한 연구가 나왔습니다.
지원자가 ChatGPT로 답변을 만들어 영상면접을 보면 점수가 어떻게 달라지는지 시험한 연구입니다.

245명을 세 집단으로 나눠 비교했습니다.
ChatGPT를 쓰지 않은 집단, AI가 만든 답변을 그대로 읽은 집단, 자기 이력서를 넣어 답변을 다듬은 집단입니다.

두 ChatGPT 집단은 전체 평가와 답변 내용 점수에서 더 높은 점수를 받았습니다.
말하는 태도 점수는 세 집단이 비슷했고, 솔직함 점수는 ChatGPT 집단이 오히려 낮았습니다.[10]

이 연구는 실제 채용이 아니라 온라인 참여자를 모집해 진행한 실험입니다.
연구진이 분석 계획을 미리 등록하고 시작했다는 점은 신뢰를 더하지만, 한 번의 실험 결과를 모든 채용에 그대로 옮길 수는 없습니다.

그래도 채용팀이 새겨야 할 두 가지는 분명합니다.
첫째, 답변 내용만 보고 판단하면 준비 도구의 차이를 실력 차이로 오해할 수 있습니다.
둘째, 면접 한 번의 점수만으로 결정하지 말고 서류와 검사, 함께 일한 사람의 평가처럼 다른 자료와 함께 봐야 합니다.

네 연구를 한 장으로 정리하면 이렇습니다

네 연구는 모두 "AI가 사람보다 낫다"를 결론으로 삼지 않았습니다.
어떤 조건에서 쓸 만했고 어떤 조건에서 더 확인이 필요한지를 나눠 본 연구입니다.[5][6][7][10]

💡우리 회사 인재상·JD를 반영한 AI 면접 평가 기준이 필요하다면

상위 0.1% AI 면접관에게 물어보기 (클릭)

4. AI가 없던 시절의 면접 연구에서도 배울 점이 있습니다

AI 면접도 결국 지원자에게 질문하고 답변을 평가하는 면접입니다.
그래서 사람이 진행한 면접을 다룬 1990년대 연구에서 확인한 원칙은 지금 AI 면접을 설계할 때도 참고할 수 있습니다.
아래에서 살펴볼 연구는 1994년부터 1998년 사이에 나왔고, 2022년 재검증을 거쳐 지금도 채용 연구에서 널리 인용됩니다.

질문과 채점 기준을 미리 정한 면접이 더 나았습니다

McDaniel과 동료들은 1994년에 여러 면접 연구를 한데 모아 평균을 냈습니다.
이처럼 많은 연구를 모아 분석하는 방식을 "메타분석"이라고 합니다.

입사 후 성과와의 관련도는 질문과 채점 기준을 미리 정한 면접이 0.44였습니다.
그때그때 자유롭게 진행한 면접은 0.33이었습니다.
앞에서 설명했듯 이 숫자는 1에 가까울수록 면접 점수와 입사 후 성과의 관계가 더 강하다는 뜻입니다.
같은 면접이라도 질문과 평가 방식을 미리 정했는지에 따라 차이가 난 것입니다.

질문의 내용에 따라서도 결과가 달랐습니다.
"이런 상황이라면 어떻게 하겠습니까?"라고 묻는 면접은 0.50, 실제 업무와 관련된 질문은 0.39, 성격과 심리를 중심으로 묻는 면접은 0.29였습니다.
0.50이 0.29보다 더 강한 관계를 보였다는 뜻이지, 각각 50%와 29%를 맞혔다는 뜻은 아닙니다.
이 숫자는 여러 사람 면접 연구의 평균이며 특정 AI 제품의 성적표는 아닙니다.[3]

위 숫자는 모두 사람이 진행한 면접 연구의 평균입니다.
어느 회사의 채용 결과를 보장하는 값이 아니라, 면접 설계를 바꿀 때 무엇이 차이를 만들었는지 보여 주는 참고선입니다.[3]

이 숫자를 회사 면접에 적용하면 이렇게 됩니다

연구가 구분한 기준으로 보면, 면접 질문지가 담당자마다 다른 회사는 자유 진행 면접에 가깝습니다.
직무마다 반드시 확인할 능력을 정하고 질문과 점수 기준을 미리 맞추는 것만으로 면접의 성격이 달라집니다.

다만 0.44라는 숫자가 어느 회사에나 그대로 따라오지는 않습니다.
연구가 보여 준 것은 준비된 면접이 더 나은 결과로 이어졌다는 방향이고, 실제 값은 회사마다 확인해야 합니다.

성격을 묻는 질문을 없애야 한다는 뜻도 아닙니다.
성격 질문만으로 합격을 결정하지 말고, 상황 대응이나 업무 경험을 묻는 질문과 함께 쓰라는 뜻입니다.

신입·주니어 채용에서도 질문을 미리 정해 두는 편이 낫습니다

경력이 짧은 지원자를 뽑을 때도 같은 원칙이 확인됐습니다.
Huffcutt와 Arthur가 1994년에 발표한 연구에서는 질문과 채점 기준을 미리 정한 면접이 자유롭게 대화한 면접보다 입사 후 성과를 더 잘 예측했습니다.
신입 채용이라고 해서 편하게 이야기만 나눠도 된다는 뜻은 아닙니다.[4]

경력이 짧은 지원자는 보여 줄 실적이 적습니다.
그래서 "이런 상황이라면 어떻게 하겠습니까"처럼 상황을 주고 판단 과정을 묻는 질문이 더 유용합니다.

널리 알려진 연구 숫자도 다시 확인해야 합니다

Schmidt와 Hunter가 1998년에 발표한 연구에서는 지능처럼 전반적인 사고 능력이 업무 성과를 예측하는 강한 요인으로 나타났습니다.
여기에 질문을 미리 정한 면접이나 실제 업무와 비슷한 과제를 함께 사용하면 더 많은 정보를 얻을 수 있었습니다.[1]

이 연구는 20년 넘게 채용 교과서에 인용됐습니다.
그런데 2022년에 Sackett과 동료들이 통계 처리 방식을 다시 살펴보니 여러 방법의 예측력 숫자가 이전보다 낮게 나왔습니다.
연구진은 그때까지 알려진 숫자들이 평균 0.10에서 0.20 정도 과대평가돼 있었다고 정리했습니다.

여기서 눈여겨볼 대목이 있습니다.
숫자를 다시 계산했더니 질문과 채점 기준을 미리 정한 면접이 여러 평가 방법 가운데 가장 앞자리로 올라섰습니다.
연구진은 선발 도구가 여전히 쓸모 있지만 기대치는 낮춰 잡아야 한다고 덧붙였습니다.[2]

유명한 연구의 숫자라도 우리 회사의 채용 결과를 그대로 보장하지는 않습니다.
여기서 얻을 실무 원칙은 두 가지입니다.
첫째, 하나의 평가 방법에 기대지 말고 성격이 다른 방법을 함께 씁니다.
둘째, 외부 연구 숫자는 참고선으로 두고 우리 회사 자료로 다시 확인합니다.

5. 잘 맞히는 것과 공정한 것은 다른 문제입니다

AI가 입사 후 성과를 잘 예측한다고 해서 모든 지원자를 공정하게 평가했다는 뜻은 아닙니다.
반대로 사람들의 평균 점수가 비슷하다고 해서 업무 성과를 잘 예측했다는 뜻도 아닙니다.

여러 연구를 모아 살펴본 결과, AI는 채용 업무를 빠르게 처리하는 데 도움을 줄 수 있었습니다.
하지만 의도하지 않았더라도 특정 성별, 나이, 지역 같은 집단에 불리한 결과를 낼 위험도 있었습니다.

따라서 두 가지를 따로 확인해야 합니다.
첫째, AI 점수가 높은 사람이 입사 후 업무 평가나 실적도 좋았는지 봐야 합니다.
둘째, 능력이 비슷한데도 성별이나 나이 같은 이유로 점수가 달라지지 않았는지 확인해야 합니다.[8][9]

공정성은 이렇게 점검합니다

• 집단별 합격률을 함께 봅니다. 성별·연령대·학교 구분처럼 나눌 수 있는 기준으로 통과 비율을 비교합니다.

• 차이가 보이면 원인을 나눠 봅니다. 직무 경험 차이 때문인지, 평가 항목 자체가 특정 집단에 불리했는지 구분합니다.

• 평가 항목을 다시 봅니다. 말투나 억양처럼 업무 실력과 관계가 약한 요소가 점수에 반영되지 않았는지 확인합니다.

• 기록을 남깁니다. 언제 어떤 기준으로 점검했고 무엇을 고쳤는지 적어 둡니다.

점검 주기는 채용 단위로 잡는 편이 좋습니다.
지원자 구성이 바뀌면 이전 점검 결과를 그대로 믿을 수 없기 때문입니다.

점검 결과를 어떻게 읽을지 미리 정합니다

집단 사이에 점수 차이가 있다고 해서 곧바로 도구를 바꿔야 하는 것은 아닙니다.
그 차이가 직무 수행에 꼭 필요한 능력에서 나온 것인지 먼저 확인해야 합니다.

반대로 차이가 없다고 해서 안심할 수도 없습니다.
모두에게 비슷한 점수를 준 도구는 지원자를 가려내지 못하고 있을 수도 있기 때문입니다.

그래서 성과 예측과 공정성은 한 지표로 합치지 않고 따로 봅니다.
두 결과를 같은 회의에서 함께 보고, 어느 쪽이 문제인지 구분해 대응합니다.

6. 지원자는 AI 면접을 어떻게 받아들일까요?

AI 면접은 회사만 쓰는 도구가 아닙니다.
지원자가 직접 겪는 경험이고, 그 경험은 입사 의향으로 이어집니다.

알고리즘이 평가했다고 하면 반응이 나빠졌습니다

Oostrom과 동료들은 2023년에 같은 영상면접과 성격검사 결과를 두고 평가 주체만 바꿔 실험했습니다.
한쪽에는 채용담당자가 분석했다고 알리고, 다른 쪽에는 알고리즘이 분석했다고 알렸습니다.

알고리즘이 평가했다고 들은 지원자는 공정하다고 느끼는 정도가 낮았습니다.
평가 결과를 받아들이는 정도와 그 회사에 가고 싶은 마음도 함께 낮아졌습니다.
첫 번째 실험 172명, 두 번째 실험 276명에서 비슷한 결과가 나왔습니다.[11]

주목할 점은 합격과 불합격을 가리지 않았다는 것입니다.
결과가 좋든 나쁘든 알고리즘이 평가했다는 사실 자체가 반응을 낮췄습니다.

지원자는 사람의 판단이 남아 있기를 바랐습니다

Mirowska와 Mesnet은 2021년에 직장인 33명을 인터뷰해 AI 면접을 어떻게 생각하는지 물었습니다.
참여자들은 AI가 사람보다 덜 흔들린다는 점은 인정했습니다.

그러면서도 사람이 판단에 남아 있기를 원했습니다.
사람의 편견은 어떤 것인지 짐작할 수 있지만, 알고리즘이 무엇을 보고 판단하는지는 알 수 없다는 불안 때문입니다.
연구진은 이를 두고 지원자들이 익숙한 쪽의 단점을 감수하는 선택을 했다고 설명했습니다.[12]

설명을 덧붙이면 반응이 달라졌습니다

같은 영상면접이라도 회사가 무엇을 어떻게 하는지 설명하면 결과가 달라집니다.

Basch와 Melchers는 2019년에 두 종류의 설명을 나눠 시험했습니다.
모든 지원자에게 같은 질문과 같은 기준을 적용한다고 설명하자 공정하다는 인식이 높아졌습니다.
원하는 시간에 면접을 볼 수 있다고 설명하자 쓰기 편하다는 인식이 높아졌습니다.
공정하다는 인식이 높아지면 그 회사를 좋게 보는 마음도 함께 올라갔습니다.[13]

정리하면 이렇습니다.
AI 면접에서 지원자 반응을 가르는 것은 기술 자체가 아니라, 무엇을 같은 기준으로 보는지와 그것을 설명하는지입니다.

AI 면접 서비스 Effy(에피)는 회사가 정한 같은 평가 기준을 모든 지원자에게 적용하고, 지원자가 가능한 시간을 골라 면접에 참여하도록 합니다.
위 연구에서 지원자 반응을 개선한 두 조건과 같은 방향입니다.

7. AI 면접을 도입하기 전에 네 가지를 확인합니다

AI는 질문을 만들고 답변을 기록하며 점수를 정리할 수 있습니다.
하지만 일을 빠르게 처리한다고 해서 올바르게 평가하는 것은 아닙니다.
같은 실수를 계속 반복하는 AI도 겉으로는 일관돼 보일 수 있습니다.

아래 네 가지는 결국 두 축으로 모입니다.
앞의 둘은 "인재상과 JD 기준으로 평가하는가", 뒤의 둘은 "그 근거를 사람이 확인할 수 있는가"입니다.

인재상과 JD로 무엇을 볼지 먼저 정합니다

면접 전에 우리 회사의 인재상과 JD를 근거로 해당 직무에서 꼭 필요한 능력과 행동을 정합니다.
AI가 답변에서 무엇을 찾을지, 무엇은 평가에서 빼야 할지도 이 기준에 맞춰 사람이 먼저 합의해야 합니다.
출신 지역이나 말투처럼 업무 실력과 상관없는 정보가 점수에 섞이지 않는지도 확인해야 합니다.

기준을 정할 때는 직무별로 세 가지에서 다섯 가지 정도로 좁히는 편이 좋습니다.
항목이 많아질수록 면접관마다 중요하게 보는 지점이 달라지기 때문입니다.

• 좋은 신호: 우리 회사가 평가 항목과 배점을 직접 입력하고 수정할 수 있습니다.

• 나쁜 신호: 제품이 정해 둔 항목만 쓸 수 있고 무엇을 보는지 설명이 없습니다.

모두에게 같은 평가 기준을 적용합니다

모든 지원자에게 문장까지 똑같은 질문을 할 필요는 없습니다.
반드시 확인할 능력과 점수 기준은 같게 두고, 앞선 답변을 더 자세히 묻는 추가 질문(꼬리질문)은 지원자에 맞게 바꿀 수 있습니다.
중요한 것은 질문이 달라져도 평가 기준은 같아야 한다는 점입니다.

AI 면접 서비스 Effy(에피)는 회사가 인재상과 JD를 세부적으로 설정해 무엇을 볼지 먼저 정하도록 합니다.
그 기준 위에서 이력서와 답변 내용을 바탕으로 추가 질문을 이어 갑니다.
지원자마다 질문은 달라질 수 있지만 회사가 정한 평가 기준은 같게 적용합니다.

• 좋은 신호: 질문이 달라져도 어떤 평가 항목을 확인한 질문인지 결과에 표시됩니다.

• 나쁜 신호: 지원자마다 질문이 달라지는데 무엇을 확인했는지 남지 않습니다.

점수만 보여 주지 말고 이유도 남깁니다

종합점수만 있으면 왜 그런 점수가 나왔는지 다시 확인하기 어렵습니다.
어떤 질문과 답변이 어떤 평가 항목으로 이어졌는지 함께 남겨야 합니다.

채용 자료 연결·분석 서비스 TEO는 면접 대화를 기록하고 장점과 우려점을 정리합니다.
채용 담당자와 현업 담당자는 같은 자료를 보면서 결과를 다시 확인할 수 있습니다.

• 좋은 신호: 점수 옆에 근거가 된 답변 구간과 평가 항목이 함께 보입니다.

• 나쁜 신호: 종합점수와 등급만 나오고 이유는 담당자가 추측해야 합니다.

마지막 판단은 사람이 합니다

AI가 답변을 제대로 처리하지 못했거나 판단 근거가 부족한 경우에는 사람이 다시 살펴봐야 합니다.
지원자가 결과에 문제를 제기할 수 있는 방법도 미리 정해 두는 편이 안전합니다.

녹음 상태가 나빠 답변이 끊긴 경우처럼 다시 볼 조건을 문서로 정해 두면 판단이 흔들리지 않습니다.
누가 다시 보는지, 언제까지 결정하는지도 함께 정합니다.

Effy(에피)는 지원자의 경험을 확인하고, TEO는 서류·검사·면접·함께 일한 사람의 평가를 한곳에 연결합니다.
최종 합격 여부는 이 자료를 검토한 사람이 결정합니다.

• 좋은 신호: 사람이 다시 볼 조건과 담당자가 정해져 있습니다.

• 나쁜 신호: 점수 기준선을 넘지 못하면 자동으로 탈락 처리됩니다.

8. 우리 회사에서도 직접 확인해야 합니다

논문은 여러 회사와 사람을 조사한 평균 결과를 보여 줍니다.
그 결과가 우리 회사의 모든 직무에 똑같이 적용된다는 보장은 없습니다.
AI 채용 도구를 도입한 뒤에는 우리 회사 자료로 다시 확인해야 합니다.

도입 전에 확인할 내용을 적어 둡니다

• AI 점수가 어떤 능력을 보는지 정합니다.

• 입사 후 성과를 수습 통과 여부, 업무 평가, 실적, 근속 기간 중 무엇으로 판단할지 정합니다.

• AI 점수와 기존 면접 점수를 어떻게 비교할지 정합니다.

• 면접 기록이 없거나 입사 직후 퇴사한 사례처럼 자료가 충분하지 않은 경우를 어떻게 처리할지 정합니다.

• AI 버전, 질문, 점수 기준이 바뀌면 언제 다시 확인할지 정합니다.

이 내용을 도입 전에 정해 두면 결과를 받아 본 뒤에 해석이 갈리지 않습니다.
성과 기준을 뒤늦게 정하면 원하는 결론에 맞춰 지표를 고르게 되기 때문입니다.

시점별로 무엇을 확인할지 나눠 둡니다

처음부터 모든 시점을 다 볼 필요는 없습니다.
채용 인원이 적은 회사라면 수습 통과 여부부터 맞춰 보고, 사례가 쌓인 뒤 나머지를 더하는 순서가 현실적입니다.

사용한 뒤에도 결과를 계속 살펴봅니다

AI 점수가 입사 후 성과와 이어졌는지 확인합니다.
성별, 나이, 지역 등에 따라 이유 없이 점수 차이가 생기지 않았는지도 따로 살펴봅니다.
AI가 잘못 처리한 사례와 사람이 다시 검토한 결과도 기록합니다.

지원자의 구성이나 질문, AI, 점수 기준이 바뀌면 그 이전에 확인한 결과를 그대로 믿어서는 안 됩니다.
한 번 확인하고 끝내지 말고 채용할 때마다 계속 살펴보는 것이 안전합니다.

확인한 내용은 한 장짜리 기록으로 남겨 두면 충분합니다.
언제, 몇 명을 대상으로, 무엇을 확인했고 무엇을 고쳤는지만 적어도 다음 채용의 판단 근거가 됩니다.

9. 연구 숫자를 이렇게 오해하면 안 됩니다

① "질문을 미리 정한 면접이 0.44였으니 우리 AI 면접도 0.44다"

그렇게 볼 수 없습니다.
0.44는 여러 사람 면접 연구를 모아 낸 평균값입니다.
면접 점수와 입사 후 성과의 관계를 나타낸 숫자이며, 특정 AI 면접 제품의 점수가 아닙니다.[3]

② "AI가 같은 기준으로 채점하니 결과도 믿을 수 있다"

항상 같은 방식으로 점수를 매기는 것과 올바르게 평가하는 것은 다른 문제입니다.
AI가 어떤 답변을 좋은 답변으로 배웠는지에 따라 결과가 달라질 수 있습니다.
같은 실수를 계속 반복하는 AI도 겉으로는 일관돼 보일 수 있습니다.[5]

③ "AI 채용은 이미 연구로 확인이 끝났다"

연구마다 확인한 기능과 대상이 다릅니다.
글 답변 자동 채점처럼 연구진 스스로 초기 탐색이라고 밝힌 연구도 있습니다.
"연구로 확인됐다"는 말을 들으면 어떤 기능을 몇 명에게 시험했는지 물어봐야 합니다.[5][7]

④ "성과를 잘 예측하면 누구에게도 불리하지 않다"

성과를 잘 예측하는 것과 모든 지원자를 공정하게 평가하는 것은 다른 문제입니다.
특정 집단이 이유 없이 불리한 결과를 받지 않는지 따로 확인해야 합니다.[8][9]

⑤ "다른 회사에서 잘 썼다니 우리도 잘 맞을 것이다"

직무와 지원자 구성이 다르면 결과도 달라집니다.
다른 회사의 도입 사례는 참고 자료일 뿐, 우리 회사에서 확인한 결과를 대신하지 못합니다.
그 회사가 무엇을 성과로 봤는지, 우리 회사와 같은 기준이었는지부터 확인해야 합니다.[1][2]

⑥ "AI 면접은 지원자도 편하니 반응이 좋을 것이다"

편리함과 공정하다는 느낌은 다른 문제입니다.
알고리즘이 평가했다고 알리는 것만으로 공정성 인식과 입사 의향이 낮아진 실험 결과가 있습니다.
무엇을 같은 기준으로 보는지, 사람이 어디서 판단하는지 설명하는 편이 안전합니다.[11][13]

10. AI 채용 도구를 볼 때 꼭 물어볼 10가지

1번과 2번은 "인재상과 JD 기준으로 평가하는가"를 확인하는 질문입니다.
5번과 6번은 "그 근거를 사람이 확인할 수 있는가"를 확인하는 질문입니다.
9번과 10번은 지원자 경험과 다른 자료와의 연결을 확인합니다.
나머지는 두 축이 실제 운영에서도 지켜지는지 확인합니다.

이 질문은 제품의 단점을 찾기 위한 목록이 아닙니다.
우리 회사가 AI 채용 도구를 안전하게 고르기 위한 확인표입니다.

11. 연구에서 확인한 기준을 Effy(에피)와 TEO에 대입해 봤습니다

앞에서 살펴본 연구는 좋은 AI 채용 도구가 갖춰야 할 기준을 보여 줍니다.
그 기준을 Effy(에피)와 TEO에 대입하면 다음과 같습니다.

표의 내용은 앞에서 살펴본 1990년대 면접 연구, AI 채용 연구, 지원자 반응 연구를 바탕으로 정리했습니다.
제품 이름만 보고 고르기보다 이 여섯 가지를 우리 회사 채용에 적용할 수 있는지 확인하는 것이 좋습니다.

채용 흐름에 대입하면 이렇게 이어집니다

Effy(에피)는 면접 단계에서 회사가 정한 기준으로 질문하고 답변을 받습니다.
지원자는 가능한 시간을 골라 면접에 참여하고, 회사는 1차 면접을 같은 기준으로 진행합니다.

TEO는 면접 앞뒤의 자료를 한 지원자 기준으로 모읍니다.
서류, 역량검사, 인터뷰, 함께 일한 사람의 평가를 같은 화면에서 확인할 수 있습니다.

두 서비스를 나눠 보면 역할이 분명해집니다.
Effy(에피)는 무엇을 물을지 정하고 같은 기준으로 확인하는 쪽이고, TEO는 그 결과를 다른 자료와 연결해 사람이 판단하도록 돕는 쪽입니다.

좋은 AI 채용 도구는 단순히 AI를 사용한 제품이 아닙니다.
무엇을 보고 판단했는지 사람이 이해할 수 있고, 결과가 이상할 때 다시 확인할 수 있어야 합니다.
Effy(에피)는 지원자의 경험을 같은 기준으로 듣고, TEO는 면접 전후의 자료를 연결해 사람이 최종 판단할 수 있도록 돕습니다.

💡Effy(에피)·TEO가 지원자를 어떤 기준으로 확인하는지 궁금하다면?

Effy(에피)·TEO 활용 방법 상담하기 (클릭)

참고한 연구

아래 13편은 모두 동료 심사를 거친 학술지 논문입니다.
전통 선발·면접 연구 4편, AI 채용을 직접 검증한 연구 4편, 공정성·윤리 리뷰 2편, 지원자 반응 연구 3편으로 구성했습니다.
각 항목 끝의 DOI 번호로 원문 서지 정보를 확인할 수 있습니다.

[1] Schmidt, F. L., & Hunter, J. E. (1998). The validity and utility of selection methods in personnel psychology: Practical and theoretical implications of 85 years of research findings. Psychological Bulletin, 124(2), 262-274. DOI 10.1037/0033-2909.124.2.262

[2] Sackett, P. R., Zhang, C., Berry, C. M., & Lievens, F. (2022). Revisiting meta-analytic estimates of validity in personnel selection: Addressing systematic overcorrection for restriction of range. Journal of Applied Psychology, 107(11), 2040-2068. DOI 10.1037/apl0000994

[3] McDaniel, M. A., Whetzel, D. L., Schmidt, F. L., & Maurer, S. D. (1994). The validity of employment interviews: A comprehensive review and meta-analysis. Journal of Applied Psychology, 79(4), 599-616. DOI 10.1037/0021-9010.79.4.599

[4] Huffcutt, A. I., & Arthur, W. (1994). Hunter and Hunter (1984) revisited: Interview validity for entry-level jobs. Journal of Applied Psychology, 79(2), 184-190. DOI 10.1037/0021-9010.79.2.184

[5] Hickman, L., Bosch, N., Ng, V., Saef, R., Tay, L., & Woo, S. E. (2022). Automated video interview personality assessments: Reliability, validity, and generalizability investigations. Journal of Applied Psychology, 107(8), 1323-1351. DOI 10.1037/apl0000695

[6] Sajjadiani, S., Sojourner, A. J., Kammeyer-Mueller, J. D., & Mykerezi, E. (2019). Using machine learning to translate applicant work history into predictors of performance and turnover. Journal of Applied Psychology, 104(10), 1207-1225. DOI 10.1037/apl0000405

[7] Campion, M. C., Campion, M. A., Campion, E. D., & Reider, M. H. (2016). Initial investigation into computer scoring of candidate essays for personnel selection. Journal of Applied Psychology, 101(7), 958-975. DOI 10.1037/apl0000108

[8] Köchling, A., & Wehner, M. C. (2020). Discriminated by an algorithm: a systematic review of discrimination and fairness by algorithmic decision-making in the context of HR recruitment and HR development. Business Research, 13(3), 795-848. DOI 10.1007/s40685-020-00134-w

[9] Hunkenschroer, A. L., & Luetge, C. (2022). Ethics of AI-Enabled Recruiting and Selection: A Review and Research Agenda. Journal of Business Ethics, 178(4), 977-1007. DOI 10.1007/s10551-022-05049-6

[10] Canagasuriam, D., & Lukacik, E. R. (2024). ChatGPT, can you take my job interview? Examining artificial intelligence cheating in the asynchronous video interview. International Journal of Selection and Assessment, 33(1). DOI 10.1111/ijsa.12491

[11] Oostrom, J. K., Holtrop, D., Koutsoumpis, A., van Breda, W., Ghassemi, S., & de Vries, R. E. (2023). Applicant reactions to algorithm- versus recruiter-based evaluations of an asynchronous video interview and a personality inventory. Journal of Occupational and Organizational Psychology, 97(1), 160-189. DOI 10.1111/joop.12465

[12] Mirowska, A., & Mesnet, L. (2021). Preferring the devil you know: Potential applicant reactions to artificial intelligence evaluation of interviews. Human Resource Management Journal, 32(2), 364-383. DOI 10.1111/1748-8583.12393

[13] Basch, J. M., & Melchers, K. G. (2019). Fair and Flexible?! Explanations Can Improve Applicant Reactions Toward Asynchronous Video Interviews. Personnel Assessment and Decisions, 5(3). DOI 10.25035/pad.2019.03.002