AI 테스팅 전문 그렙(대표 임성수)은 온라인 시험 감독 솔루션 '모니토'에 에이전트 시스템을 도입, 정확도를 향상했다고 31일 밝혔다.

AI 시험감독 모니토는 ▲시선 추적 ▲얼굴 인증 ▲화면 복제 및 듀얼 모니터 사용 방지 등 AI 기반 부정행위 방지 기술과 ▲웹캠과 모바일, 화면 공유를 통한 3채널 실시간 모니터링 기능을 갖춘 온라인 시험 감독 솔루션이다. 오프라인 대비 최대 40% 수준의 운영 비용 절감 효과를 입증한 바 있다.

하지만, 기존에는 ‘손이 화면 밖으로 나갔다’와 같은 단순한 동작 감지에 의존해야 했기 때문에, 부정행위 감지 정확도에 한계가 있었다고 설명했다. 이에 전후 맥락을 분석할 수 있는 LLM 에이전트를 도입했다. 단일 행동으로 부정행위 여부를 파악하지 않고 전후 상황을 동시 분석해 필터링하는 기능을 탑재한 것이다. 

주요 기능은 ▲AI 감지 결과에 맥락 정보를 더해 의심 행동의 배경을 설명하는 상황 요약 ▲위험도 높은 응시자부터 정렬·확인할 수 있는 부정행위 스코어 ▲의심 정황 확인 즉시 해당 시점 영상으로 이동하는 빠른 판별 지원 등 3가지다.

특히, 에이전트 도입을 통해 부정행위 의심 정황과 맥락을 서술형 리포트로 요약·보고할 수 있게 됐다고 전했다. 인간 감독관은 영상을 실시간으로 전수 모니터링하는 부담에서 벗어나 AI가 선별한 의심 정황을 검토·승인하기만 하면 된다. 

내부 테스트 결과, 전체 영상 녹화본을 전수 조사하던 방식에 비해 사후 검토 시간을 약 30% 이상 단축할 수 있게 됐다고 전했다. 

더불어, 새롭게 추가된 ‘AI 에이전트 패널’이 감독 화면 우측에 배치돼 분석 결과를 실시간으로 전달해 준다. 기존 시스템이 손이 화면 밖으로 이동했다는 물리적 이벤트 발생만을 알렸다면, 새로운 AI 에이전트는 '응시자가 시험 중 반복적으로 시선을 이탈하며 특정 방향을 응시했다'라거나 '대리 응시 가능성 및 보조 모니터 참조가 의심된다'라는 식으로 행동 패턴을 분석해 보고한다.

이 기능도 내부 테스트 결과, 오탐 알림이 기존보다 20% 가까이 줄어들었다.

시험이 끝난 뒤에는 의심 정황 발생 시점의 영상 기록을 투명하게 보관하고 지원하는 등 원인을 정확히 설명하고 있다고 덧붙였다. 

그렙은 AI가 부정행위를 최종 판정하는 주체는 아니라고 강조했다. 의심 정황을 선별해 보고하는 보조 역할에 그치며, 최종 판단은 반드시 인간 감독관이 내리는 인간 참여형(Human-in-the-loop) 구조를 취하고 있다고 밝혔다. 

AI가 오탐하더라도, 선의의 응시자에게 불이익이 가지 않도록 설계했다고 덧붙였다. 이는 모니토를 처음 개발할 때부터 유지해 온 원칙이다. 

한편, AI 모델 학습을 위한 데이터 수집과 활용은 개인정보 보호법 및 관련 규정을 엄격히 준수해 진행된다고 강조했다. 학습에 활용하는 모든 영상 데이터는 응시자 얼굴을 비롯한 민감한 개인정보를 식별할 수 없도록 비식별화 처리를 거친다.

앞으로는 영상·오디오·환경 로그 데이터를 통합 처리하는 '멀티모달 AI 감독' 기술 고도화에 초점을 맞출 예정이다. 일부는 이미 적용됐지만, 마우스 이동 궤적이나 키보드 타이핑 패턴 등 다양한 행동 로그 데이터까지 에이전트가 복합 분석하는 단계로 진화한다는 계획이다.

임성수 그렙 대표는 "시험 감독에서 가장 어려운 것은 특정 행동이 실제 부정행위인지 판단하는 일"이라며 "AI가 행동의 맥락을 설명하고 객관적인 근거를 제시해 주면 감독관은 훨씬 더 빠르고 정확하게 최종 결정을 내릴 수 있다”라고 말했다.

장세민 기자 semim99@aitimes.com

출처 : AI타임스(https://www.aitimes.com)