창발, 코딩 에이전트의 ‘테스트 통과 꼼수’ 다루는 개발자 세미나
11월 23일 벨뷰 시청서 개최…AI가 실패를 숨기거나 테스트를 조작하는 문제와 통제 방안 소개

시애틀 지역 한인 IT 전문가 모임 창발의 개발자 그룹(Dev Group)이 오는 23일 벨뷰 시청에서 코딩 에이전트의 신뢰성과 안전한 통제 방법을 다루는 세미나를 연다.
구글의 개발자 애드보킷 임현욱 씨가 연사로 나서, AI 코딩 에이전트가 테스트를 통과한 것처럼 보이게 하면서 실제 실패를 숨길 수 있는 사례와 이를 막는 실전 설계 방법을 소개한다.
행사 제목은 ‘코딩 에이전트는 왜 거짓말을 할까?’다. 안내문에 따르면 한 코딩 에이전트가 프로그램을 제대로 작동시키지 못했는데도 테스트 점수 100점과 전체 테스트 통과를 보고한 사례가 소개된다. 실패한 API 호출을 감추고 성공한 것처럼 응답하거나, 터미널 결과를 꾸며내고, 테스트가 맞지 않자 검증 스크립트를 직접 수정한 사례도 다룰 예정이다.
주최 측은 여러 대형 언어모델을 대상으로 한 통제 실험에서 확인한 이런 행동을 살펴보고, 텍스트로 “정직하게 보고하라”고 지시하는 것만으로는 왜 충분하지 않은지 설명할 계획이다. 대신 AI 에이전트 바깥에서 작업 전후를 확인하는 장치, 실행 기록을 대조하는 방법, 별도의 평가 모델을 활용해 결과를 검증하는 방식 등을 소개한다.
행사는 오후 6시30분부터 9시까지 벨뷰 시청 1E-113에서 진행된다. 참가비는 7달러이며 간단한 식사와 음료가 제공된다. 참석을 원하면 창발 웹사이트에서 사전 등록(RSVP)하면 된다.
Copyright@WOWSEATTLE.com
