TEAM PROJECT · 2026.08.20 – 2026.10.27
CallGuard
통화 중인 콜센터 상담원을 실시간으로 돕는 AI 상담 어시스트
통화를 들으며 필요서류를 띄우고, 폭언을 감지해 상담원을 보호하고, 개인정보는 저장하기 전에 가립니다. 하이미디어아카데미 AI 에이전트 개발과정 최종 프로젝트로, 4인 팀 SOLIDBOB 이 8주 동안 만들었습니다.
내가 맡은 파트
AI — 모델을 고르고, 학습시키고, 평가했습니다. 조항 검색 정답률 97.1% · 폭언 감지 89.7%
WHY
왜 이 프로젝트를 골랐나
상담원은 통화하는 동안 세 가지를 동시에 챙겨야 합니다. 세 문제 모두 통화 중에 실시간으로 생기기 때문에, 통화를 함께 듣는 실시간 AI 어시스트가 필요하다고 판단했습니다.
문제 1
찾아볼 자료가 너무 많다
9,600종 · 7만여 건
서류를 빠뜨리거나 잘못 안내하기 쉽습니다.
→ 필요서류 카드
문제 2
폭언에 그대로 노출된다
한 달 평균 약 12회
고객의 폭언과 협박을 상담원 혼자 대응해야 합니다.
→ 폭언 감지 · 보호 알림
문제 3
개인정보가 기록에 남는다
이름 · 전화번호
통화 중에 말한 개인정보가 통화 기록에 그대로 저장됩니다.
→ 저장 전 마스킹
실제 사례
- 국가인권위 실태조사 — 상담노동자는 고객 폭언을 한 달 평균 약 12번 겪습니다.
- 120다산콜이 악성 민원인 접근 제한을 하루에서 7일로 늘리자 폭언 · 협박 민원이 절반 넘게 줄었습니다.
- 권익위는 내지 않아도 되는 서류를 반복해서 요구하는 관행을 고치라고 전국 243개 지방정부에 권고했습니다.
데이터는 공공데이터포털에 공개된 서울시 120 다산콜센터 자료를 썼고, 다른 콜센터도 매뉴얼과 데이터만 바꾸면 적용할 수 있습니다.
이미 있는 AI 상담 도우미와 다른 점
01서류는 규칙표가 정한다
AI 는 조항 찾기까지. 필요서류는 규칙표가 정하고 근거 조항을 함께 보여 줍니다.
02저장 전에 개인정보를 가린다
화면에는 보여도, 기록에 저장하기 전에 마스킹합니다.
03상담원을 지킨다
폭언이 나오면 보호 알림. 통화 종료 · 블랙리스트 등록은 사람이 정합니다.
04측정해서 고른다
모든 모델은 같은 검증 데이터로 측정해서 골랐습니다.
MY PART · AI
AI 파트는 제가 만들었습니다
필요서류 카드 · 폭언 감지 · 개인정보 마스킹 · 상담 요약 뒤에서 도는 모델을 고르고, 학습시키고, 평가했습니다. 모든 후보를 직접 만든 같은 검증 데이터로 측정해 수치가 오른 모델만 운영에 올렸습니다.
97.1%
조항 검색 정답률
추천 5개 안에 정답 조항 · 질문 102개 · 단어 검색 85.3%
89.7%
폭언 감지율
직접 학습한 KcELECTRA · 욕설 사전 18.8%
442 → 9
폭언 오탐 줄임
실제 상담 발화 10,223건 기준 · 상담 말투를 더해 재학습
295개
검증 데이터 직접 제작
모든 후보를 같은 데이터로 3번 측정 · 최저값으로 비교
제가 한 일
- 1다산콜센터 공개 데이터 수집 · 전처리 — 상담 매뉴얼 99개 조항, 상담 음성 · 통화 6,614건
- 2매뉴얼을 101개 청크로 나눠 KoE5 로 임베딩하고, Elasticsearch 에 단어 색인과 함께 저장(하이브리드 검색)
- 3검증 데이터 295개를 직접 만들고, 실제 상담 발화 · 공개 데이터로 한 번 더 재측정
- 4폭언 모델 학습 — 「네 알겠습니다」까지 욕으로 잡던 문제를 상담 발화로 재학습해 해결, 10월 15일 운영 적용
배운 점 — 측정해 보지 않으면 좋아졌다고 말할 수 없다.
모델 다섯 가지 — 같은 기준으로 비교해 골랐습니다
음성 인식
Google STT — 말하는 도중에 글자를 보내 줌
Whisper 는 더 정확했지만(틀린 단어 13.7% vs 35.8%) 실시간 전송이 없음
조항 검색
KoE5 + 단어 검색 — 추천 5개 안 정답 97.1%
단어 검색만 85.3% · 리랭커는 2.4초가 걸려 실시간에서 뺌
개인정보 마스킹
규칙 + KLUE 기반 NER — 놓친 개인정보 0건(음성 인식 오류를 섞은 문장 34건)
규칙만 6건 · 이전 NER 2건(학습 데이터 상업 이용 불가)
폭언 감지
사전 + KcELECTRA 학습 — 공개 욕설 데이터 89.7% 감지
욕설 사전 18.8% · TF-IDF 분류기 62.6%
상담 요약
kanana 2.1B — 꼭 담을 내용 71.7% · 지어낸 숫자 0건
EXAONE 4.0 66.7%(상업 이용 불가)
SLIDES
파트별 발표자료
2026년 10월 27일 아카데미 최종 발표 자료입니다. 보고 싶은 파트를 골라 한 장씩 넘겨 보세요. 처음엔 제가 발표한 AI 파트가 열립니다.
내가 만들고 발표한 파트AI · 1 / 20
발표 대본 · 류준
안녕하세요, AI 파트를 맡은 류준입니다.
저는 AI 모델을 고르고, 학습시키고, 평가하는 일을 맡았습니다.
전체를 한 번에 보려면 PDF(56장 · 11MB) 새 탭에서 열림를 여세요.
TEAM
SOLIDBOB · 4명 · 8주
네 파트를 한 명씩 맡아 동시에 개발했습니다. 코드는 PR 로만 합치고, 필수 검사 8가지를 통과해야 운영에 자동 배포되게 했습니다.
프론트엔드
팀원
상담원 · 관리자 · 소개 화면 3종, 실시간 자막 · 서류 체크리스트
백엔드
팀원
허브-스포크 서버 구조, 개인정보 마스킹 · 판정, 블랙리스트 승인 API
AI
류준나
모델 5종 비교 · 선택, 폭언 모델 학습 · 운영 적용, 검증 데이터 295개 제작
인프라
팀원
AWS · k3s 운영 서버, 자동 배포 · 필수 검사 8종, 보안 · 모니터링