김대균 Kim Daegyun

교사가 교과서 PDF에서 원하는 페이지와 영역만 지정하면, AI가 그 내용으로 퀴즈·게임·시험지·워크북·PPT를 만들고 웹에서 편집·내보내기까지 할 수 있는 교사용 AI Agent입니다. 2026년 9월 YBM 교사 지원 플랫폼 'Y클라우드'에 공급되었습니다.

맡은 일 개발 4인 중 화면 설계·프로토타입, 영어 모듈 8종, 백엔드(수학 제외). 7월 이후 고도화·배포는 단독으로 진행했습니다.

• LLM-as-a-Judge 가드레일생성 모델(Gemini)과 다른 계열(OpenAI)이 0~3점 다축으로 내용을 심사하고, 교육과정 어휘·문법 범위 검사와 병렬로 실행합니다. 미달 항목만 다시 생성해 학년에 맞지 않는 결과가 교사 화면에 그대로 노출되지 않게 했습니다.
• 2단 콘텐츠 필터저장 시점에 사전으로 1차 탐지하고 의심 구간만 LLM이 최종 판정합니다(욕설·혐오·정치 편향). 깨끗한 문서는 API 호출 없이 통과하고, 모든 산출물에 AI 생성물 고지를 붙였습니다.
• 서버 접근 통제협업 중인 백엔드 개발자·퍼블리셔의 접속 IP만 EC2 보안그룹 인바운드 규칙으로 허용하고 그 외 접근은 막아, 개발 단계부터 서버가 불필요하게 외부에 노출되지 않게 했습니다.
• 영어 모듈 8종 × 4개 학교급PPT·학습카드·퀴즈·미니게임·독해·듣기·말하기·쓰기를 초등 저·고학년, 중, 고 학교급별로 구현하고 웹 편집·QR 학생 공유·PDF/HWPX/PPTX 내보내기까지 완결했습니다. (Python 약 3.2만 줄, API 47개)
• 호출 비용과 배포교재 단위 이미지 추출 공유 캐시로 사용자별 재추출·재과금을 없애고 Gemini 컨텍스트 캐싱을 적용했습니다. 듣기 음원은 Gemini TTS로 한 번 합성해 내용 해시로 캐시하고, LibreOffice가 포함된 Docker 이미지와 오류·이용 로그 체계로 v1.0을 배포했습니다.
• 화면 설계와 프로토타입3패널(자료·채팅·모듈) 화면과 PDF 영역 선택 박스를 설계하고, 백엔드 연결 전 mock API 프로토타입으로 사용 흐름을 먼저 검증했습니다. 영역 선택 기반 생성은 공급 보도에서 이 Agent의 가장 큰 특징으로 소개되었습니다.

단어 점수만으로는 어떤 소리를 고쳐야 하는지 알려 주기 어렵습니다. 음소별 점수와 교정 피드백을 돌려주는 모델을 만들고, 데이터 설계부터 학습·평가·서빙까지 맡았습니다.

맡은 일 음소 라벨·데이터 설계, LoRA 학습·평가, 전처리·채점 알고리즘, ONNX 서빙·배포

• 출력 공간 설계초·중·종성 위치와 7종성 중화를 반영해 49토큰으로 구성하고, 구분되지 않는 발음을 별도 클래스로 학습하지 않게 했습니다.
• 데이터 사이클유음화·연쇄 발음 같은 취약 패턴과 정상 발음을 섞은 Phase A~F 학습 사이클을 만들고(Phase E 기준 382,356발화, 약 785시간), Wav2Vec 2.0에 LoRA로 학습했습니다.
• 체크포인트 371개 전수 평가마지막 체크포인트를 그대로 쓰지 않고, 카테고리별 오류를 비교해 검증 결과가 가장 좋은 모델을 골랐습니다.
• 원인 진단과 채점종성 점수가 낮은 원인이 오디오 Energy Trim의 받침 절단임을 찾아 패딩 임계값을 조정했습니다(종성 +3.3점). 자모 규칙 엔진과 DP 백트래킹 정렬로 다른 단어 발화 차단과 부분 점수를 분리했습니다.
• ONNX 서빙긴 오디오에서 추론 결과가 달라지는 변환 문제를 고치고, 변환 직후 가변 길이 회귀 검증을 자동화했습니다. GPU 유무에 맞춰 동작하는 Docker 컨테이너로 3개 제품 라인에 단일 API를 제공합니다.

교사가 교과서 PDF를 단원별로 자르고 직접 올리던 일을, 엑셀·PDF 업로드만으로 단원별 PDF·글자 좌표·그림·쪽번호를 만드는 비동기 파이프라인으로 자동화했습니다.

맡은 일 요구사항·DB 스키마 협의, 백엔드·처리 파이프라인·화면, 배포·운영

• AI는 필요한 단계에만텍스트 규칙으로 먼저 판단하고 남은 경우에만 Gemini를 호출합니다. JSON 스키마·값 범위를 검사하고, AI가 실패했을 때의 동작(쪽번호 기본값 유지, 방향 보정 생략, 단원 범위 수동 확정)을 미리 정했습니다.
• 중복 처리 제거단원이 전체본의 어느 구간인지 찾아 결과 행과 S3 객체를 공유했습니다. 실제 가공량은 15,193쪽에서 8,476쪽(−44.2%)으로, 페이지 이미지 저장량은 2.53GB에서 1.40GB로 줄었고, 전체본 49권의 운영 평균은 1.92초/쪽입니다.
• 운영 데이터 누락 복구운영 중 발견한 OCR 데이터 누락의 원인(Celery 재시도 인자 충돌)을 고치고, 회귀 테스트와 소급 복구 도구로 이미 비어 있던 데이터까지 복구했습니다. 단원 파일 373개를 자동 생성했고 추출 실패는 0건입니다(2026.09.27 운영 DB 기준).
• 평가 루브릭 코드화기획자가 Excel로 관리하던 평가 루브릭을 정형 Markdown을 거쳐 Python 평가 로직으로 자동 변환해, 비개발 직군과의 협업 병목을 줄였습니다. 연동 과정에서는 협업 중인 백엔드 개발자·퍼블리셔의 IP만 EC2 보안그룹 인바운드 규칙으로 허용했습니다.

15,193쪽은 산출 데이터량이며, 개선 전 전체 처리시간과 비교한 값은 아닙니다.

사내 문서를 외부 API로 보내지 않도록, 문서 처리·검색·LLM·음성 입출력을 모두 사내 GPU 서버 한 대 안에서 처리하는 PDF 대화형 E-Book을 혼자 만들었습니다.

맡은 일 기획, Next.js 화면, FastAPI, PDF 처리, 로컬 LLM·검색·음성, 배포

• 로컬 모델 구성Gemma-4-31B, BGE-M3·ChromaDB 다국어 검색, faster-whisper 전사와 MeloTTS 합성을 GPU Passthrough Docker로 한 서버에 올렸습니다.
• 긴 작업 분리PDF 업로드가 5~10분간 HTTP 연결을 붙잡던 구조를, 접수 즉시 응답하고 백그라운드 처리·진행률 조회로 바꿨습니다.
• 공유 모델 동시성업로드·채팅·서식화 요청이 한 모델에 동시에 들어가며 생기던 KV 캐시 손상을 generate 호출 잠금(직렬화)으로 막고, 섹션 본문은 첫 열람 때 생성해 캐시합니다.
• 출력 제어목차 출력을 JSON으로 제한하고 파싱 실패에 3단 폴백을 두었습니다.

상담원 발화를 실시간으로 인식해 불완전판매 위험 발화 후보를 관리자에게 알리는 시스템에서, 음성인식(STT)과 LLM을 GPU 한 장에 함께 올릴 때 양자화 조합이 메모리·품질·지연을 어떻게 바꾸는지 측정합니다.

• 단일 GPU 공동 적재추론은 RTX A6000 한 장에 STT와 LLM을 함께 올리고, KV 캐시 2GiB·문맥 4,096토큰·eager 실행을 고정한 채 9개 정밀도 조합을 조건마다 새 프로세스로 3회씩 측정합니다.
• 측정 하네스입력 송신·발화 검출·대기·추론·응답 시각을 같은 호스트의 단조 시계로 기록하고, 공동 양자화 실험에서는 GPU 메모리를 목표 20ms 간격으로 수집합니다. 기동 실패·메모리 부족·출력 실패도 분모에서 빼지 않습니다.
• 실시간 부하 시험서버 응답을 기다리지 않는 개방 루프로 음성을 보내 동시 상담 1·2·4개와 STT 배치 1·2·4를 비교합니다. 별도의 장시간 시험은 STT를 BF16·배치 1로 고정하고 LLM BF16·W8A8에서 45분 반복과 2시간 연속 실행을 합쳐 누적 목표 17.5시간 동안 P95·P99 지연, 대기열, 누락을 기록합니다.
• 출력 형식 검사LLM은 위험 상태·범주·근거 구절을 JSON으로 내고, 형식·키·값과 근거 문자열이 입력에 실제로 있는지 검사합니다. 1차 규칙 선별은 호출 절감과 누락 위험을 함께 평가합니다.
• 학습과 재현성STT LoRA는 A6000 두 장에서 전화·상담 녹음 120.07시간(72,664발화)으로 학습합니다. 자료·코드·설정·출력 해시와 모델·정밀도·캐시·배치 설정을 기록해 결과를 검산할 수 있게 했습니다.

연구 설계와 실험 인프라만 정리했습니다. 위험 라벨은 생성형 모델로 만든 참조이며, 실제 상담에서의 판단 정확도를 주장하지 않습니다.