기존 채점 방식의 네 가지 문제

그동안 우리가 감내해 왔던 것들

그래서 이렇게 해결했다

사내 기술 면접 필기의 출제·응시·채점 전 과정을 하나의 서비스에서

의미 기반 채점 + 답안 시각화

• 의미 기반 채점저장된 평가 기준으로 모범답안과 똑같지 않아도 핵심 개념이 맞으면 정답 인정 (단순 키워드 매칭 X)
• 색상 마커답안의 정오 구간을 초록/빨강/주황으로 자동 태깅 → 관리자가 답안을 훑기만 해도 채점 근거가 보인다
• 관리자 첨삭자동 채점 결과를 검토·수정, 마커 툴바로 구간 직접 지정
• 재채점채점 기준 수정 후 개별 / 전체 답안 재채점

채점 상세 · 색상 마커 (초록/주황/빨강)

주제·난이도만 주면 문제와 채점 기준까지

• 자동 생성주제·난이도 입력 → 문제 본문 + 채점 기준 + 배점 자동 생성
• 멀티턴 대화"난이도 높여줘", "SQL 문제로 바꿔줘" 식으로 맥락을 유지하면서 반복 수정
• 배경시험 문제의 추가·변경을 쉽게 할 수 있도록

AI 출제 도우미 · 멀티턴 대화

운영자가 실시간 모니터링 가능

실시간 모니터링 · 채점 대시보드

① 실시간 모니터링

② 채점 대시보드

본질은 그대로, 비중만 달라졌다

AI 채점 근거의 색상 마커

사용자(면접관·채점자)를 고려해서 설계한 것

의미 기반 채점은 블랙박스가 되기 쉽다.
점수와 총평만 돌려주면, 사용자는 LLM의 판단을 역추적해야 한다. 그래서 처음부터 채점 결과를 쉽게 알아볼 수 있는가를 요구사항에 포함시켰다.

01

색상 마커로 채점 근거를 시각화

정답 ■ / 오답 ■ / 부분정답 ■ 을 답안 위에 직접 태깅 — 훑기만 해도 근거가 보인다.

02

판단이 다르면 직접 수정 가능

마커 툴바로 구간을 직접 지정해 첨삭. LLM의 판단을 그대로 받아들이지 않아도 된다.

03

기준을 고치면 다시 채점

채점 기준이 바뀌면 개별/전체 답안을 재채점. 운영 중에도 기준을 개선할 수 있다.

채점 상세 · 색상 마커

그룹 문제의 공통 지문

처음 만들었을 때 — 지문이 하위 문제마다 따라오지 않았다

공통 지문 (Q13)

사원·직급·부서 세 테이블 아래, Q13-1 ~ Q13-4가 달린 SQL 문제.

Before · 단순 요구

"한 페이지에 한 문제"로 요구 → Q13-2, Q13-3, Q13-4에는 공통 지문이 없다.

쿼리를 짜려면 매번 Q13-1로 돌아가 테이블 구조를 확인해야 한다.

사용자 관점으로 재설계

그룹 문제일 때는 공통 지문을 모든 하위 문제와 함께

After · 사용자 관점

공통 지문이 하위 문제와 같은 화면에 함께 떠 있다.

수험자는 문제 풀이에만 집중할 수 있다. 테이블 구조를 확인하려고 이전 문제로 돌아갈 필요가 없다.

What it means

"이 기능을 누가, 어떤 상황에서, 어떻게 쓰는가"를 생각한다. 이게 개발자가 집중해야 할 본질이다.

재설계본 · Q13-3 화면 (공통 지문 + 하위 문제)

6개 에이전트가 협업하는 파이프라인

역할별로 쪼개고, 각자 독립된 컨텍스트에서 일한다

에이전트, 굳이 쪼개야 할까?

방금 본 파이프라인, 솔직히 이런 생각 들지 않으셨나요

에이전트 분리 — 자기 편향 방지

에이전트 분리 — 컨텍스트 보호

"Context Rot" — Anthropic이 공식적으로 인정한 현상

단일 세션에 정보를 계속 쌓으면 — 관련 없는 맥락이 누적되면서 — 모델의 판단력·집중력이 저하되는 현상.

그래서 agent-dev 파이프라인을 이렇게 쪼갠 것이다 — BE/FE는 기획서만 보고 병렬 작업하고, 리뷰어는 구현 과정을 모른 채 결과 코드만 본다.

각자 깨끗한 컨텍스트에서 자기 몫만 — 그래서 더 잘한다.

"Effective context engineering for AI agents" · Anthropic, 2025.09

Anthropic 블로그 · 컨텍스트 엔지니어링

자료 조사 및 문서화 에이전트

이슈 발생 → 자료 조사 → 타당성 검증 → Notion 문서화, 전 과정을 자동화

Cowork는 뭐가 다른가

이메일 보안 뉴스 수집·공유 자동화

매번 사람이 '검색 → 선별 → 정리 → 공유'를 반복해야 했던 것을

Java 예외 분석 자동화

예외 로그 → 로컬 레포 탐색 → 근본 원인 추적 → Notion 보고서 발행

왜 Cowork 환경인가

로컬 파일 접근이 필요

사내 GitLab에 직접 접근하지 않고 로컬 clone된 레포를 탐색

이미지 로그 첨부

로그 반출이 어려운 고객사 특성상, 이미지로 된 로그를 편리하게 첨부

개발자 PC에서 실행

현장 개발자의 환경과 동기화된 상태에서 분석 → Cowork

현재 활용

SECaaS 기반으로 분석한
내용을 공유하고 있다.

Notion · Java 예외 분석 보고서

에이전트, 만드는 것도 쉽다

지금까지 본 에이전트들 — 프롬프트 한 줄로 만들었다

코드가 아니라
자연어로
에이전트를 정의한다.

"이게 전부입니다."

Claude Cowork · 에이전트 생성 대화