Agents that actually work.
운영급 Agent는 프롬프트 · 컨텍스트 · 모델 · Eval의 4중 인지 자산 위에 선다. 6-Layer Meta Model로 좌표를 찍고, 14-Track으로 분류하고, HITL로 자율성을 통제한다 — “데모는 되는데 운영은 안 되는” 함정을 구조적으로 차단하는 프레임워크.
The 6-Layer stack.
IT 공학은 실무(L0)에서 전략(L5)까지 6계층이다. 아래에서 위로 올라갈수록 “어떻게”에서 “왜”로, 코드에서 의사결정으로 이동한다. AI Agent에서 가장 흔한 사고는 L0의 도구 선택을 L2의 프레임워크 결정으로 착각하는 일.
Four shifts SI engineers must absorb.
SI 본능으로 AI Agent를 짜면 구조적으로 실패한다. 이 네 가지 패러다임 전환을 받아들이지 못하면 어떤 도구를 써도 같은 함정에 다시 빠진다.
동일 입력에 분포 출력. pass/fail이 아닌 통계적 평가. 검증은 “충분히 좋은 분포인가”의 판단으로 이동.
함수 시그니처에 자연어 설명문이 1급 시민으로. LLM이 인터페이스의 첫 독자다.
모델은 6개월 주기 교체, 프롬프트는 매주 튜닝, RAG 코퍼스는 매일 갱신, 컨텍스트는 매 요청 재조립.
객체 보호에서 행위 거버넌스로. 통제 대상이 시스템 객체에서 Agent 행위로 이동한다.
14 tracks on 4 layers.
기존 SI는 12-Track으로 충분했다. AI Agent는 Context Engineering과 Autonomy Governance라는 두 메타 트랙이 추가된다. 14개 트랙은 Foundation → Build → Run → Meta 4계층으로 묶인다.
Foundation
정의 · 설계 — 시스템이 무엇을 어떻게 다루는지 결정
Build
구축 — 설계를 물리적 시스템으로 구현
Run
운영 · 통제 — 가동 중 시스템을 통제
Meta
가로지름 — 다른 모든 트랙을 가로지르는 메타 계층
The four assets every Agent runs on.
클래스도 함수도 아닌, 네 가지 인지 자산이 Agent의 동작을 결정한다. 각 자산은 고유한 라이프사이클·버전관리·평가 체계를 갖는다.
Prompt
문서·코드·정책의 경계가 붕괴한 첫 자산. System / Policy / Domain / Task 4계층. Prompt as Code 5계명 — Versioning · Review · Eval · Rollback · Audit.
Context
시스템 성능을 결정하는 단일 최대 레버. Retrieved Knowledge · Memory · Conversation State · Tool Output · System Context 5대 구성요소를 매 요청마다 동적 조립.
Model
인프라 자산이 아니라 인지 엔진. 4차원 측정 — Capability · Cost · Latency · Behavior Profile. Closed vs Open 거버넌스, Capability Drift가 가장 위험.
Eval Dataset
품질의 정의 그 자체. 5종 분류 — Golden · Regression · Adversarial · Sampling · Human Preference. 4차원 측정 — Correctness · Relevance · Safety · Cost·Latency.
Five principles under fire.
현장에서 6주 안에 흔들리지 않을 다섯 가지 운영 헌법. 도구가 바뀌어도 살아남는, 1인 풀스택부터 팀까지 공통 적용되는 원칙.
좌표를 먼저 찍는다
코드 한 줄을 짜기 전에 이 작업이 14-Track 중 어디에 속하는가를 결정. 좌표가 없는 코드는 짜지 않는다. 좌표가 정해지면 도구가 자동 결정된다.
SI 본능을 잠근다
“일단 클래스부터 짜고 보자”는 SI 본능. AI Agent의 뼈대는 클래스가 아니라 Prompt · Context · Model · Eval이다. 본능이 발동하는 순간 멈춘다.
Eval을 코드보다 먼저 짠다
확률적 시스템은 품질의 정의가 곧 사양이다. Eval Dataset 10건이 코드 100줄보다 먼저다. 이게 없으면 “잘 돌아간다”의 의미가 정해지지 않는다.
자율성은 최소로 시작한다
첫 운영의 자율성은 P3 (Suggest-only)로 시작. 신뢰가 쌓이면 P2 → P1 → P0으로 올린다. 처음부터 자율을 주면 디버깅이 불가능해진다.
Observability를 첫날부터 켠다
Trace · Token · Cost · Latency를 매 실행마다 자동 기록. 출력만 보고 디버깅하는 SI 방식은 작동하지 않는다. 관찰성은 후행 옵션이 아니라 선행 인프라.
The five traps that kill PoCs.
실제 시행착오에서 추출한 금지령. 1인 풀스택이든 5인 팀이든 가장 자주 빠지는 함정 다섯. 이걸 피하면 PoC 완주율이 극적으로 올라간다.
스택을 6주 안에 다시 바꾸지 않는다
“더 좋은 게 나와서”는 변명. 좌표가 흔들리면 결과도 흔들린다. LangGraph로 시작했으면 LangGraph로 끝낸다.
Multi-Agent로 시작하지 않는다
첫 운영은 단일 Agent + 도구 N개. Multi-Agent는 단일을 운영해본 후. “여러 Agent 협력”은 첫 PoC의 가장 흔한 삭제 사유.
RAG를 첫 주에 붙이지 않는다
Vector DB · 임베딩 · 청킹 · 리랭커는 Eval이 통과한 후. Naive Prompt로 통과 못 하는 작업이라면 RAG로도 통과 못 한다.
프롬프트를 코드에 하드코딩하지 않는다
첫날부터 Prompt CMS를 쓴다. 코드에 박은 프롬프트는 자산이 아니라 부채. 버저닝·Eval·Rollback이 안 되면 매직 스트링.
완주 전에 UI를 다듬지 않는다
PoC의 UI는 CLI 또는 Streamlit 최소. UI에 시간 쓰는 순간 본질을 놓친다. UI는 P2 게이트 통과 후에.
From Eval-first to Production in 6 weeks.
Eval Dataset부터 Production Canary까지 — 각 Phase 종료마다 게이트가 잠긴다. 게이트 미통과 시 다음 Phase로 진입하지 않는다. 시간이 아닌 통과 기준이 진행을 결정한다.
Scope & Eval
사양을 데이터로 굳힌다
Eval Dataset이 곧 사양. Golden 10건 + Adversarial 5건으로 “무엇을 통과해야 성공인가”를 고정.
JSONL Eval 자동 평가 가능 + Observability 가동
Naive Baseline
단순함의 통과율을 잰다
RAG·Memory·Multi-Agent 없이 프롬프트와 도구만으로 통과율 측정. 이후 모든 최적화의 비교 기준.
Naive 통과율 N% 기록 + Trace 100% 캡처
Tool & Context
결정적 도구를 붙인다
MCP/Function Calling으로 Tool 계약을 코드로 명문화. 컨텍스트 5대 구성요소를 본격 조립.
Tool 호출 정확도 95%+ · Context 동적 조립 검증
RAG & Memory
지식 자산을 연결한다
pgvector 기반 RAG 도입. Naive 대비 통과율 향상이 측정 가능해야만 채택. 측정 불가하면 롤백.
RAG 채택 ROI 정량 입증 또는 명시적 롤백
HITL & Governance
자율성을 단계적으로 올린다
P3 → P2 자율성 승급. HITL 지점 명시 · Audit Log · Rollback 경로 구축. 거버넌스 게이트 통과 의식화.
P2 승급 + HITL 다이어그램 + 감사 로그
Production
운영 모드로 전환한다
Canary 배포 · 드리프트 모니터링 · 회귀 Eval 자동화. Lessons를 14-Track에 떨어뜨려 다음 사이클 자산화.
Production 가동 + Drift 알람 + 회귀 CI
Build the Agent that survives production.
데모는 어렵지 않다. 6개월 후에도 작동하는 Agent를 만드는 것이 어렵다. 14-Track 좌표 위에 인지 자산을 쌓는 방법, 함께 설계합니다.