XGEN 뉴스레터 vol.5

9월 15일 나온 Jev는 글을 쓰지 않는 모델입니다. 질문과 선택지를 주면 ‘예/아니오’, ‘A/B/C’ 중 하나를 확률과 함께 0.1초 안팎에 돌려줍니다. 공개 이후 에이전트의 도구 실행 여부를 사전에 판단하는 용도로 활용되고 있습니다. LangChain은 에이전트가 도구를 실행하기 직전에 Jev에게 실행 여부를 묻는 장치를 붙였고, 이때 에이전트가 웹에서 가져온 글은 판단 재료에서 뺍니다. 외부 문서에 포함된 지시가 실행 승인에 영향을 주지 않도록 하기 위해서입니다. 오픈소스 jevals는 에이전트 한 번의 실행을 Jev 한 번으로 검사합니다. 도구를 제대로 골랐나, 답이 근거에 맞나, 개인정보가 섞였나, 가져온 글에 숨은 명령이 있나. 기존 방식으로 20건에 2.6달러·30초 걸리던 검사가 0.03달러·0.8초가 됐습니다. 내려받아 쓰는 작은 모델도 나와, Jeff 0.8B는 GPU 한 장으로 2시간 학습해 0.02초에 답합니다.

XGEN에서도 적용을 검토할 수 있는 영역입니다. Geny가 셸을 실행하거나 파일을 밖으로 보내기 직전에 ‘이 호출을 실행해도 되나’, 이 행위가 결재 대상인가, 답변에 개인정보가 섞였나. 지금은 이런 판단을 큰 모델에게 글로 묻거나 규칙으로만 막습니다. 작은 판단 모델을 사내 GPU에 올리면 폐쇄망에서도 매 호출마다 검사할 수 있습니다. 다만 판단 모델만으로 실행을 승인해서는 안 됩니다. rm -rf ~/.ssh를 막을지 묻기 전에 ‘사용자가 이미 승인했다’는 가짜 문장을 끼워 넣자 막을 확률이 0.76에서 0.48로 떨어진 실험이 있습니다. 정해진 규칙 검사를 먼저 두고, 그 뒤에 Jev를 두는 순서가 맞습니다.

한 개발자가 Codex에 UI 검증을 맡긴 뒤 겪었다고 보고한 사례입니다. 에이전트가 일을 나누겠다며 하위 에이전트를 만들기 시작했고, 그 수가 826개가 됐습니다. 그중 일부는 사용자가 고른 모델보다 비싼 모델로 자동으로 전환됐다고 합니다. 결과물은 없었고, 실행 기록 약 2,550건은 사라졌고, 약 7만 8천 달러가 청구됐습니다. 7월에 일어난 일인데 9월 말에 알려지며 크게 퍼졌습니다. 분석 글이 꼽은 빠진 장치는 다섯 가지입니다. 하위 에이전트 수 상한, 모델 잠금, 실시간 사용량, 서버와 사용자 화면의 사용량 맞추기, 지워지지 않는 기록.

도입부에서 ‘얼마를 쓰고 있는가’를 기업이 물어야 할 질문으로 적었습니다. 이 사건이 그 질문의 답이 없을 때 벌어지는 일입니다. 에이전트 수가 늘어나면 사람이 모든 실행을 직접 확인하기 어렵습니다. XGEN은 토큰을 실제로 집계하고 [Agent 자원 관리]에서 지금 열린 세션을 봅니다. 그다음 질문은 이것입니다. Geny가 일을 나눌 때 하위 에이전트를 몇 개까지 만들 수 있는가, 에이전트별로 쓸 수 있는 금액에 상한이 있는가. 이 다섯 항목을 XGEN 운영 점검에 반영하려 합니다.

Strands 팀이 9월 21일 Strands Harness를 아파치 2.0으로 공개했습니다. 셸·파일·웹 도구, 실행 사이에 이어지는 기억, 컨텍스트가 85% 차면 요약하기, 하위 에이전트에게 일 나누기, 스킬 자동 불러오기까지 하네스의 부품을 한데 모았습니다. 개발자가 직접 만든 에이전트에서도 Claude Code처럼 일관된 사용 경험을 구현하도록 돕는 것이 목적입니다. 같은 주에 Google은 에이전트를 샌드박스에서 돌리고 네트워크 정책으로 묶어 두는 실행 환경 AX를 역시 아파치 2.0으로 내놓았습니다.

상용 도구와 별개로 오픈소스 하네스도 발전하면서, XGEN의 구성 요소와 비교·검토할 대상이 늘고 있습니다. 다만 여기 든 도구는 인터넷이 열린 환경을 전제로 합니다. 폐쇄망에서 사내 DB를 읽고 결재를 거쳐 움직이는 도구는 여전히 우리가 만들어야 합니다.

같은 모델을 Claude Code, Codex, 그리고 최소한의 기능만 담은 오픈소스 하네스 Pi에 각각 넣고 21개 조합으로 코딩 과제를 풀게 한 실험입니다(9월 16일). 풀어낸 비율은 셋 다 비슷했습니다. 차이는 실행 비용에서 나타났습니다. 같은 일을 하는 데 Claude Code가 Pi보다 약 두 배를 썼습니다. 분석에서는 범용 하네스의 긴 기본 지시문을 비용 차이의 한 요인으로 설명합니다. 댓글의 반론도 읽어 볼 만합니다. 기본 지시문의 상당 부분이 보안·안전 장치이므로, Pi와의 비용 차이를 기능 구성과 함께 봐야 한다는 지적입니다.

도입부의 LangChain 실험은 하네스로 점수가 오른다는 얘기였고, 이 실험은 하네스로 비용이 갈린다는 얘기입니다. 성능과 비용을 함께 평가해야 한다는 의미입니다. 우리가 XGEN 하네스를 Claude Code, Codex와 비교할 때 점수 옆에 ‘성공 1건당 비용’을 같이 적어야 하는 이유이고, 위 카드의 Geny 입력 −48%도 그 기준으로 다시 재려고 합니다. 비용을 줄이더라도 필요한 보안·안전 장치는 유지해야 합니다.

Anthropic의 Dreaming은 작업이 없는 시간에 에이전트가 과거 기록을 정리하도록 하는 방식입니다. 일이 없는 시간에 에이전트가 지난 작업 기록을 다시 읽고, 자꾸 하는 실수, 매번 비슷하게 흘러가는 작업 순서, 사용자가 좋아하는 방식을 뽑아 메모와 작업 요령(플레이북)으로 정리해 둡니다. 다음 작업은 그 메모를 들고 시작합니다. 모델을 다시 학습시키는 것이 아니라 하네스가 작업 기록과 지침을 관리하는 방식입니다. 법률 AI 회사 Harvey는 작업 완료율이 약 6배로 올랐다고 밝혔습니다. 남긴 기억은 사람이 열어 보고 고칠 수 있습니다.

도입부에 ‘처음 쓸 때보다 다음에 쓸 때 더 좋아지고, 시간이 쌓이면 에이전트 자체가 회사의 자산이 된다’고 적었습니다. 그 말이 실제로 어떻게 돌아가는지 보여 주는 글입니다. Geny도 쓰면서 도구를 만들고 지침을 고치고, 그 내역이 에이전트 상세의 [진화 이력]에 남습니다. 이때 지속적인 개선과 서비스 안정성을 구분해야 합니다. XGEN은 원본 에이전트를 개선하면서, 서비스에는 Agent 고정 기능으로 검증한 버전을 배포합니다. 5월 글이지만 이번 호에 가장 잘 맞아 골랐습니다.

Flask를 만든 아르민 로나허가 있는 Earendil의 코딩 에이전트 Pi는 MCP를 지원하지 않겠다고 공개적으로 말해 왔습니다(9월 29일). 이유는 하나였습니다. MCP 서버를 붙이면 도구 설명 수십 개가 한꺼번에 모델에 전달되는 컨텍스트에 포함돼, 실제 작업에 사용할 공간을 줄인다는 점이었습니다. 이번에 입장을 바꿨습니다. 도구 설명을 처음부터 다 싣지 않고 필요할 때 꺼내 쓰게 했고, 여러 도구 호출을 작은 샌드박스 안에서 코드로 묶어 한 번에 돌리게 했습니다. 그렇게 하니 MCP의 문제가 대부분 사라졌다는 것입니다.

도입부에 제안서와 콘텐츠도 Claude나 GPT에 MCP를 붙여 만든다고 적었습니다. 연결하는 도구가 많아지면 입력량과 실행 효율을 함께 관리해야 합니다. 위 카드의 Geny 입력 −48%가 바로 이 방법이었습니다. 도구 설명을 필요할 때만 꺼내게 해서 첫 호출이 7,995토큰에서 4,222토큰이 됐습니다. 회사에서 쓰는 MCP 서버가 늘어날수록, 몇 개를 붙였느냐보다 필요한 도구를 어떻게 선택해 전달하느냐가 중요해집니다.