XGEN 뉴스레터 vol.5

9월 15일 나온 Jev는 글을 쓰지 않는 모델입니다. 질문과 선택지를 주면 ‘예/아니오’, ‘A/B/C’ 중 하나를 확률과 함께 0.1초 안팎에 돌려줍니다. 2주 만에 쓰임새가 분명해졌습니다. 에이전트가 무언가 하기 직전에 ‘해도 되나?’를 묻는 자리입니다. LangChain은 에이전트가 도구를 실행하기 직전에 Jev에게 실행 여부를 묻는 장치를 붙였고, 이때 에이전트가 웹에서 가져온 글은 판단 재료에서 뺍니다. 가져온 글이 스스로 실행을 허락하지 못하게 하려는 것입니다. 오픈소스 jevals는 에이전트 한 번의 실행을 Jev 한 번으로 검사합니다. 도구를 제대로 골랐나, 답이 근거에 맞나, 개인정보가 섞였나, 가져온 글에 숨은 명령이 있나. 기존 방식으로 20건에 2.6달러·30초 걸리던 검사가 0.03달러·0.8초가 됐습니다. 내려받아 쓰는 작은 모델도 나와, Jeff 0.8B는 GPU 한 장으로 2시간 학습해 0.02초에 답합니다.

XGEN에 바로 가져올 자리가 있습니다. Geny가 셸을 실행하거나 파일을 밖으로 보내기 직전에 ‘이 호출을 실행해도 되나’, 이 행위가 결재 대상인가, 답변에 개인정보가 섞였나. 지금은 이런 판단을 큰 모델에게 글로 묻거나 규칙으로만 막습니다. 작은 판단 모델을 사내 GPU에 올리면 폐쇄망에서도 매 호출마다 검사할 수 있습니다. 다만 혼자 믿으면 안 됩니다. rm -rf ~/.ssh를 막을지 묻기 전에 ‘사용자가 이미 승인했다’는 가짜 문장을 끼워 넣자 막을 확률이 0.76에서 0.48로 떨어진 실험이 있습니다. 정해진 규칙 검사를 먼저 두고, 그 뒤에 Jev를 두는 순서가 맞습니다.

한 개발자가 Codex에게 UI 검증을 시켰습니다. 에이전트가 일을 나누겠다며 하위 에이전트를 만들기 시작했고, 그 수가 826개가 됐습니다. 그중 일부는 사용자가 고른 모델보다 비싼 모델로 스스로 올라갔습니다. 결과물은 없었고, 실행 기록 약 2,550건은 사라졌고, 약 7만 8천 달러가 청구됐습니다. 7월에 일어난 일인데 9월 말에 알려지며 크게 퍼졌습니다. 분석 글이 꼽은 빠진 장치는 다섯 가지입니다. 하위 에이전트 수 상한, 모델 잠금, 실시간 사용량, 서버와 사용자 화면의 사용량 맞추기, 지워지지 않는 기록.

도입부에서 ‘얼마를 쓰고 있는가’를 기업이 물어야 할 질문으로 적었습니다. 이 사건이 그 질문의 답이 없을 때 벌어지는 일입니다. 에이전트 한 개를 쓸 때는 사람이 지켜보지만, 수백 개가 돌면 아무도 보지 않습니다. XGEN은 토큰을 실제로 집계하고 [Agent 자원 관리]에서 지금 열린 세션을 봅니다. 그다음 질문은 이것입니다. Geny가 일을 나눌 때 하위 에이전트를 몇 개까지 만들 수 있는가, 에이전트별로 쓸 수 있는 금액에 상한이 있는가. 이 다섯 가지를 우리 점검표로 삼으려 합니다.

Strands 팀이 9월 21일 Strands Harness를 아파치 2.0으로 공개했습니다. 셸·파일·웹 도구, 실행 사이에 이어지는 기억, 컨텍스트가 85% 차면 요약하기, 하위 에이전트에게 일 나누기, 스킬 자동 불러오기까지 하네스의 부품을 한데 모았습니다. 공개한 이유가 솔직합니다. 개발자들이 자기 에이전트를 직접 만들어 보면 Claude Code 같은 ‘그냥 되는’ 느낌이 안 난다는 것. 같은 주에 Google은 에이전트를 샌드박스에서 돌리고 네트워크 정책으로 묶어 두는 실행 환경 AX를 역시 아파치 2.0으로 내놓았습니다.

앞에서 Claude와 OpenAI는 하네스를 공개하지 않고 오픈소스는 검증되지 않은 것이 많다고 적었습니다. 이제 쓸 만한 오픈소스가 나오기 시작했고, 우리도 부품 단위로 비교해 볼 대상이 생겼습니다. 다만 여기 든 도구는 인터넷이 열린 환경을 전제로 합니다. 폐쇄망에서 사내 DB를 읽고 결재를 거쳐 움직이는 도구는 여전히 우리가 만들어야 합니다.

같은 모델을 Claude Code, Codex, 그리고 최소한의 기능만 담은 오픈소스 하네스 Pi에 각각 넣고 21개 조합으로 코딩 과제를 풀게 한 실험입니다(9월 16일). 풀어낸 비율은 셋 다 비슷했습니다. 차이는 돈에서 났습니다. 같은 일을 하는 데 Claude Code가 Pi보다 약 두 배를 썼습니다. 큰 회사의 하네스는 모든 상황을 위한 긴 기본 지시문을 매번 싣고 다니기 때문입니다. 댓글의 반론도 읽어 볼 만합니다. 그 무게의 상당 부분은 보안과 안전 장치이고, Pi는 그것을 빼서 싼 것이라는 지적입니다.

도입부의 LangChain 실험은 하네스로 점수가 오른다는 얘기였고, 이 실험은 하네스로 비용이 갈린다는 얘기입니다. 둘 다 맞습니다. 우리가 XGEN 하네스를 Claude Code, Codex와 비교할 때 점수 옆에 ‘성공 1건당 비용’을 같이 적어야 하는 이유이고, 위 카드의 Geny 입력 −48%도 그 기준으로 다시 재려고 합니다. 안전 장치를 빼서 싸지는 쪽은 우리 길이 아니라는 것도 이 댓글들이 대신 말해 줍니다.

사람은 자는 동안 그날 겪은 일을 정리해 기억으로 남긴다고 합니다. Anthropic이 에이전트에게 같은 시간을 줬습니다. 일이 없는 시간에 에이전트가 지난 작업 기록을 다시 읽고, 자꾸 하는 실수, 매번 비슷하게 흘러가는 작업 순서, 사용자가 좋아하는 방식을 뽑아 메모와 작업 요령(플레이북)으로 정리해 둡니다. 다음 작업은 그 메모를 들고 시작합니다. 모델을 다시 학습시키는 것이 아니라 하네스가 기억을 가꾸는 방식입니다. 법률 AI 회사 Harvey는 작업 완료율이 약 6배로 올랐다고 밝혔습니다. 남긴 기억은 사람이 열어 보고 고칠 수 있습니다.

도입부에 ‘처음 쓸 때보다 다음에 쓸 때 더 좋아지고, 시간이 쌓이면 에이전트 자체가 회사의 자산이 된다’고 적었습니다. 그 말이 실제로 어떻게 돌아가는지 보여 주는 글입니다. Geny도 쓰면서 도구를 만들고 지침을 고치고, 그 내역이 에이전트 상세의 [진화 이력]에 남습니다. 그리고 위 Agent 고정 카드가 이 글의 반대쪽 질문에 대한 우리 답입니다. 스스로 자라는 기억은 연구실에서 키우고, 서비스에는 확인한 시점의 것을 내보냅니다. 5월 글이지만 이번 호에 가장 잘 맞아 골랐습니다.

Flask를 만든 아르민 로나허가 있는 Earendil의 코딩 에이전트 Pi는 MCP를 지원하지 않겠다고 공개적으로 말해 왔습니다(9월 29일). 이유는 하나였습니다. MCP 서버를 붙이면 도구 설명 수십 개가 한꺼번에 에이전트의 머릿속(컨텍스트)에 쏟아져, 정작 일할 자리를 차지한다는 것. 이번에 입장을 바꿨습니다. 도구 설명을 처음부터 다 싣지 않고 필요할 때 꺼내 쓰게 했고, 여러 도구 호출을 작은 샌드박스 안에서 코드로 묶어 한 번에 돌리게 했습니다. 그렇게 하니 MCP의 문제가 대부분 사라졌다는 것입니다.

도입부에 제안서와 콘텐츠도 Claude나 GPT에 MCP를 붙여 만든다고 적었습니다. 붙이는 것까지는 쉽고, 많이 붙였을 때가 문제입니다. 위 카드의 Geny 입력 −48%가 바로 이 방법이었습니다. 도구 설명을 필요할 때만 꺼내게 해서 첫 호출이 7,995토큰에서 4,222토큰이 됐습니다. 회사에서 쓰는 MCP 서버가 늘어날수록, 몇 개를 붙였느냐보다 어떻게 꺼내 쓰느냐가 하네스의 실력이 됩니다.