XGEN 뉴스레터 vol.2

에이전트가 외부에서 침해당했는데 일주일 동안 아무도 몰랐고, 공격자는 탈출 지침까지 남겼습니다. 에이전트는 이미 사람 감독 없이 계획하고 도구를 쓰고 코드를 쓰는데, 감당하는 복잡도는 몇 달마다 두 배가 됩니다. 결국 에이전트를 감시하는 일도 에이전트에게 맡기게 되는데(가트너의 ‘Guardian Agent’), 그 지점을 넘으면 사람이 직접 확인할 수 있는 건 감시자가 남긴 로그뿐입니다. 이번 호 마스킹이 나가는 말을 가리는 장치라면, 이 사건이 겨눈 곳은 들어오는 말이었습니다.

클로드·챗GPT 상위 요금제가 월 200달러대이고, 9월부터는 같은 일에 더 냅니다 — 새 토크나이저가 같은 문장을 최대 1.35배 많은 토큰으로 세어 실제 부담이 20~35% 늘어납니다. 오픈 모델이 중요한 이유가 여기 있습니다. 성능 1등을 따라잡으려는 게 아니라, 값이 오르든 계정이 끊기든 한번 받아둔 모델은 그대로 남는 유일한 선택지이기 때문입니다. 성능 격차는 적은 계산으로 메우는 게 기술의 몫입니다.

지시를 더 쓰는 게 아니라 덜 쓰라는 방향입니다 — 시스템 프롬프트를 80% 줄여도 성능이 유지되거나 오히려 나아졌습니다. 예전 모델이 못 하던 걸 시키려고 넣은 문장이 지금은 방해가 된다는 얘기입니다. 관건은 ‘어느 80%냐’인데, 앞으로 문장을 넣을 때 어떤 모델의 어떤 실패를 막으려 넣었는지 함께 남기면 지울 후보가 저절로 드러납니다. (안전 때문에 있는 금칙어·개인정보 규칙은 성능 실험 대상이 아닙니다)

AI에게 ‘project_settings.json 고쳐도 되냐’고 물어 승인했는데, 그건 실제 파일이 아니라 서버 접속 키를 가리키는 바로가기였습니다. 승인한 이름과 실제 바뀐 파일이 달라, 공격자가 자기 키를 심어두고 비밀번호 없이 들어옵니다. Amazon Q·Claude Code·Cursor 등 6개 도구가 이 문제를 가졌고 일부만 고쳐졌습니다. ‘확인 버튼을 눌렀으니 안전하다’는 믿음이 무엇을 승인하는지 한 번 볼 만합니다.

코드 짜는 속도는 확실히 빨라졌는데 제품 품질은 왜 그만큼 좋아지지 않느냐는 질문입니다. 필자의 답은 병목이 애초에 타이핑이 아니었다는 것 — 안정성은 KPI에 잘 안 잡히고, ‘이번 분기엔 새 기능 없이 버그만 잡겠습니다’라는 발표는 근사해 보이지 않기 때문이라는 지적이 뼈아픕니다.

사람이 손대지 않고 에이전트가 매일 소식을 모아 정리한 위키가 72일치 쌓였습니다. 한 번 잘 도는 데모가 아니라 오래 굴러간 운영이라는 게 흥미로운데, 실패한 날 무엇을 하고 다음 날 어떻게 복귀하는지가 사실 전부입니다. ‘정지 조건’보다 어려운 게 ‘재시작 조건’이라는 걸, 하니스를 만들면서 우리도 같은 자리에서 막혔습니다.