짧은 답: Harness²는 모델을 바꾸지 않고 에이전트의 프롬프트·도구 안내·메모리 등을 개선하려는 연구 프로젝트입니다. 작은 팀이라면 운영 에이전트에 곧바로 연결하기보다, 데모로 구조를 이해하고 비용 한도와 평가 환경을 따로 설계하는 편이 낫습니다. 특히 공개 채점 기준에 접근할 수 있는 실행 환경에서는 점수가 올라도 실제 업무 능력이 좋아졌다고 판단하기 어렵습니다.
확인: 2026년 10월 20일 17:29 KST. 공식 저장소·논문·문서와 공개 이슈를 검토한 도입 판단 글입니다. 패키지 설치, 데모 실행, 성능 재현은 하지 않았으며 조사와 정리에 AI를 활용했습니다.
무엇을 바꾸는 프로젝트인가요?
하네스는 모델이 에이전트로 일하도록 둘러싼 실행 체계입니다. Harness²는 모델 가중치를 고정한 채 현재 과제에서 하네스 변경안을 제안하고, 실행 차이를 살피고, 변경안을 결합합니다. 채택한 하네스와 근거가 있는 교훈을 다음 과제의 개선에 활용하는 단계도 갖췄습니다. 이를 모델 재학습이나 모든 업무에 통하는 자동 최적화로 해석해서는 안 됩니다. 연구 논문은 2026년 10월 9일 처음 제출됐습니다.
프로젝트 설정의 버전은 0.1.0, Python 범위는 3.12 이상·3.14 미만입니다. GitHub Releases에는 확인 시점에 배포 항목이 없었습니다. 안정판 배포가 검증된 제품처럼 소개하지 않는 이유입니다.
관심과 도입 근거를 나눠 보세요
Google Research의 공식 저장소는 10월 20일 17:27 KST 조회에서 누적 별 12.9k를 표시했습니다. 최근 기간별 증가량은 검증하지 못했습니다. 누적 별 수를 급증이나 실사용 규모의 증거로 삼지 않았습니다.
개발자 관심은 구체적인 문제 제기에서도 확인할 수 있습니다. 10월 18일 등록된 이슈 #44에는 과제를 재실행한 뒤 재평가가 실패하면 이전 점수가 남을 수 있다는 신고가 있습니다. 확인 시점에는 열린 이슈였으며, 이 글에서 재현하거나 유지보수자의 확정 답변을 확인한 것은 아닙니다. 따라서 확정된 결함으로 단정하지 않되, 실험 결과와 평가 시점을 함께 보관해야 할 이유로 참고할 수 있습니다.
데모 성공과 에이전트 성능 향상은 별개입니다
README는 Linux와 Python 3.12를 안내합니다. 로컬 데모는 모델 자격증명 없이 정해진 규칙에 따라 동작하는 편집기와 실제 Python 실행으로 흐름을 보여줍니다. 데모가 작동한다고 모델 기반 에이전트의 성능 향상이 검증되는 것은 아닙니다. 모델 기반 실행에는 별도 준비와 API 비용이 필요합니다. 설치 안내에서 사용할 실행기와 벤치마크의 요구 사항을 먼저 확인하세요.
프로젝트는 Apache-2.0이지만 포함된 외부 코드·벤치마크·데이터셋에는 각각의 라이선스가 적용됩니다. 또한 Google이 공식 지원하는 제품이 아니라는 고지가 있습니다. 회사 데이터로 시험하기 전에는 코드 라이선스 확인에 그치지 않고 데이터 이용 조건과 외부 모델로 전송되는 내용을 별도로 검토해야 합니다.
작은 파일럿에도 필요한 세 가지 경계
- 비용 경계: 실험 안내에서 max-tasks는 전체가 아니라 도메인별 과제 수 제한입니다. 먼저 도메인과 과제를 좁히고 dry-run으로 선택 범위를 살핀 뒤, 별도로 지출 상한과 중단 기준을 정하세요. 과제 수만으로 총비용을 보장할 수는 없습니다. 실행·개선·채점 비용과 총소요시간을 나눠 기록하면 추가 비용을 감수할 가치가 있는지 판단하기 쉽습니다.
- 비교 경계: 같은 문서는 seed가 과제 순서를 고정할 뿐 모델 샘플링을 통제하지 않는다고 설명합니다. 과제, 실행 모델, 개선 모델, 평가 모델, 웹 접근 조건을 맞추고 변경 실험은 별도 결과 폴더로 나누세요. 단 한 번의 점수 차이보다 같은 조건에서 반복되는 경향을 보는 것이 타당합니다.
- 평가 경계: 공식 문서는 네트워크 접근이 제한되지 않으며 Codex 실행 시 샌드박스가 꺼진다고 명시합니다. 공개 채점 기준을 내려받은 검증 실행 사례도 설명합니다. 업무 데이터가 없는 격리 환경과 평가 자료 접근 제한을 먼저 준비하고, 실제 설정을 기록해야 합니다.
지금 시험할 팀과 기다릴 팀
이미 고정된 평가 과제와 실패 기록을 보유하고, 실험용 실행 환경 및 비용을 관리할 수 있는 팀이라면 제한된 연구 파일럿을 검토할 수 있습니다. 가령 문서 요약 에이전트의 도구 안내를 바꿀 때 누락 항목과 잘못된 출처가 줄어드는지, 고정 하네스와 같은 조건으로 비교하는 식입니다. 이는 적용 아이디어이며 실제 Harness² 실험 결과가 아닙니다.
반대로 평가 기준이 아직 불분명하거나 운영 자격증명과 고객 데이터가 같은 환경에 있다면 도입을 미루는 편이 좋습니다. 먼저 기준 하네스는 보존하고, 실험용 복사본에 변경을 하나씩 적용하고 수동 검토와 회귀 평가를 수행해도 됩니다. 자동 개선으로 얻고 싶은 효과와 감당할 수 있는 실험 비용이 명확해진 뒤 다시 판단하세요.
실무 결론: 첫 목표는 높은 점수를 얻는 것이 아니라, 어떤 변경이 어떤 조건에서 도움이 됐는지 추적 가능한 기록을 만드는 것입니다. Harness²의 구조를 이해하는 단계와 운영 도입을 승인하는 단계를 분리하세요.
댓글
댓글 쓰기