HN에서 읽은: Inkling 2 Mini — 왜 볼 만한가
HN에서 읽은: Inkling 2 Mini — 왜 볼 만한가
Thinking Machines Lab이 공개 가중치로 내놓은 Inkling 2 Mini는, 저장해야 할 파라미터 수를 늘리는 대신 모델 중간층을 토큰마다 세 번 재사용하는 ‘루프형’ 트랜스포머다. 노트북에서 돌릴 수 있는 크기와 에이전트형 코딩 성능을 함께 내세우지만, HN의 초기 사용담은 벤치마크 수치와 실제 작업의 토큰 비용·도구 호출 신뢰성을 따로 검증해야 한다는 점을 보여 준다.
원문
- 원문: Introducing Inkling 2 Mini
- HN 토론: https://news.ycombinator.com/item?id=50581260
- 수집 시점: 2026-11-21 KST
- HN 지표: 점수 734, 댓글 124개
- HN 게시 시각: 2026-11-21 05:12 KST (2026-11-20 20:12 UTC)
무엇을 말하나
- Inkling 2 Mini는 총 26.4B 파라미터, 활성 파라미터 3.4B의 MoE 모델이다. 중간 12개 레이어 블록을 세 번 통과시키므로, 루프까지 반영한 토큰당 활성 가중치는 5.4B로 설명한다.
- 이 구조는 같은 가중치를 재사용해 토큰을 출력하기 전의 순차 계산을 늘린다. 원문은 특히 에이전트형 코딩처럼 추론 품질이 중요한 과업에서, 더 긴 사고 과정을 텍스트로 모두 쓰지 않고도 답에 도달할 수 있다고 주장한다.
- 공개한 비교에서 DeepSWE v1.1은 48.2%, Vals Index v2.2는 46.5%라고 보고한다. 다만 표의 평가 설정은 모델마다 다를 수 있다고 원문도 명시하므로, 수치만으로 일반적인 개발 생산성을 단정할 수는 없다.
- 대부분의 가중치를 NVFP4로 학습·배포하고 마지막 네 레이어는 MXFP8로 두어, 메모리 점유를 약 20GB로 제시한다. 공개 가중치이며 Tinker, Hugging Face 및 모델 카드 링크를 제공한다.
- 루프는 사실 지식을 더 저장하게 하지는 않는다고 스스로 한계를 적었다. 변형 연구 모델에서는 no-CoT 과업의 50% 신뢰도 시간 지평이 한 번 순환의 16초에서 세 번의 37초로 늘었지만, 지식 집약 벤치마크는 순환 횟수 증가로 개선되지 않았다고 보고한다.
Hacker News 댓글 반응
- 로컬 실행 성능에 대한 기대와 실측: 한 사용자는 Ryzen 395와 llama.cpp Vulkan에서 초당 약 27토큰을, 다른 사용자는 32GB M1 Pro에서 브라우저 등을 함께 띄운 상태로 약 10토큰을 받았다고 적었다. 하드웨어·양자화·런타임이 달라 공식 비교 수치로 볼 수는 없지만, 실제 로컬 배포 가능성을 시험하는 반응이 많았다.
- 작은 코드 작업에는 긍정적, 긴 작업에는 신중: M1 Pro 사용자는 단순 CSV 정렬 파이썬 과제는 잘 수행했으나, 동전 식별 질문에서는 긴 출력을 반복했다고 했다. 또 다른 사용자는 WordPress 플러그인 작성에서 도구 미사용 시 19,200 사고 토큰 한도까지 가도 끝내지 못했고, 도구를 허용해도 잘못된 훅 이름을 고치지 못한 사례를 공유했다.
- 루프의 의미를 두고 제기된 질문: ‘세 번의 고정 반복’은 난이도에 따라 횟수를 조절하는 재귀 추론과는 다르며, 같은 레이어를 직렬로 세 번 쌓은 모델과 무엇이 다른지 설명이 더 필요하다는 의견이 있었다. 반면 가중치 공유로 메모리 요구량을 낮추는 설계 자체는 로컬 모델에 유용할 수 있다는 해석도 뒤따랐다.
- 평가 지표의 빈틈: Terminal Bench 수치가 낮다는 댓글은 에이전트 활용성은 SWE 계열 벤치마크만으로 판단하기 어렵다는 반론을 제기했다. 출시 측 주장의 ‘유사 크기 모델 대비’ 우위와, 특정 실제 워크플로의 완결성은 구분해 보자는 취지다.
한국 개발자에게 남는 점
- 사실: 원문은 루프가 추론·장문 맥락에는 도움을 주되 닫힌 지식형 질의의 성능을 자동으로 높이지는 않는다고 밝힌다. 사내 문서 검색이나 도구 사용이 없는 환경에서는 작은 모델의 사실성 한계가 그대로 남을 수 있다.
- 편집 메모: 로컬 코딩 모델 후보를 고를 때는 공개 벤치마크 외에, 팀의 실제 저장소 과제와 고정 테스트를 준비해 첫 성공률·완료까지 걸린 시간·토큰/전력 비용·도구 호출 실패를 함께 기록하는 편이 낫다.
- 편집 메모: ‘20GB로 실행 가능’은 모델 가중치의 메모리 조건이지 모든 개발 환경에서의 즉시 사용성을 보장하지 않는다. 컨텍스트 길이, KV 캐시, 양자화 형식, 추론 엔진 지원 및 동시 에이전트 수를 배포 전에 별도 확인해야 한다.
- 편집 메모: 모델이 내부에서 더 많은 계산을 할수록 출력된 chain of thought만으로 검토할 수 있는 범위는 상대적으로 줄 수 있다. 도입 판단에서는 결과물 테스트, 권한 제한, 변경 이력과 롤백 경로를 추론 텍스트 관찰보다 우선하는 것이 안전하다.
출처
- 원문: https://thinkingmachines.ai/news/inkling-2-mini/
- Hacker News 토론: https://news.ycombinator.com/item?id=50581260
댓글
댓글 쓰기