에이전트가 도구를 잘못 호출하거나, 실패한 테스트를 성공처럼 설명하거나, 대화에서 약속한 작업을 실제로 끝내지 못해도 trace가 길면 원인을 찾기 어렵습니다. Laminar가 2026년 10월 2일 공개한 flow-1은 이런 에이전트 실행 trace를 조사하도록 훈련한 모델입니다. Laminar Signals agent 안에서 span을 하나씩 살피고, 발견한 문제와 근거를 구조화된 결과로 남깁니다.
Laminar가 공개한 자체 벤치마크 523개 trace에서 flow-1의 Detection F1은 .835였습니다. GPT-6-sol(high)의 .816보다 높았지만 Claude Opus 5(high)는 .890을 기록했습니다. 따라서 이 결과는 해당 벤치마크와 Signals agent 구성에서의 비교로 읽어야 합니다. flow-1이 모든 GPT-6 모델과 동급이라는 뜻은 아닙니다.
flow-1은 trace를 조사해 근거를 모읍니다
일반적인 대화 모델에 trace 전체를 넣고 오류 여부만 묻는 방식과 달리, flow-1은 Signals agent가 가진 도구를 사용해 조사합니다. 먼저 trace 미리보기와 사용자가 지정한 지시를 읽고, 필요한 span을 검색한 뒤 해당 span 전문을 열어 앞뒤 맥락과 증거를 확인합니다. 결과는 사용자가 정의한 JSON schema에 맞춰 생성됩니다. 발견이 없으면 event를 만들지 않습니다.
Laminar는 이 조사 과정을 실제 Signals agent와 같은 도구 환경에서 강화학습으로 훈련했다고 설명합니다. 어떤 span을 볼지 선택하고, 증거를 모으고, 그 증거가 finding을 뒷받침하는지 판단하는 흐름을 학습시킨 것입니다. 따라서 제품 기능의 핵심은 모델 하나의 이름보다 trace 검색과 span 열람을 포함한 agent 실행 방식에 있습니다.
Signals가 trace에서 뽑아내는 데이터는 이벤트로 저장됩니다. 유사한 이벤트는 cluster로 모아 반복되는 실패 유형을 보여주며, signal_events 테이블에서 SQL로 분석할 수도 있습니다. 조건에 따라 앱 알림, 이메일, Slack 알림을 보낼 수 있어 개별 trace 조사 결과를 회귀 평가나 제품 운영에 연결할 수 있습니다.
523개 trace 벤치마크에서 나온 결과
Laminar는 코딩, 법률, 고객지원, CRM 등 여러 업무 분야의 까다로운 에이전트 trace 523개를 같은 Signals agent로 분석해 비교했습니다. 발표 글의 모델별 수치는 다음과 같습니다.
| 모델 | Detection F1 | Description F1 | Precision | Recall |
|---|---|---|---|---|
| flow-1 | .835 | .741 | .817 | .853 |
| Claude Opus 5 (high) | .890 | .848 | .847 | .938 |
| Claude Sonnet 5 (high) | .835 | .773 | .826 | .844 |
| GPT-6-sol (high) | .816 | .728 | .703 | .974 |
| GPT-6-luna (high) | .795 | .638 | .727 | .878 |
이 표에서 flow-1은 탐지 F1 기준으로 GPT-6-sol보다 높고 Claude Sonnet 5와 같습니다. Opus 5가 가장 높은 점수를 보였습니다. Laminar는 sol이 더 많은 trace를 표시해 잡음이 늘어나는 경향을, flow-1은 근거를 살펴 유효한 문제를 가려내는 방식을 설명합니다. 다만 이는 공급자가 공개한 단일 자체 벤치마크이므로, 다른 trace 구성이나 운영 환경의 성능을 보장하지 않습니다.
요금과 ‘23배’ 비용 비교의 범위
Laminar가 안내한 flow-1 요금은 입력 토큰 100만 개당 $0.05, 캐시 입력 $0.01, 출력 $0.30입니다. 별도로 공개한 비교표는 모델 토큰 단가만 비교한 것이 아닙니다. Signals agent 실행과 모든 retrieval 단계 비용을 포함하며, 전체 LLM 사용량이 100k 토큰 미만인 trace를 분석한 실행 통계입니다.
| 모델 | $1당 처리 trace | trace당 비용 |
|---|---|---|
| flow-1 | 888 | $0.0011 |
| Claude Opus 5 | 7 | $0.149 |
| Claude Sonnet 5 | 12 | $0.086 |
| GPT-6-sol | 38 | $0.026 |
| GPT-6-luna | 668 | $0.0015 |
따라서 발표 글 본문과 표가 말하는 비교는 100k 토큰 미만 trace에서 전체 Signals 실행 비용 기준으로 flow-1이 달러당 888개, GPT-6-sol이 38개를 처리해 약 23배 차이가 난다는 것입니다. 발표 제목의 ‘1/20th’라는 표현과 본문·표의 약 23배를 같은 수치처럼 섞지 않았습니다. Laminar는 luna보다 flow-1이 25% 저렴하면서 실패 탐지와 설명이 낫다고도 설명합니다. 요금과 크레딧은 바뀔 수 있으니 실제 도입 전에는 공식 가격 페이지에서 현재 조건을 확인하세요.
Signals에서 새 분석 규칙 만들기
Signals는 분석할 trace, 무엇을 찾을지 설명하는 prompt, 결과에 기록할 항목을 정의한 JSON schema를 입력으로 받습니다. 새 Laminar 프로젝트에는 기본 Failure Detector Signal이 제공되며, 문서상 1,000토큰을 넘는 trace에서 도구 오류·API 오류·논리 오류·반복·잘못된 도구 선택·시간 초과 등을 분류합니다.
- Laminar 프로젝트에 에이전트 trace를 전송하고 사이드바에서 Signals를 엽니다. 기본 detector 결과를 먼저 살펴본 뒤 + Signal을 선택합니다.
- Signal 이름과 prompt, JSON schema를 정합니다. prompt에는 찾을 실패나 추출할 내용을 구체적으로 적고 schema에는 event에 남길 필드를 지정합니다.
- trigger를 trace의 root span 종료 또는 특정 span 종료로 고릅니다. 전체 토큰 수, status, span 이름이나 tag 등을 AND 조건으로 필터링할 수 있습니다. 기본 전체 토큰 필터는 1,000 초과입니다.
- 필요하면 일치 trace의 5~95%만 실행하도록 sampling을 지정하고 생성합니다. 넓은 조건이 모든 trace에서 실행되는 상황을 줄일 수 있습니다.
- Runs에서 실행 상태와 비용을, Events에서 구조화된 결과와 원본 trace 링크를 확인합니다. Clusters에서 반복 유형을 살펴보고, Alerts에서 앱·이메일·Slack 알림을 연결합니다.
- 대표 trace의 결과를 검토해 규칙을 다듬습니다. 기존 데이터는 Settings의 Backfill에서 기간이나 검색 조건을 정해 다시 분석할 수 있습니다.
CLI로 Signal을 생성하려면 프로젝트에서 lmnr-cli setup을 마친 뒤 다음처럼 실행할 수 있습니다. 기본 trigger는 root span 종료, 기본 filter는 전체 토큰 1,000 초과, 모드는 실시간입니다.
npx lmnr-cli@latest signal create "Refund requests" \
--prompt "Detect when the user asks for a refund. Extract the reason they gave." \
--schema '{"properties":{"reason":{"type":"string","description":"Refund reason"}}}'Self-hosted 배포에서는 LLM profile 설정이 필요할 수 있고, Laminar Cloud는 별도 credential 경로를 사용합니다. 최신 절차와 입력 형식은 Signals Quickstart 및 Signals CLI 문서를 참고하세요.
실제 사례와 놓칠 수 있는 문제
Laminar의 발표 글에는 계약 검토, 코딩 에이전트, 코드 리뷰 사례가 포함돼 있습니다. 한 계약 redline에서는 영화 공개 기간을 105일로 합의했지만 일정표가 90일로 남았습니다. 세 모델이 모두 불일치를 찾았고 flow-1은 이슈 목록이 문서를 “conformed clean”으로 처리한 점까지 연결했습니다. 다른 계약에서는 필수 AI governance 조항 누락을 flow-1이 통과시켰고 두 GPT-6 모델이 찾아냈습니다.
코딩 사례에서는 테스트가 모두 통과하지 않았는데 에이전트가 실패 원인을 기존 문제로 돌려 완료를 보고했습니다. flow-1과 sol은 설명과 로그가 맞지 않는 부분을 표시했고 luna는 놓쳤습니다. 반대로 코드 리뷰에서 yaml을 pyyaml로 바꾼 변경은 실제 오류가 아니었으며 flow-1과 sol은 문제없다고 판단했습니다. luna는 근거가 약한 finding을 냈습니다. 계약 redline과 메모의 milestone 합계가 2천만 달러 차이 난 사례에서는 flow-1과 sol이 합계 오류를 찾았고 luna는 다른 불일치에 집중해 핵심 차이를 놓쳤습니다.
이 사례들은 잘못된 완료 보고나 문서 간 모순처럼 trace만으로 놓치기 쉬운 문제를 보여주지만, 빠짐없는 검수나 무오탐을 뜻하지 않습니다. Laminar도 실패 탐지의 한계를 사례로 공개했습니다. 실제 운영에서는 중요한 finding과 누락 사례를 함께 검토하고, 대표 trace와 알림 기준을 조정해야 합니다.
AI 에이전트 실행 환경을 다루는 Google AX Agent Executor, 여러 행위자의 상호작용을 시뮬레이션하는 MiroFish, 코딩 에이전트의 검색 도구인 Jevgrep와 함께 보면 에이전트 구축·관찰·개선의 서로 다른 층위를 비교할 수 있습니다.
Robert의 flow-1 영상과 X 게시물
Laminar 발표 글은 Robert Kim이 2026년 10월 2일 작성했습니다. 아래 X 게시물은 블로그의 영상 링크와 관련 설명을 보충합니다. X 계정 표시는 Robert, @skull8888888888입니다.
출처: X @skull8888888888
출처: X @skull8888888888
출처: X @skull8888888888
출처: X @skull8888888888
출처: X @skull8888888888
출처: X @skull8888888888
주요 근거는 Laminar flow-1 발표, Signals 소개 문서, Laminar 개요와 공식 가격·CLI 문서입니다.
