TypeSafe AI의 Jev와 System One 모델: 의미 판단의 소프트웨어 부품화
생성 대신 제한된 선택지·확률을 초고속으로 반환하는 TypeSafe AI Jev의 System One 철학, 벤치마크 조건, 통계적 교정(Calibration)과 백엔드 도입 평가 기준을 정리한다.
TypeSafe AI의 Jev와 System One 모델: 의미 판단의 소프트웨어 부품화
한 줄 요약
TypeSafe AI의 Jev는 텍스트 생성을 포기하고 고정된 선택지·점수·확률만 초고속으로 반환하는 'System One' 분류 모델로, 의미 판단을 소프트웨어 부품으로 격하시켜 백엔드 제어 흐름과 결합하는 실용적 아키텍처를 제시한다.
먼저 읽을 결론
대형 언어 모델(LLM)을 소프트웨어 백엔드에 통합할 때 가장 큰 병목은 긴 지연 시간(Latency)과 누적 비용, 그리고 제어 불가능한 비결정성이다. TypeSafe AI의 Jev는 이를 "사람에게 답하는 대화형 모델"과 "프로그램이 루프 안에서 계속 호출하는 모델"의 요구 차이로 해석한다.
Jev의 핵심 방향은 명확하다. 자유 텍스트 생성을 완전히 배제하고, 호출 시점에 정의된 상태(State)와 질문(Questions)에 대해 확률과 선택값만 반환하는 것이다.
다만 마케팅 수치와 학술적 실체는 분리해서 보아야 한다.
- '193배 빠름·444배 저렴함'은 비교 조건의 상단이다: 대화형 LLM에 강제로 확률 출력 프롬프트를 주고 미국 서부에서 측정한 극단적 비교다. 일반 업무나 국내 환경에 일괄 적용할 수 없다.
- '환각(Hallucination) 없음'은 타입 일치일 뿐 정답 보장이 아니다: 정의되지 않은 라벨을 지어내는 구문 오류는 방지하지만, '환불'을 '교환'으로 잘못 분류하는 판단 오류는 여전히 일어난다.
- 학습 기법 RLCD(Reinforcement Learning for Calibrated Decisions)의 학술적 신규성은 미검증이다: 목적함수, 보상 설계, 훈련 데이터가 담긴 논문이 공개되지 않았으며, 동적 라벨 분류에 PPO를 적용한 연구(GLiClass, 2025) 등 선행 연구의 실용적 엔지니어링 패키징에 가깝다.
- Confidence는 정답 확률이 아니다: 반환된 확률 분포의 엔트로피(집중도)를 요약한 수치일 뿐, 95% 이상의 높은 확률을 부여한 예측에서도 오류가 발생한다.
결과적으로 Jev의 진정한 가치는 독점적 지능이 아니라, **"코드가 업무 흐름을 소유하고, 모델은 확률 교정(Calibration)된 작은 판단 부품으로 기능하게 만든 인터페이스 설계"**에 있다.
왜 저장했나
에이전트와 백엔드 시스템 구축 시 LLM 호출 지연과 토큰 비용으로 인해 아키텍처가 왜곡되는 문제를 근본적으로 해결하려는 새로운 접근법(System One)을 객관적으로 분석하기 위해서다.
‘환각이 없다’, ‘RLCD라는 새로운 강화학습이다’ 같은 벤더의 과장된 홍보를 걷어내고, 선행 연구(GLiClass, SetFit, Selective Classification) 및 외부 독립 벤치마크(BoolQ, MMLU-Pro, Browser Use)와 교차 검증하여 백엔드 실무 도입 기준을 확보한다.
정리한 질문
TypeSafe AI의 Jev 모델이 주장하는 'System One 모델'의 실체는 무엇이며, 백엔드에서 LLM의 구조화 출력(Structured Outputs)이나 소형 전용 분류기(SetFit 등) 대신 도입할 실질적 가치가 있는가? 확률 교정과 성능 수치는 신뢰할 수 있는가?
1. Jev의 기본 개념과 3가지 원시 타입 (Noul, Choice, Score)
Jev는 백엔드의 **'의미를 판단하는 순수 함수'**에 가깝다. 입력으로 텍스트와 현재 상황을 담은 state를 받고, 판단할 내용인 questions를 전달받는다.
특정 회사의 정적 분류 체계로 사전에 파인튜닝하는 방식이 아니라, 호출 시점마다 선택지와 판단 기준(Dynamic Labels)을 정의한다.
| 원시 타입 (Primitive) | 입력 질문 예시 | 반환 데이터 | 핵심 특징 및 주의점 |
|---|---|---|---|
| Noul | "환불을 요청했나?" | '그렇다'의 확률 추정치 (.0 \sim 1.0$) | 이진 판단에 특화. 별도의 confidence 필드가 없음. |
| Choice | "결제·배송·계정·기타 중 어떤 문제인가?" | 선택된 항목, 항목별 확률분포, confidence | 제공된 후보 문자열 중 하나를 선택. 임의의 텍스트를 생성하지 않음. |
| Score | "이 문의의 긴급도는 어느 수준인가?" | 등급 점수, 등급별 확률분포, confidence | 정의된 등급 확률들의 가중평균 반환. 점수 1.5가 물리적 실측량이 아님에 유의. |
Score 타입 해석 시 주의점
개발자가 [일반 문의(1), 빠른 대응 필요(2), 즉시 대응 필요(3)]으로 등급을 정의했을 때, Jev는 각 등급의 확률을 구한 뒤 가중평균으로 점수를 계산한다. 서로 다른 확률 분포(예: 극단적 양극화 vs 중간 집중)가 동일한 평균 점수 1.5를 산출할 수 있으므로, 단일 실수 점수만 볼 것이 아니라 전체 확률 분포를 함께 확인해야 한다.
2. System One 철학: 사람을 위한 생성에서 프로그램을 위한 판단으로
Jev의 설계 사상은 노벨경제학상 수상자 대니얼 카너먼(Daniel Kahneman)의 이중과정 이론 중 **System 1(빠르고 직관적인 사고)**과 경제학자 윌리엄 스탠리 제번스(William Stanley Jevons)의 **제번스의 역설(Jevons Paradox)**에서 유래했다.
세 가지 아키텍처 원칙 (TypeSafe Manifesto)
- 작은 판단을 조합한다 (Decomposed Judgment):
- "이 고객 문의를 알아서 처리해"라는 거대한 생성형 요청을 의도 판별, 관련성 확인, 긴급도 산출이라는 원자적 질문으로 분해한다.
- 코드가 업무 흐름을 소유한다 (Code Owns Workflow):
- 판단 결과를 어떻게 합칠지, 어떤 조건에서 결제 API를 쏠지, 언제 상담원 검토로 넘길지(Fallback)는 프롬프트가 아니라 결정론적인 백엔드 코드(if/else)가 통제한다.
- 불확실성을 프로그램이 소비한다 (Consumable Uncertainty):
- 모델이 내놓은 단일 선택값만 맹신하지 않고, 함께 제공된 확률 추정치를 기반으로 임계값($\tau$)을 설정하여 자동 실행 또는 재확인 여부를 결정한다.
제번스의 역설과 The Bitterest Lesson
창업자의 에세이 《The Bitterest Lesson》에 따르면, 대화 생성 모델과 정밀한 코드/수학 추론 모델, 그리고 시스템 자동화에 필요한 판단 모델은 학습 목표 자체가 완전히 다른 영역이다. 의미 판단의 호출 단가가 극단적으로 낮아지면, 기존 비용 절감을 넘어 과거에는 경제성이 없어 불가능했던 미세 단위의 소프트웨어 분기(Branching)가 대량으로 창출된다.
3. 병렬 평가(Speculative Fan-out)와 RLCD의 실체
Speculative Fan-out 패턴
동일한 state에 대해 여러 개의 질문(questions)을 한 번의 API 호출로 전달하면, 모델은 이를 병렬로 평가한다.
- 동작 방식: 문의 유형을 먼저 분류하고 그 결과에 따라 심각도를 순차 질의하는 대신, 두 질문을 동시에 던진 뒤 백엔드 코드가 필요한 분기의 응답만 취사선택한다.
- 구현상의 한계점: "API 한 번 호출"이 내부적으로 "단일 신경망 1회 전방 계산(Single Forward Pass)"을 의미하는지는 확인되지 않았다. 각 질문은 독립적으로 평가되므로, 한 질문의 결과가 다른 질문의 조건부 확률로 자동 연결되지 않는다.
RLCD (Reinforcement Learning for Calibrated Decisions)의 현주소
- 주장: 판단의 정확도뿐 아니라 예측 확률의 통계적 교정(Calibration)을 보상 함수로 삼아 강화학습을 진행했다는 설명이다.
- 실체적 검증: 2026년 9월 기준 학습 목적함수, 손실 함수, 보상 체계, 데이터셋 구성을 담은 공식 논문이나 기술 보고서는 공개되지 않았다. 따라서 독자적인 기법인지 기존 PPO에 교정 손실을 추가한 변형인지 학술적 신규성은 아직 미확인 상태다.
4. 선행 연구 지형과 비교: 새로움과 기존 기술의 경계
Jev가 취한 접근법은 완전히 새로운 발명이 아니며, 자연어 처리(NLP)와 불확실성 추정 연구의 계보 위에 놓여 있다.
`mermaid flowchart TD subgraph Classical ["텍스트 분류 및 NLI 선행 연구"] BERT["BERT (2019)<br/>문장 미생성 / 표현 기반 분류"] ZeroShot["Zero-shot Text Classification (2019)<br/>NLI를 활용한 동적 라벨 분류"] SetFit["SetFit (2022)<br/>소량 라벨 고정 업무 소형 분류기"] GLiClass["GLiClass (2025)<br/>동적 라벨 분류 + PPO 강화학습"] end
subgraph Uncertainty ["확률 교정 및 선택적 분류"]
Calib["Guo et al. (2017)<br/>Modern NN의 확률 교정 한계"]
Selective["Geifman et al. (2017)<br/>선택적 분류 (Coverage vs Risk)"]
Trust["Ovadia et al. (2019)<br/>분포 변화와 불확실성 붕괴"]
end
subgraph Modern ["생성형 LLM의 구조화 접근"]
Structured["OpenAI Structured Outputs<br/>Constrained Decoding (CFG 문법 제약)"]
end
Classical --> Jev["TypeSafe AI Jev (2026)<br/>초저지연/초저비용 API + Speculative Fan-out"]
Uncertainty --> Jev
Structured -.대안 관계.-> Jev
`
| 선행 연구 | 핵심 개념 | Jev 분석 시 시사점 |
|---|---|---|
| BERT, 2019 | 표현 벡터 기반 텍스트 분류 및 함의 | 텍스트 생성을 건너뛰고 의미를 직접 판정하는 방식 자체는 오래된 접근법이다. |
| Benchmarking Zero-shot, 2019 | 자연어 함의(NLI) 기반 제로샷 분류 | 런타임에 동적으로 라벨을 전달받아 분류하는 메커니즘의 원형이다. |
| SetFit, 2022 | 소량 데이터 기반 문장 변환기 미세조정 | 분류 체계가 고정된 업무라면 Jev보다 자체 경량 모델이 비용·보안상 더 나은 대안이다. |
| GLiClass, 2025 | 텍스트+동적 라벨 처리 및 PPO 강화학습 | Jev와 가장 직접적으로 비교되는 연구로, 분류에 강화학습을 적용한 첫 사례가 아님을 입증한다. |
| Guo et al., 2017 | 딥러닝 신경망의 Calibration 한계 | 높은 정답률을 가진 모델도 출력 확률 값 자체는 과신(Overconfident)하기 쉽다. |
| Selective Classification, 2017 | 불확실성 기반 처리 보류(Abstention) | 신뢰도가 낮은 건을 사람에게 넘겨 시스템 전체 오류율을 낮추는 기준을 제공한다. |
| Ovadia et al., 2019 | 도메인/분포 변화와 불확실성 신뢰도 | 영어 벤치마크에서 입증된 확률 품질이 한국어나 실무 도메인에서도 유지될지 보장할 수 없다. |
5. Probability, Confidence, Calibration, Accuracy의 구분
Jev를 사용할 때 가장 혼동하기 쉬운 네 가지 개념을 엄밀하게 분리해야 한다.
- Accuracy (정확도): 전체 예측 중 실제 참값(Ground Truth)과 일치한 비율.
- Probability (확률): 소프트맥스 또는 교정 알고리즘을 통해 특정 클래스에 할당된 0과 1 사이의 수치.
- Confidence (신뢰도 요약값): Jev의 Choice/Score에 포함되는 필드로, 확률 분포의 분산/엔트로피가 얼마나 특정 클래스에 집중되어 있는지 나타내는 통계량이다. 별도로 산출된 "이 답이 정답일 확률"이 아니므로 confidence=0.9를 "90% 확률로 맞다"로 해석하면 안 된다.
- Calibration (확률 교정): \text{참일 확률을 } 80% \text{로 예측한 사례들을 모았을 때, 실제로 참인 비율도 } 80% \text{여야 한다.} 단일 건에 대한 정답 보증이 아니라, 대규모 예측 샘플에 대한 통계적 정합성이다.
6. 성능 평가 분석: 공식 주장 vs 외부 독립 벤치마크
공식 워크플로 벤치마크 (TypeSafe Evals)
TypeSafe 공식 평가 사이트의 4대 워크플로 평균 수치다. (주의: 정답 기준이 사람이 검증한 Ground Truth가 아니라 GPT-6 Astra 및 Claude Fable 5.1의 앙상블 합의 응답임)
| 모델 | 공식 평가 점수 | 건당 추정 비용 | 건당 평균 지연시간 |
|---|---|---|---|
| Jev | 67.8% | .0004 | 약 0.4초 |
| GPT-5.6 Luna | 66.8% | .0033 | 12.9초 |
| GPT-5.6 Terra | 67.9% | .0304 | 10.1초 |
| GPT-5.6 Sol | 74.1% | .0836 | 23.3초 |
- 업무별 점수 편차: 송장 처리(Invoice Processing)처럼 세밀한 필드 추출과 검증이 필요한 복잡한 작업에서는 Jev가 61.8%로 떨어졌고, Terra(74.7%) 및 Sol(79.1%)과 현격한 품질 격차를 보였다.
- 홍보 배수의 한계: '193.6배 빠르고 444.6배 저렴하다'는 수치는 비교 대상 LLM에 확률 출력까지 강제하고 미국 서부 로컬 네트워크에서 실행한 상한값(Upper Bound)이다.
외부 독립 벤치마크 검증 (openjev-sglang)
오픈소스 개발자(kzhang)가 Qwen3.6 기반 유사 파이프라인(OpenJev)과 실제 Jev API를 교차 검증한 결과다.
1) BoolQ (3,270문항, 독해 기반 참/거짓 판단)
| 지표 | Qwen3.6 기반 OpenJev | TypeSafe Jev | 의미 해석 |
|---|---|---|---|
| 정확도 (Accuracy) | 89.45% | 91.56% | Jev가 약 2.1%p 높은 분류 성능 |
| Brier Score (낮을수록 우수) | 0.0812 | 0.0640 | 예측 확률과 실제 결과 간의 오차가 더 적음 |
| 선택 답변 ECE (낮을수록 우수) | 4.05% | 2.51% | 예측 확률의 통계적 교정(Calibration) 우수 |
⚠️ 핵심 관측 사실: Jev가 선택한 답변에 95% 이상의 극단적 확률을 부여한 1,477건 중에서도 16건의 오답이 발생했다. 높은 확률이 오류의 부재를 뜻하지 않는다.
2) MMLU-Pro (1,000문항)
- Jev: 82.9%
- Qwen 기반 baseline: 58.8% ~ 60.0% (단, Qwen은 CoT 사고 토큰 생성을 끄고 첫 토큰 로짓만 읽는 가혹 조건이었으므로 일반 LLM 벤치마크와 직접 비교 불가)
Browser Use 항공편 검색 실전 데모
- Jev 단일 판단 요청 지연(p50): 178ms
- 전체 브라우징 검색 워크플로 완료 시간: 약 7초
- 교훈: 판단 모델이 100ms대로 빨라지더라도, 웹 페이지 렌더링, DOM 파싱, 네트워크 I/O, 사후 검증 시간이 전체 파이프라인 지연을 지배한다.
7. '환각 없음'의 오해와 Jev 1.13 모델 결함(Jaggedness)
'환각 없음'의 정확한 범위
- 방어되는 것: 스키마에 없는 가상의 도구 이름 생성, 유효하지 않은 JSON 구문 출력, 존재하지 않는 라벨 날조.
- 여전히 발생하는 것: 사용자의 문의가 환불 요청임에도 배송 지연으로 잘못 분류하는 판단 오류(Misclassification).
공식 문서에서 인정한 Jev 1.13 한계 (Model Jaggedness)
- 수치 계산 및 날짜 비교 결함: 단순 날짜 선후 관계나 금액 대소 비교에서 취약함.
- 노이즈 문맥 취약성: 본문과 무관한 잡음이 섞인 장문 텍스트에서 분류 정확도 급락.
- 프롬프트 인젝션 민감도: 공격적으로 작성된 텍스트가 분류 확률을 인위적으로 왜곡 가능.
- 표현 변화에 따른 확률 변동: 동일한 의미의 질문도 어휘 선택에 따라 확률값이 크게 흔들림.
- 명제와 부정 명제의 확률 비정합성: P(\text{환불 요청}) + P(\text{환불 요청 아님}) \neq 1.0 서로 다른 질문으로 독립 평가되므로 확률의 합이 논리적으로 정합성을 유지하지 못함.
- 통계적 독립성 결여: 병렬로 얻은 확률들을 단순 곱셈하여 파이프라인 전체 성공 확률($\prod p_i$)로 산출할 수 없음.
8. 백엔드 실무 도입 체크리스트와 의사결정 프레임워크
1. 역할 분담 원칙
` xt [Jev가 담당할 영역]
- 고객 문의 의도 분류 (인텐트 라우팅)
- 서비스 담당 마이크로서비스 결정
- 지식베이스 문서 관련성 1차 필터링
- 에이전트 도구 실행 전 파라미터 유효성 검사
[기존 백엔드/DB가 소유할 영역]
- 환불 가능 여부 및 잔액 확인 (DB 조회)
- 권한 검가 및 세션 검증 (Auth Service)
- 중복 결제 방지 및 멱등성 보장 (Idempotency Key)
- 트랜잭션 커밋 및 롤백 (RDBMS) `
2. PoC 검증 지표 (Evaluation Metrics)
Jev 도입 여부를 평가할 때는 단순 정답률 대신 다음 6가지 지표를 측정해야 한다:
- 선택적 분류 곡선 (Coverage vs. Risk): 신뢰도 임계값($\tau$)을 높여 몇 %의 요청을 자동 처리할 때 허용 가능한 오류율(예: 1% 미만)을 맞출 수 있는가?
- 도메인 확률 교정 곡선 (Reliability Diagram): 우리 서비스의 실제 데이터셋에서 모델이 출력한 확률 구간과 실제 정답률이 일치하는가?
- 국내 네트워크 지연시간: 미국 서부 리전 기준이 아닌, 한국 서버에서 호출 시 p50 및 p95 왕복 지연시간(RTT)이 SLA를 충족하는가?
- 총소유비용 (TCO): 호출 단가(.042/1M input tokens)는 저렴하지만, 오분류로 인한 재시도·사람 검토(Human-in-the-loop) 비용을 합산했을 때 전체 시스템 비용이 줄어드는가?
- 버전 회귀 테스트 (Regression Testing): 모델 버전 업데이트나 프롬프트 변경 시 기존 분류 규칙이 깨지지 않는지 골든 데이터셋으로 추적 가능한가?
- 데이터 규정 준수: 클라우드 API 전용이므로, 외부 전송이 불가능한 민감 정보(PII) 환경에서는 로컬 소형 분류기(SetFit 등)를 우선 고려한다.
중요한 인사이트
- 지능의 소프트웨어 부품화: LLM을 만능 에이전트로 쓰는 대신, 백엔드 조건문(if/else)의 조건식 안으로 밀어 넣는 방식이 프로덕션 안정성을 극대화한다.
- 출력 공간의 제약이 속도를 만든다: 자연어 토큰 생성을 포기하는 순간 디코딩 병목이 사라져 수백 밀리초 단위의 추론이 가능해진다.
- 타입 일치와 정답 일치의 구분: Structured Outputs나 Jev가 보장하는 것은 '출력 형식의 안전성'이지 '판단의 진실성'이 아니다.
- Calibration의 가치: 신뢰할 수 없는 99%보다 잘 교정된 75%가 백엔드 의사결정에서는 훨씬 다루기 쉬운 자산이다.
유용한 행동
- 현재 시스템에서 LLM에게 단답형 선택이나 분류를 시키고 있는 엔드포인트를 식별한다.
- 해당 엔드포인트의 입력 토큰 수, 지연시간, 비용을 측정해 기준선(Baseline)을 수립한다.
- Jev 도입 전, 기존 경량 분류기(SetFit, RoBERTa)나 프롬프트 제약 디코딩과의 비용-정확도 트레이드오프를 평가한다.
- 신뢰도 임계값에 따라 상담원에게 이관(Fallback)하는 선택적 분류(Selective Classification) 파이프라인을 설계한다.
- 한국어 입력 데이터에 대해 Jev의 확률 교정 곡선을 직접 측정한다.
주의할 점과 불확실성
- 학술적 실체 미공개: RLCD 훈련 방식의 세부 구현이 논문으로 발표되지 않아 기술적 재현성이 부족하다.
- 언어 편향: 모델 학습이 주로 영어 중심으로 진행되어 한국어 은어, 맥락, 복합 문장에서의 분류 품질은 직접 검증해야 한다.
- 자체 호스팅 불가: 오픈소스 가중치가 공개되지 않은 폐쇄형 클라우드 API이므로, 데이터 주권이나 온프레미스 격리가 필요한 환경에는 도입할 수 없다.
- 종합 지연시간 착시: 판단 모델의 지연이 줄어도 주변 네트워크 및 I/O 작업 시간이 시스템 전체 성능을 좌우한다.
검증이 필요한 주장
- 'RLCD가 기존 PPO나 교정 손실 대비 독점적 우위를 갖는가': 동일 백본 모델에서 학습 기법만 바꾼 통제 비교 실험 데이터가 필요하다.
- '단일 포워드 패스로 모든 병렬 질문을 처리하는가': Speculative fan-out의 실제 신경망 서빙 구조에 대한 추가 공개가 필요하다.
- '장기적인 API 가격 지속성': 100만 입력 토큰당 .042라는 파격적인 가격이 프로덕션 스케일에서도 유지 가능한 비즈니스 모델인지 확인이 필요하다.
Source Fidelity Notes
- Jev 출시일(2026-09-15) 및 조사 기준일(2026-09-20)을 보존했다.
- 공식 벤치마크 수치(Jev 67.8% / .0004 / 0.4초 vs GPT-5.6 Sol 74.1% / .0836 / 23.3초)와 송장 처리 점수(Jev 61.8% vs Sol 79.1%)를 온전히 기록했다.
- 홍보 배수(193.6배 빠름, 444.6배 저렴)의 전제 조건(상한값 가정, LLM 확률 출력 강제, 미국 서부 측정)을 명시했다.
- 외부 평가 수치(BoolQ 3,270건: Jev 정확도 91.56%, Brier 0.0640, ECE 2.51% 및 95% 확률 구간의 16건 오답)를 보존했다.
- 선행 연구 7편(BERT, Zero-shot, SetFit, GLiClass, Calibration, Selective Classification, Uncertainty) 및 OpenAI 논문 참조를 모두 연결했다.
- Jev 1.13 한계(숫자/날짜 연산 약점, 긴 노이즈 문맥 취약, 프롬프트 인젝션 취약, 질문 형태에 따른 확률 변동, 명제/부정 확률 비정합성)를 유지했다.
- 개인 식별 호칭은 일반적인 백엔드 엔지니어링 관점으로 치환하여 공개 안전성을 확보했다.
출처 / 참고자료
TypeSafe AI 공식 자료
- Introducing System One Models and Jev — TypeSafe Blog
- Concepts: State — TypeSafe Docs
- Primitives (Noul, Choice, Score) — TypeSafe Docs
- Primitives: Score — TypeSafe Docs
- Concepts: System One — TypeSafe Docs
- The TypeSafe Manifesto — TypeSafe
- The Bitterest Lesson — TypeSafe Blog
- Patterns: Speculative Fan-out — TypeSafe Docs
- Introduction: Machine Learning Primer (RLCD) — TypeSafe Docs
- Concepts: Confidence — TypeSafe Docs
- TypeSafe Evals Leaderboard
- Invoice Processing Evaluation — TypeSafe Evals
- Model Jaggedness: Jev 1.13 Failure Modes — TypeSafe Docs
- Models, Pricing & Language Support — TypeSafe Docs
- TypeSafe GitHub Organization
선행 학술 논문
- BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding (2019)
- Benchmarking Zero-shot Text Classification: Datasets, Evaluation and Entailment Approach (2019)
- Efficient Few-Shot Learning Without Prompts (SetFit, 2022)
- GLiClass: Generalist and Lightweight Model for Sequence Classification (2025)
- On Calibration of Modern Neural Networks (Guo et al., 2017)
- Selective Classification for Deep Neural Networks (Geifman & El-Yaniv, 2017)
- Can You Trust Your Model’s Uncertainty? Evaluating Predictive Uncertainty Under Dataset Shift (Ovadia et al., 2019)
- Introducing Structured Outputs in the API — OpenAI
- Language Models (Mostly) Know What They Know (Kadavath et al., 2022)
외부 독립 평가 및 커뮤니티 분석
- openjev-sglang: BoolQ Evaluation Report (ekzhang)
- openjev-sglang: MMLU-Pro Evaluation Report (ekzhang)
- openjev-sglang Repository (ekzhang)
- Browser Use Ultra-fast Flight Search Demo Report
- Building a Harness with Jev — LangChain Blog
- Technical critique and comparison on Jev — Peter Sergeant
- Discussion on Jev from TypeSafe AI — Reddit r/singularity