메인 콘텐츠로 건너뛰기

Llama 3.1 Instruct 70B

MetaLlama오픈 웨이트Llama 3.1 Community License

설명

Llama 3.1 70B Instruct is a large language model optimized for multilingual dialogue use cases. It outperforms many available open source and closed chat models on common industry benchmarks.

출시일
2024-07-23
파라미터
70.0B
컨텍스트 길이
131K
모달리티
text

능력 레이더

25
general
24
coding
20
reasoning
29
science추정
70
agents
0
multimodal

전용 과학 벤치마크가 없을 때 Science는 추론 프록시를 사용하여 추정합니다.

랭킹

도메인#순위점수소스
코딩 랭킹422
13.0
AA
종합 랭킹393
28.0
AA
수학 추론306
19.0
AA
추론10
90.0
LS
과학381
29.0
AA

벤치마크 점수 (LLM Stats)

Biology

GPQA41.7%자체 보고

Code

HumanEval80.5%자체 보고
Gorilla Benchmark API Bench29.7%자체 보고

Finance

MMLU (CoT)86.0%자체 보고
MMLU83.6%자체 보고
MMLU-Pro66.4%자체 보고

General

ARC-C94.8%자체 보고
IFEval87.5%자체 보고
MBPP ++ base version86.0%자체 보고
BFCL84.8%자체 보고
Multipl-E HumanEval65.5%자체 보고
Multipl-E MBPP62.0%자체 보고
Nexus56.7%자체 보고

Math

GSM-8K (CoT)95.1%자체 보고
Multilingual MGSM (CoT)86.9%자체 보고
DROP79.6%자체 보고
MATH (CoT)68.0%자체 보고

Reasoning

API-Bank90.0%자체 보고

AA 평가 지수

Intelligence Index
6.8
Math Index
4.0
Mmlu Pro
0.7
Math 500
0.6
Gpqa
0.4
Ifbench
0.3
Scicode
0.3
Livecodebench
0.2
Aime
0.2
Tau2
0.2
Lcr
0.1
Hle
0.0
Aime 25
0.0
Terminalbench Hard
0.0

LLM Stats 카테고리 점수

Instruction Following
90
Structured Output
90
Language
80
Legal
80
Math
80
Finance
80
Healthcare
80
Reasoning
70
General
70
Tool Calling
70
Code
60
Physics
40
Biology
40
Chemistry
40

가격

입력 가격$0.56 / 1M 토큰
출력 가격$0.56 / 1M 토큰
혼합 가격 (3:1)$0.56 / 1M 토큰

속도

토큰/초36.8
첫 토큰 지연0.57s
첫 응답 지연0.57s

공급자 가격 순위

공급자 가격 순위

9개 공급자

최저가: OpenRouter최고가: Azure
공급자입력출력
1OpenRouter최저가
$0.4
$0.4
2Kilo Gateway
$0.4
$0.4
3Meta주요
$0.56
$0.56
4Vercel AI Gateway
$0.72
$0.72
5LLM Gateway
$0.72
$0.72
6Weights & Biases
$0.8
$0.8
7Synthetic
$0.9
$0.9
8Azure Cognitive Services
$2.68
$3.54
9Azure
$2.68
$3.54

이 모델의 다양한 API 공급자 간 가격 비교.

외부 링크