메인 콘텐츠로 건너뛰기
AITier

Llama 3.1 Instruct 70B

MetaLlamaOpen WeightLlama 3.1 Community License

설명

Llama 3.1 70B Instruct is a large language model optimized for multilingual dialogue use cases. It outperforms many available open source and closed chat models on common industry benchmarks.

출시일
2024-07-23
파라미터
70.0B
컨텍스트 길이
131K
모달리티
text

능력 레이더

28
general
17
coding
20
reasoning
29
science추정
70
agents
0
multimodal

전용 과학 벤치마크가 없을 때 Science는 추론 프록시를 사용하여 추정합니다.

랭킹

도메인#순위점수소스
Code Ranking385
15.0
AA
General Ranking367
30.0
AA
Math Reasoning306
19.0
AA
Reasoning10
90.0
LS
Science357
30.0
AA

벤치마크 점수 (LLM Stats)

Biology

GPQA41.7%자체 보고

Code

HumanEval80.5%자체 보고
Gorilla Benchmark API Bench29.7%자체 보고

Finance

MMLU (CoT)86.0%자체 보고
MMLU83.6%자체 보고
MMLU-Pro66.4%자체 보고

General

ARC-C94.8%자체 보고
IFEval87.5%자체 보고
MBPP ++ base version86.0%자체 보고
BFCL84.8%자체 보고
Multipl-E HumanEval65.5%자체 보고
Multipl-E MBPP62.0%자체 보고
Nexus56.7%자체 보고

Math

GSM-8K (CoT)95.1%자체 보고
Multilingual MGSM (CoT)86.9%자체 보고
DROP79.6%자체 보고
MATH (CoT)68.0%자체 보고

Reasoning

API-Bank90.0%자체 보고

AA 평가 지수

Intelligence Index
12.5
Coding Index
10.9
Math Index
4.0
Mmlu Pro
0.7
Math 500
0.6
Gpqa
0.4
Ifbench
0.3
Scicode
0.3
Livecodebench
0.2
Aime
0.2
Tau2
0.2
Lcr
0.1
Hle
0.0
Aime 25
0.0
Terminalbench Hard
0.0

LLM Stats 카테고리 점수

Structured Output
90
Instruction Following
90
Finance
80
Healthcare
80
Language
80
Legal
80
Math
80
Tool Calling
70
General
70
Reasoning
70
Code
60
Biology
40
Chemistry
40
Physics
40

가격

입력 가격$0.56 / 1M tokens
출력 가격$0.56 / 1M tokens
혼합 가격 (3:1)$0.56 / 1M tokens

속도

토큰/초33.0 tokens/s
첫 토큰 지연0.62s
첫 응답 지연0.62s

사용 가능한 프로바이더

(LS 내부 단위)

프로바이더 데이터가 없습니다

외부 링크

LLM Stats