메인 콘텐츠로 건너뛰기
AITier

Llama 3.1 Instruct 405B

MetaLlama오픈 웨이트Llama 3.1 Community License

설명

Llama 3.1 405B Instruct is a large language model optimized for multilingual dialogue use cases. It outperforms many available open source and closed chat models on common industry benchmarks. The model supports 8 languages and has a 128K token context length.

출시일
2024-07-23
파라미터
405.0B
컨텍스트 길이
—
모달리티
text

능력 레이더

27
general
30
coding
23
reasoning
34
science추정
70
agents
0
multimodal

전용 과학 벤치마크가 없을 때 Science는 추론 프록시를 사용하여 추정합니다.

랭킹

도메인#순위점수소스
코딩 랭킹323
25.0
AA
종합 랭킹327
33.0
AA
수학 추론303
20.0
AA
추론5
92.0
LS
과학318
35.0
AA

벤치마크 점수 (LLM Stats)

Biology

GPQA50.7%자체 보고

Code

HumanEval89.0%자체 보고
Gorilla Benchmark API Bench35.3%자체 보고

Finance

MMLU (CoT)88.6%자체 보고
MMLU87.3%자체 보고
MMLU-Pro73.3%자체 보고

General

ARC-C96.9%자체 보고
MBPP EvalPlus88.6%자체 보고
IFEval88.6%자체 보고
BFCL88.5%자체 보고
Multipl-E HumanEval75.2%자체 보고
Multipl-E MBPP65.7%자체 보고
Nexus58.7%자체 보고

Math

GSM8k96.8%자체 보고
Multilingual MGSM (CoT)91.6%자체 보고
DROP84.8%자체 보고
MATH73.8%자체 보고

Reasoning

API-Bank92.0%자체 보고

AA 평가 지수

Intelligence Index
8.5
Math Index
3.0
Mmlu Pro
0.7
Math 500
0.7
Gpqa
0.5
Ifbench
0.4
Livecodebench
0.3
Scicode
0.3
Lcr
0.2
Aime
0.2
Tau2
0.2
Terminalbench Hard
0.1
Hle
0.0
Aime 25
0.0

LLM Stats 카테고리 점수

Instruction Following
90
Math
90
Structured Output
90
Language
80
Legal
80
Reasoning
80
Finance
80
General
80
Healthcare
80
Tool Calling
70
Code
60
Physics
50
Biology
50
Chemistry
50

가격

입력 가격$2.75 / 1M 토큰
출력 가격$6.5 / 1M 토큰
혼합 가격 (3:1)$3.688 / 1M 토큰

속도

토큰/초60.6
첫 토큰 지연0.68s
첫 응답 지연0.68s

공급자 가격 순위

공급자 가격 순위

7개 공급자

최저가: Kilo Gateway최고가: Azure
공급자입력출력
1Kilo Gateway최저가
$1
$1
2Venice AI
$1.1
$3
3Meta주요
$2.75
$6.5
4Synthetic
$3
$3
5Abacus
$3.5
$3.5
6Azure Cognitive Services
$5.33
$16
7Azure
$5.33
$16

이 모델의 다양한 API 공급자 간 가격 비교.

외부 링크

LLM StatsArtificial Analysis