benchmark humaneval

Filter by value

All 1589181.7129.9192184.9140.2130.5148.1167190.2187192.4186.6191.6182.61

Distribution — click row to filter

89

1→

81.7

1→

29.9

1→

92

1→

84.9

1→

40.2

1→

30.5

1→

48.1

1→

67

1→

90.2

1→

87

1→

92.4

1→

86.6

1→

91.6

1→

82.6

1→

15 entities

Entity ↕	benchmark humaneval ↕	Type	Integrations ↓
o1	92.4	—	48
Mixtral 8x7B	40.2	—	43
GPT-4o	90.2	—	37
Mistral 7B	30.5	—	33
Llama 2 70B	29.9	—	32
DeepSeek R1	91.6	—	32
Qwen 2.5 72B	86.6	—	30
Llama 3 70B	81.7	—	29
Claude 3.5 Sonnet	92	—	29
Llama 3.1 405B	89	—	28
GPT-4	67	—	27
GPT-3.5 Turbo	48.1	—	26
DeepSeek V3	82.6	—	18
GPT-4o mini	87	—	17
Claude 3 Opus	84.9	—	15