feat: support llama3.1 series models for openrouter provider (#6595)
parent
49729647ea
commit
d5c2680fde
@ -0,0 +1,23 @@
|
|||||||
|
model: meta-llama/llama-3.1-405b-instruct
|
||||||
|
label:
|
||||||
|
en_US: llama-3.1-405b-instruct
|
||||||
|
model_type: llm
|
||||||
|
model_properties:
|
||||||
|
mode: chat
|
||||||
|
context_size: 128000
|
||||||
|
parameter_rules:
|
||||||
|
- name: temperature
|
||||||
|
use_template: temperature
|
||||||
|
- name: top_p
|
||||||
|
use_template: top_p
|
||||||
|
- name: max_tokens
|
||||||
|
use_template: max_tokens
|
||||||
|
required: true
|
||||||
|
default: 512
|
||||||
|
min: 1
|
||||||
|
max: 128000
|
||||||
|
pricing:
|
||||||
|
input: "3"
|
||||||
|
output: "3"
|
||||||
|
unit: "0.000001"
|
||||||
|
currency: USD
|
||||||
@ -0,0 +1,23 @@
|
|||||||
|
model: meta-llama/llama-3.1-70b-instruct
|
||||||
|
label:
|
||||||
|
en_US: llama-3.1-70b-instruct
|
||||||
|
model_type: llm
|
||||||
|
model_properties:
|
||||||
|
mode: chat
|
||||||
|
context_size: 128000
|
||||||
|
parameter_rules:
|
||||||
|
- name: temperature
|
||||||
|
use_template: temperature
|
||||||
|
- name: top_p
|
||||||
|
use_template: top_p
|
||||||
|
- name: max_tokens
|
||||||
|
use_template: max_tokens
|
||||||
|
required: true
|
||||||
|
default: 512
|
||||||
|
min: 1
|
||||||
|
max: 128000
|
||||||
|
pricing:
|
||||||
|
input: "0.9"
|
||||||
|
output: "0.9"
|
||||||
|
unit: "0.000001"
|
||||||
|
currency: USD
|
||||||
@ -0,0 +1,23 @@
|
|||||||
|
model: meta-llama/llama-3.1-8b-instruct
|
||||||
|
label:
|
||||||
|
en_US: llama-3.1-8b-instruct
|
||||||
|
model_type: llm
|
||||||
|
model_properties:
|
||||||
|
mode: chat
|
||||||
|
context_size: 128000
|
||||||
|
parameter_rules:
|
||||||
|
- name: temperature
|
||||||
|
use_template: temperature
|
||||||
|
- name: top_p
|
||||||
|
use_template: top_p
|
||||||
|
- name: max_tokens
|
||||||
|
use_template: max_tokens
|
||||||
|
required: true
|
||||||
|
default: 512
|
||||||
|
min: 1
|
||||||
|
max: 128000
|
||||||
|
pricing:
|
||||||
|
input: "0.2"
|
||||||
|
output: "0.2"
|
||||||
|
unit: "0.000001"
|
||||||
|
currency: USD
|
||||||
Loading…
Reference in New Issue