Sử dụng MaaS với AI Gateway
Để MaaS có thể sử dụng các tính năng của AI Gateway (Rate Limit, Model Caching... ), bạn hãy thực hiện theo các bước sau:
Bước 1: Truy cập giao diện AI Gateway tại GreenNode Console thông qua đường dẫn: http://aigateway.console.greennode.ai/
Bước 2: Trong menu bên trái, chọn mục AI Gateway, sau đó nhấn vào nút Create an AI Gateway.
Bước 3: Tại màn hình Tạo Gateway mới, vui lòng điền đầy đủ các thông tin sau:
AI Gateway Name: Đặt tên dễ nhớ cho gateway của bạn. Tên này chỉ được chứa các ký tự a–z, A–Z, 0–9, dấu gạch dưới (_) hoặc dấu gạch ngang (-), và có độ dài từ 5 đến 50 ký tự.
Model Provider:
Chọn nhà cung cấp mô hình AI OpenAI Compatible.
Model Type: Chọn Model Type (xem tại MaaS ở portal AI Platform).
Model Endpoint: Điền URL của model (xem tại MaaS ở poral AI Platform).
Model Name: Điền Name của model (xem tại MaaS ở poral AI Platform).
Authentication info:
header_name: Điền
Authorization.header_value: Điền
Bearer <api-key-maas>( API Key trong hình được tạo ở Portal AI Platform).
Gateway Config: Mặc định, hệ thống sẽ bật tính năng Authenticated Gateway.
Bước 4: Chọn Create an AI Gateway, AI Gateway của bạn sẽ được khởi tạo và sẵn sàng để sử dụng.
Bước 5: Sau khi AI Gateway được khởi tạo bạn cần tạo Token để gọi API.
Bước 6: Sau khi bạn tạo token, bạn có thể cấu hình rate limit cụ thể trên từng token theo nhu cầu cá nhân.
Bước 7: Trong mục Providers & Model, tìm mô hình AI bạn đã cấu hình. Tại mô hình đó, nhấn vào biểu tượng Curl command để lấy câu lệnh mẫu.
Bước 8: Sao chép đoạn lệnh curl được hiển thị và thực thi lệnh đó trên máy tính cá nhân của bạn (qua Terminal hoặc Command Prompt).
Ví dụ:
Lưu ý:
Thay thế
{AUTHENTICATION_TOKEN}bằng token được tạo ở bước 5.
Last updated