Kling 2.1 Master — chuyển văn bản thành video và hình ảnh thành video cao cấp, các đoạn clip dài 5–10 giây, 1080p, 24fps.
Kling/kling-v2-1-master là phiên bản mô hình cụ thể từ Kling được thiết kế để tạo video từ hình ảnh. Nó nhận một hình ảnh nguồn và tùy chọn một prompt văn bản để tạo ra một video ngắn tiếp tục cảnh…
Khả năng cốt lõi của mô hình là tạo video ngắn từ một hình ảnh tĩnh, duy trì tính thẩm mỹ của cảnh và thêm chuyển động hợp lý như lia máy, di chuyển vật thể hoặc hiệu ứng khí quyển. Mô hình có thể xử lý nhiều loại ảnh khác nhau, bao gồm ảnh chụp, nghệ thuật kỹ thuật số và các khung hình đã render. Video đầu ra thường kéo dài vài giây và lặp lại liền mạch. Mô hình cũng cố gắng tôn trọng bất kỳ lời nhắc văn bản nào được cung cấp, vì vậy người dùng có thể ảnh hưởng đến phong cách chuyển động hoặc các yếu tố bổ sung. Nó không hỗ trợ tạo video từ văn bản từ đầu; nó yêu cầu một hình ảnh ban đầu làm hạt giống.
Giống như hầu hết các mô hình công khai, kling-v2-1-master có thể bao gồm các bộ lọc an toàn để ngăn chặn việc tạo ra nội dung có hại hoặc bất hợp pháp. Các chi tiết cụ thể về các danh mục bị cấm không được cung cấp trong các thông tin có sẵn, nhưng các hạn chế điển hình bao gồm nội dung khỏa thân, bạo lực và tài liệu có bản quyền. Nhà cung cấp mô hình (Kling) và nền tảng (OrcaRouter) có thể thực thi các chính sách sử dụng. Người dùng nên xem xét các điều khoản dịch vụ và đảm bảo đầu vào của họ tuân thủ. Nếu một yêu cầu bị chặn, API trả về phản hồi lỗi tiêu chuẩn. Đối với các ứng dụng nhạy cảm, hãy cân nhắc kiểm tra với nội dung được phép trước.
Mặc dù kling-v2-1-master đạt điểm chuẩn cao, nhưng nó có thể quá mức cần thiết cho các đầu ra đơn giản hoặc độ phân giải thấp. Nếu trường hợp sử dụng của bạn chỉ yêu cầu tạo nhanh mà không cần độ trung thực cao, một mô hình nhẹ hơn (ví dụ: các phiên bản trước của Kling hoặc các nhà cung cấp khác trên OrcaRouter) có thể đáp ứng với chi phí và độ trễ thấp hơn. Mô hình này phù hợp nhất cho các dự án mà chất lượng là yếu tố chính. Ngoài ra, nếu bạn cần hiệu suất thời gian thực (ví dụ: cho các ứng dụng tương tác), thời gian suy luận của mô hình tiên tiến này có thể không phù hợp. Luôn luôn đánh giá độ trễ của mô hình với các đầu vào đại diện trước khi tích hợp vào sản xuất.
Dựa trên thiết kế của mô hình cho việc chuyển đổi hình ảnh thành video, nó có thể tạo ra nhiều loại chuyển động khác nhau bao gồm chuyển động máy quay (zoom, pan, tilt), hoạt ảnh đối tượng (ví dụ: một người đang đi bộ, nước chảy), và những thay đổi tinh tế về bầu không khí (mây di chuyển, thay đổi ánh sáng). Phạm vi chính xác phụ thuộc vào dữ liệu huấn luyện. Người dùng nên thử nghiệm với các prompt khác nhau để điều chỉnh chuyển động. Mô hình gặp khó khăn với các hiệu ứng vật lý phức tạp hoặc thay đổi cảnh nhanh. Nó hoạt động tốt nhất với hình ảnh có sự tách biệt rõ ràng giữa tiền cảnh/hậu cảnh và độ chi tiết vừa phải.
AA I2V Arena (Image-to-Video Arena) là một chuẩn đánh giá xếp hạng các mô hình dựa trên đánh giá của con người về chất lượng video được tạo ra. Điểm số 1203.0 cho thấy kling-v2-1-master vượt trội hơn so với baseline với một biên độ đáng kể. Phương pháp đánh giá chính xác bao gồm các so sánh cặp: người đánh giá chọn video nào trong hai video khớp với hình ảnh đầu vào hơn và thể hiện chuyển động tự nhiên. Điểm số trên 1000 cho thấy hiệu suất trên mức trung bình. Điều này gợi ý rằng kling-v2-1-master tạo ra các video thuyết phục và trung thành với nguồn.
Bảng xếp hạng AA I2V Arena bao gồm các model từ nhiều nhà cung cấp khác nhau như Runway, Pika và Stability AI. Với số điểm 1203.0, kling-v2-1-master nằm gần vị trí cao nhất. Thứ hạng cụ thể và so sánh không được cung cấp trong các dữ kiện có sẵn, nhưng số điểm này ngụ ý rằng nó có tính cạnh tranh với các model thương mại hàng đầu. Người dùng muốn tìm kiếm chất lượng tạo video từ hình ảnh cao nhất nên cân nhắc model này. Tuy nhiên, kết quả benchmark có thể không phản ánh hiệu suất trên tất cả các loại hình ảnh; nên thử nghiệm trên nội dung cụ thể theo từng lĩnh vực.
Không có giới hạn chính thức nào được ghi lại trong các dữ kiện đã cung cấp. Tuy nhiên, với tư cách là một mô hình mạng nơ-ron, kling-v2-1-master có thể bộc lộ những điểm yếu phổ biến: khó khăn trong việc tạo chuyển động mạch lạc cho các hình ảnh trừu tượng cao hoặc lộn xộn, các hiện tượng giả tạo thỉnh thoảng như nhấp nháy hoặc biến dạng, và thời lượng video hạn chế (thường chỉ vài giây). Nó cũng có thể gặp khó khăn trong việc duy trì nhận dạng nhân vật nhất quán nếu có nhiều đối tượng tương tự. Hiệu suất của mô hình trên các phong cách phi nhiếp ảnh (hoạt hình, tranh vẽ) có thể khác nhau. Người dùng nên lưu ý rằng kết quả chất lượng cao thường yêu cầu kỹ thuật prompt cẩn thận và nhiều lần thử.
Tốc độ suy luận không được chỉ định trong các dữ kiện có sẵn. Đối với các mô hình chuyển đổi hình ảnh thành video tiên tiến, quá trình tạo thường mất từ vài chục giây đến vài phút, tùy thuộc vào tài nguyên tính toán, độ phân giải hình ảnh và độ dài video mong muốn. Khi sử dụng API của OrcaRouter, độ trễ chính xác sẽ phụ thuộc vào tải backend và phiên bản mô hình. Để lập kế hoạch sản xuất, nên đo độ trễ với các đầu vào điển hình. Có các mô hình nhanh hơn, nhưng chúng có thể hy sinh chất lượng. Nếu tốc độ là yếu tố quan trọng, hãy cân nhắc các mô hình có điểm chuẩn thấp hơn nhưng suy luận nhanh hơn.
Không có thông tin định giá cụ thể nào được cung cấp trong các dữ kiện có sẵn. Mô hình định giá của OrcaRouter thường tính phí theo mỗi lần gọi API dựa trên token đầu vào và đầu ra hoặc đơn vị sinh. Đối với các mô hình video, chi phí có thể cao hơn các mô hình văn bản do cường độ tài nguyên. Để có được mức giá hiện tại, hãy tham khảo tài liệu chính thức của OrcaRouter hoặc liên hệ với đội ngũ bán hàng của họ. Cũng có thể Kling áp dụng các khoản phí sử dụng riêng thông qua API. Luôn xác minh chi phí trước khi mở rộng quy mô sử dụng.
Các dữ kiện hiện có không đề cập đến các tùy chọn bộ nhớ đệm hoặc xử lý theo lô cho mô hình này. Tuy nhiên, OrcaRouter có thể cung cấp tính năng bộ nhớ đệm prompt hoặc giảm giá sử dụng lặp lại cho khách hàng có khối lượng cao. Đối với tạo video từ hình ảnh, việc xử lý theo lô là khó xảy ra vì mỗi yêu cầu có đầu vào hình ảnh khác nhau. Chiến lược tiết kiệm chi phí hiệu quả nhất là giảm các tham số chất lượng đầu ra (nếu được hỗ trợ) hoặc sử dụng mô hình rẻ hơn cho các tác vụ ít quan trọng. Hãy kiểm tra tài liệu của OrcaRouter để biết các tính năng tối ưu hóa có sẵn.
Không có dữ liệu định giá cụ thể, không thể thực hiện so sánh trực tiếp. Nhìn chung, các mô hình hiệu suất cao hơn như kling-v2-1-master có xu hướng tốn nhiều chi phí hơn cho mỗi lần tạo do kích thước mô hình lớn hơn và yêu cầu tính toán tăng lên. Các mô hình thay thế có thể mang lại chi phí thấp hơn nhưng đánh đổi chất lượng hoặc độ chân thực chuyển động. Để đánh giá hiệu quả chi phí, hãy chạy thử nghiệm với đầu vào đại diện và so sánh tổng chi phí so với chất lượng đầu ra với các mô hình khả dụng khác. Trang danh mục mô hình của OrcaRouter có thể liệt kê giá mỗi lần tạo cho từng nhà cung cấp.
Các yếu tố chi phí phổ biến bao gồm: độ phân giải và kích thước tệp hình ảnh đầu vào, độ dài và độ phân giải video đầu ra, phiên bản mô hình (v2.1-master so với các phiên bản cũ hơn), và bất kỳ tham số tùy chọn nào như số khung hình hoặc bước. Vì giá chính xác không được tiết lộ, người dùng nên giả định rằng các đầu ra lớn hơn hoặc dài hơn sẽ làm tăng chi phí. Ngoài ra, OrcaRouter có thể tính phí dựa trên lượng token sử dụng cho lời nhắc văn bản và bất kỳ tin nhắn hệ thống nào. Luôn kiểm tra với các cài đặt chính xác mà bạn dự định sử dụng để ước tính chi phí.
Gọi API với HTTP POST đến https://api.orcarouter.ai/v1/chat/completions (hoặc endpoint thích hợp theo tài liệu). Đặt tham số model thành "kling/kling-v2-1-master". Bao gồm khóa API của bạn trong header Authorization. Nội dung request phải tuân theo định dạng chat của OpenAI: một mảng messages chứa một system message (tùy chọn) và một user message. Đối với đầu vào hình ảnh, bao gồm một content part có type là "image_url" với ảnh dưới dạng chuỗi base64 hoặc URL. Tùy chọn, cung cấp một text prompt như một content part khác. Phản hồi sẽ bao gồm một message chứa video đã được tạo (có thể là URL hoặc base64).
Các tham số khả dụng ngoài hình ảnh bắt buộc có thể bao gồm: prompt (văn bản mô tả chuyển động mong muốn), negative_prompt (để loại trừ các hiệu ứng nhất định), duration (tính bằng giây) và resolution (chiều rộng x chiều cao). Tuy nhiên, không phải tất cả các tham số được hỗ trợ đều được ghi lại trong các dữ kiện được cung cấp. Tham khảo tài liệu API chính thức của Kling để biết danh sách tham số đầy đủ. Các tham số OpenAI tiêu chuẩn như temperature, top_p, max_tokens có thể không áp dụng; tạo video sử dụng các tùy chọn đặc biệt. OrcaRouter cũng có thể hỗ trợ trường metadata cho các ID do người dùng xác định.
Streaming các kết quả trung gian không được đề cập trong các dữ kiện có sẵn. Các mô hình tạo video thường không hỗ trợ streaming thực sự vì toàn bộ đầu ra phải được tạo trước khi phát lại. API có khả năng trả về một phản hồi đồng bộ sau khi quá trình tạo hoàn tất. Nếu cần phản hồi theo thời gian thực, hãy cân nhắc sử dụng polling bất đồng bộ hoặc webhooks nếu được hỗ trợ. Hãy kiểm tra tài liệu API của OrcaRouter để biết bất kỳ khả năng streaming nào cụ thể cho mô hình này.
Việc di chuyển yêu cầu thay đổi URL cơ sở thành https://api.orcarouter.ai/v1, cập nhật xác thực để sử dụng khóa API của OrcaRouter và điều chỉnh định danh mô hình thành "kling/kling-v2-1-master". Định dạng yêu cầu tương thích với OpenAI, vì vậy nếu API trước đây của bạn cũng tuân theo mẫu đó thì thay đổi mã nguồn là tối thiểu. Nếu API gốc của bạn sử dụng các tên tham số khác, hãy ánh xạ chúng cho phù hợp. Hãy thử nghiệm với một yêu cầu đơn giản trước. Lưu ý rằng OrcaRouter có thể có các giới hạn tốc độ hoặc giá cả khác nhau; hãy điều chỉnh hạn mức sử dụng của bạn.
Điểm số AA I2V Arena của kling-v2-1-master (1203.0) cho thấy nó vượt trội hơn nhiều lựa chọn thay thế về chất lượng. Runway Gen-3 Alpha là một mô hình tạo video cạnh tranh cũng hỗ trợ image-to-video. Nếu không có so sánh điểm chuẩn trực tiếp, nhận xét chung: cả hai đều tạo ra đầu ra chất lượng cao, nhưng kling-v2-1-master có thể vượt trội trong việc giữ lại chi tiết ảnh đầu vào, trong khi Runway có thể cung cấp suy luận nhanh hơn hoặc độ dài video dài hơn. Người dùng nên đánh giá cả hai dựa trên trường hợp sử dụng cụ thể của họ. OrcaRouter có thể cung cấp cả hai mô hình, cho phép thử nghiệm song song.
Pika 2.0 là một mô hình chuyển đổi ảnh thành video phổ biến khác. Điểm số AA I2V Arena là 1203.0 cho kling-v2-1-master cho thấy mô hình này được đánh giá cao trong các đánh giá của con người. Điểm số của Pika, nếu thấp hơn, sẽ gợi ý rằng kling có lợi thế về độ mượt của chuyển động và độ trung thực hình ảnh. Tuy nhiên, Pika có thể cung cấp khả năng kiểm soát sáng tạo hơn hoặc các tính năng chỉnh sửa cụ thể. Nếu không có so sánh chính thức, cách tốt nhất là thử nghiệm cả hai mô hình với cùng một hình ảnh và lời nhắc trên nền tảng OrcaRouter để xem mô hình nào đáp ứng yêu cầu về chất lượng và chi phí của bạn.
Stable Video Diffusion (SVD) là một mô hình mã nguồn mở nổi tiếng với khả năng tạo video nhất quán từ ảnh. Kling v2.1-master vượt trội hơn SVD trên chuẩn benchmark AA I2V Arena (điểm số của SVD không được cung cấp ở đây). Nếu chất lượng benchmark là ưu tiên của bạn, hãy chọn mô hình Kling. Tuy nhiên, SVD có thể chạy cục bộ mà không tốn phí API, phù hợp cho các dự án khối lượng lớn khi ngân sách quan trọng hơn chất lượng. API của OrcaRouter cung cấp quyền truy cập dễ dàng vào kling-v2-1-master mà không cần hạ tầng cục bộ.
from openai import OpenAI
client = OpenAI(
base_url="https://api.orcarouter.ai/v1",
api_key="$ORCAROUTER_API_KEY",
)
response = client.chat.completions.create(
model="kling/kling-v2-1-master",
messages=[{"role": "user", "content": "Hello"}],
)
print(response.choices[0].message.content)| Mỗi yêu cầu | $0.2800 |
| Tiền tệ | USD |
| Phí cố định mỗi cuộc gọi API (mô hình tạo ảnh) | |
GET /api/public/models/kling/kling-v2-1-masterMở @misc{orcarouter_kling_v2_1_master,
title = {kling/kling-v2-1-master API},
author = {kling},
year = {n.d.},
howpublished = {OrcaRouter},
url = {https://www.orcarouter.ai/models/kling/kling-v2-1-master}
}kling. (n.d.). kling/kling-v2-1-master API. OrcaRouter. https://www.orcarouter.ai/models/kling/kling-v2-1-master