Kimi K2 là gì: mô hình agent mã nguồn mở của Moonshot AI

Thử hình dung thế này. Công ty anh đã có chatbot chăm sóc khách hàng chạy trên API của OpenAI. Hóa đơn mỗi tháng một tăng, sếp hỏi: "Có model nào rẻ hơn, mở hơn, mà vẫn biết tự tra đơn hàng không?". Anh mở Google, gặp cả chục cái tên lạ, cái nào cũng tự nhận là giỏi nhất.

Ngày 11/07/2025 có thêm một cái tên đáng để ý: Kimi K2 của Moonshot AI. Điểm làm nó khác đám đông là được thiết kế riêng cho việc làm agent, tức là tự gọi công cụ và tự xử lý việc nhiều bước, chứ không chỉ để trò chuyện.

Đọc nhanh trong 30 giây

• Kimi K2 là dòng mô hình ngôn ngữ lớn mở trọng số của Moonshot AI (Trung Quốc), công bố ngày 11/07/2025 trên GitHub và Hugging Face.
• Kiến trúc MoE: tổng 1 nghìn tỷ tham số, mỗi lần chỉ kích hoạt 32 tỷ. Mạnh ở gọi công cụ và lập trình kiểu agent.
• Dùng qua API tương thích chuẩn OpenAI và Anthropic, hoặc tự chạy bằng vLLM, SGLang, KTransformers, TensorRT-LLM.
• Hợp với đội đã có sản phẩm trên API và muốn thử phương án mở. Tự chạy thì cần cụm 16 GPU, không dành cho máy thường.

Kimi K2 là gì, dùng vào việc gì?

Kimi K2 là mô hình mixture-of-experts (MoE) có tổng 1 nghìn tỷ tham số, mỗi lần xử lý chỉ kích hoạt 32 tỷ, theo README của Moonshot AI.

Ví von cho dễ hình dung: Kimi K2 giống một căn bếp nhà hàng có 384 đầu bếp, mỗi người giỏi một món. Phiếu gọi món tới, bếp trưởng chỉ giao cho 8 người hợp món nhất, cộng một đầu bếp chung luôn đứng bếp. Nhà hàng rất lớn, thực đơn rất rộng, nhưng mỗi món chỉ tốn công của vài người.

Những con số đáng nhớ của Kimi K2, theo README của Moonshot AI.

README nêu ba điểm chính:

• Huấn luyện quy mô lớn: tiền huấn luyện trên 15,5 nghìn tỷ token. Theo Moonshot AI, quá trình này không gặp sự cố mất ổn định nào.
• Bộ tối ưu MuonClip: Moonshot AI đưa bộ tối ưu Muon lên quy mô rất lớn và tự phát triển thêm kỹ thuật để giữ huấn luyện ổn định.
• Trí thông minh kiểu agent: thiết kế cho việc gọi công cụ, suy luận và tự xử lý việc.

Thông số khác: ngữ cảnh 128K token, từ điển 160K, 61 lớp, cơ chế attention MLA.

Base hay Instruct, chọn bản nào?

Kimi K2 có hai bản, khác nhau như vải cây và áo may sẵn.

Phần lớn doanh nghiệp sẽ dùng bản Instruct.

Kimi K2 giỏi tới đâu theo công bố?

Theo bảng đánh giá trong README, Kimi-K2-Instruct đạt 65,8% trên SWE-bench Verified ở chế độ lập trình kiểu agent một lần thử, 53,7% trên LiveCodeBench v6, và 70,6 điểm trên Tau2 retail, một bài kiểm tra dùng công cụ trong tình huống bán lẻ. Trong cùng bảng, Claude Sonnet 4 không bật suy nghĩ mở rộng đạt 72,7% trên SWE-bench Verified, nên Kimi K2 chưa vượt mọi đối thủ đóng.

Lưu ý

Đây là số Moonshot AI tự công bố trong ngày ra mắt, bài báo kỹ thuật được ghi là sắp có. Coi đây là tín hiệu để thử, không phải kết luận để mua.

Hai cách dùng Kimi K2: gọi API hay tự chạy?

Kimi K2 dùng được theo hai đường: gọi API của Moonshot AI, hoặc tải trọng số về tự chạy. Đa số doanh nghiệp nên chọn API.

Gọi API nhẹ đầu tư, tự chạy giữ được dữ liệu trong nhà.

Cách 1: gọi API. README cho biết API có trên nền tảng platform.moonshot.ai, tương thích chuẩn OpenAI và Anthropic. Nó giống một ổ cắm theo chuẩn quen thuộc: thiết bị đang cắm vào ổ OpenAI hay Claude rút ra cắm sang là chạy, chỉ cần đổi địa chỉ, khóa và tên model. Với API kiểu Anthropic, nhiệt độ được quy đổi theo công thức real_temperature = request_temperature * 0.6.

Cách 2: tự chạy. Trọng số lưu ở định dạng block-fp8 trên Hugging Face. Moonshot AI khuyên dùng một trong bốn engine: vLLM, SGLang, KTransformers, TensorRT-LLM. Ví dụ lệnh vLLM trong hướng dẫn triển khai:

vllm serve $MODEL_PATH \
  --port 8000 \
  --served-model-name kimi-k2 \
  --trust-remote-code \
  --tensor-parallel-size 16 \
  --enable-auto-tool-choice \
  --tool-call-parser kimi_k2

Hai cờ --enable-auto-tool-choice và --tool-call-parser kimi_k2 bắt buộc nếu muốn model gọi công cụ. Moonshot AI khuyên đặt temperature = 0.6 cho bản Instruct.

Mẹo

Trong khai báo công cụ, hãy viết rõ "gọi khi nào" ở phần description. Model chọn công cụ dựa vào chính câu mô tả đó, mô tả càng cụ thể càng ít gọi nhầm.

Thử ngay: agent tra cứu đơn hàng

Quay lại chatbot ở đầu bài. Bộ phận chăm sóc khách hàng muốn trợ lý tự tra trạng thái đơn khi khách hỏi. Theo README, anh chị chỉ cần khai báo danh sách công cụ trong mỗi yêu cầu, model tự quyết định khi nào gọi và gọi thế nào, theo đúng chuẩn function calling của OpenAI:

tools = [{
    "type": "function",
    "function": {
        "name": "tra_cuu_don_hang",
        "description": "Tra trạng thái đơn hàng theo mã đơn. Gọi khi khách hỏi đơn của họ đang ở đâu.",
        "parameters": {
            "type": "object",
            "required": ["ma_don"],
            "properties": {
                "ma_don": {"type": "string", "description": "Mã đơn hàng"}
            }
        }
    }
}]

Vòng lặp chạy cho tới khi model trả lời bằng chữ thay vì gọi công cụ.

Vòng lặp xử lý giống ví dụ thời tiết trong README: gửi câu hỏi; nếu model trả về tool_calls thì chạy hàm, gửi kết quả lại; lặp tới khi model trả lời bằng chữ. Nếu anh chị đang so sánh các model mở, bài DeepSeek-R1 là gì là một mốc trước đó về mô hình suy luận mở trọng số.

Những điều cần cân nhắc trước khi dùng

• Giấy phép Modified MIT: dùng thương mại được. Điểm sửa đổi duy nhất là sản phẩm có trên 100 triệu người dùng hoạt động mỗi tháng hoặc doanh thu trên 20 triệu đô la Mỹ mỗi tháng phải hiển thị rõ chữ "Kimi K2" trên giao diện. Doanh nghiệp vừa và nhỏ ở Việt Nam gần như không chạm ngưỡng này.
• Tự chạy rất tốn máy: hướng dẫn triển khai ghi đơn vị nhỏ nhất cho bản FP8 với ngữ cảnh 128K là cụm 16 GPU loại H200 hoặc H20.
• Không có chế độ suy nghĩ dài: bản Instruct trả lời nhanh, không suy luận nhiều bước kiểu R1.
• Dữ liệu khi dùng API: dữ liệu đi tới máy chủ của Moonshot AI. Tài liệu trong repo không nói về nơi lưu trữ dữ liệu.
• Engine đang cập nhật: hướng dẫn triển khai tự ghi chú các lệnh mẫu chưa chắc là cấu hình tối ưu.

Nhận xét của chuyên gia

Khi tư vấn chọn model cho doanh nghiệp, tôi thấy nhiều nơi chọn theo bảng điểm hãng tự công bố, rồi vỡ mộng khi chạy với dữ liệu tiếng Việt của mình. Điểm SWE-bench cao chưa chắc đúng với văn bản hành chính hay dữ liệu bán hàng của anh chị. Kimi K2 đáng thử, nhưng thử bằng bài kiểm tra của chính mình.

Hợp với ai: đội đã có sản phẩm chạy trên API OpenAI hoặc Anthropic, muốn thử phương án mở cho phần agent; đơn vị có hạ tầng GPU riêng và cần giữ dữ liệu trong nhà.

Chưa hợp với ai: doanh nghiệp nhỏ muốn tự chạy trên máy chủ thường; nơi có quy định không cho gửi dữ liệu ra máy chủ nước ngoài; bài toán cần lập luận nhiều bước sâu.

Cách bắt đầu của tôi: gom 20 tới 30 câu hỏi thật của doanh nghiệp kèm đáp án đúng, chạy song song trên model đang dùng và Kimi K2 qua API, so độ chính xác, tốc độ, chi phí. Có số của chính mình rồi mới quyết.

Một câu để nhớ: model to không bằng model hợp, và chỉ dữ liệu của anh chị mới trả lời được câu "hợp" đó.

Câu hỏi thường gặp

Kimi K2 có miễn phí không?

Trọng số Kimi K2 mở theo giấy phép Modified MIT, tải về dùng được. Gọi qua API của Moonshot AI thì tính phí theo bảng giá của nền tảng, README không ghi giá.

Kimi K2 có chạy được trên máy tính cá nhân không?

Không. Theo hướng dẫn triển khai của Moonshot AI, bản FP8 với ngữ cảnh 128K cần tối thiểu cụm 16 GPU H200 hoặc H20. Người dùng thường nên gọi API.

Kimi-K2-Base và Kimi-K2-Instruct khác gì nhau?

Base là mô hình nền để fine-tune theo nhu cầu riêng. Instruct đã huấn luyện thêm để chat và làm agent, dùng được ngay.

Code đang dùng OpenAI có chuyển sang Kimi K2 được không?

Được, vì API của Moonshot AI tương thích chuẩn OpenAI và Anthropic theo README. Anh chị đổi địa chỉ API, khóa và tên model, rồi kiểm tra lại kết quả.

Xem các mốc khác trong dòng thời gian AI 2025 tới 2026.

Nguồn: MoonshotAI/Kimi-K2 trên GitHub, 11/07/2025.