Tại sự kiện Dev Day hôm thứ Ba, CEO OpenAI Sam Altman giới thiệu Decisions API, một loại API này có chức năng giống Jev, mô hình mà TypeSafe AI phát hành đầu tháng này và dành riêng cho tự động hóa phần mềm.

Jev được thiết kế để không sinh chuỗi

Jev là loại model mà TypeSafe gọi là “System One”, lấy tên từ cách phân biệt trong Thinking, Fast and Slow của Kahneman giữa tư duy nhanh trực giác và tư duy chậm có cân nhắc. Điểm khác biệt cốt lõi so với LLM thông thường: Jev không sinh chuỗi ký tự. Đầu vào là trạng thái có cấu trúc, đầu ra là quyết định có kiểu dữ liệu xác định trước kèm xác suất đã hiệu chuẩn.

CEO TypeSafe, Diogo Almeida, là cựu kỹ sư OpenAI từng đồng sáng lập phương pháp học tăng cường, và Jev chạy song song toàn bộ đầu ra trong một truy vấn thay vì sinh tuần tự từng token. Theo TechCrunch, ông biết OpenAI quan tâm và đã trêu đùa trên X về “mở đầu cuộc chiến bản sao”.

Altman mô tả Decisions API là cách đưa cho mô hình Luna một tập lựa chọn định trước để chọn giữa, chẳng hạn các nhóm phân loại ảnh hoặc các hành vi khác nhau của agent. Ông nói: “Bằng cách tập trung mô hình vào lựa chọn đó, chúng ta có thể làm nó cực nhanh trong khi vẫn giữ được khả năng hiểu ảnh, hỗ trợ ngôn ngữ rộng và các lớp bảo vệ an toàn.”

Ý nghĩa đối với việc vận hành model

Theo báo cáo từ TechCrunch, trước hàng loạt sự cố agent vận hành sai lệch trên mạng Internet mở, OpenAI đã triển khai một mô hình riêng chuyên giám sát các vi phạm an toàn, nhưng giải pháp này đòi hỏi ngân sách vận hành rất đắt đỏ. 

Nhận thấy các mô hình như Jev có thể tối ưu hóa bài toán chi phí này, Shapor Naghibzadeh, chuyên gia an ninh mạng dày dạn kinh nghiệm kiêm sáng lập QueryStory, đã phát triển một bản demo tại đợt hackathon gần đây. Giải pháp dùng Jev thực hiện đối soát mọi thao tác của agent so với mục tiêu ban đầu: ngay lập tức ngăn chặn các vi phạm rõ ràng, chuyển các dấu hiệu nghi ngờ cho con người kiểm duyệt, và cho phép các tác vụ an toàn tiếp tục triển khai.

Sự chênh lệch về mặt kinh tế do TechCrunch chỉ ra vô cùng ấn tượng: quy trình giám sát này chỉ tiêu tốn 2,94 USD nếu vận hành qua Jev, trong khi sẽ tiêu tốn tới 372 USD nếu sử dụng một LLM hàng đầu. Mức giảm chi phí hơn 100 lần này chính là chìa khóa giúp lớp phòng thủ an ninh, vốn không khả thi trước đây, trở nên hoàn toàn khả thi.

Theo phân tích của Naghibzadeh, lớp rà soát giá rẻ này hoàn toàn đủ sức ngăn ngừa sự cố Hugging Face từng được đề cập ở bài viết trước. Trọng tâm vấn đề rất đơn giản: khi chi phí giảm xuống mức tối thiểu, Jev cho phép thiết lập chế độ kiểm soát trên tất cả thao tác của agent, một tầng bảo vệ chưa từng xuất hiện do giới hạn ngân sách trước đó.

Phần chưa rõ

Mặc dù TypeSafe giữ thái độ im lặng trước các câu hỏi từ phía TechCrunch, Almeida lại tỏ ra rất hứng thú. Ông đưa ra giả thuyết rằng sự chú ý từ OpenAI có thể là tín hiệu cho thấy hướng đi tương thích với System One chính là xu thế tiếp theo của ngành, dù đây vẫn chỉ là nhận định cá nhân.

Điểm đáng chú ý nhất hiện tại là Decisions API mới chỉ dừng lại ở phiên bản thử nghiệm giới hạn. Theo TechCrunch, chưa ghi nhận bất kỳ nhà phát triển nào thử nghiệm thực tế công cụ này, do đó, mức độ tương đồng giữa nó và Jev vẫn còn là một ẩn số.

Ngoài những thông tin trong bài viết của TechCrunch, phần FAQ từ TypeSafe cũng hé lộ thêm một chi tiết quan trọng về lý do yếu tố “nhanh và rẻ” không tạo nên lợi thế cạnh tranh cốt lõi. Theo Almeida: “Nhanh và rẻ rất đơn giản, bất kỳ ai cũng có thể làm được - chẳng hạn như việc gieo xúc xắc. Thách thức thực sự nằm ở trí tuệ.” Ông nhấn mạnh rào cản thực sự chính là nguồn dữ liệu tổng hợp giúp tạo ra các xác suất mang ý nghĩa thống kê, và đây mới là lợi thế cạnh tranh chiến lược của họ. Do đó, nếu OpenAI thực sự dấn thân vào hướng đi này, cuộc đua sắp tới sẽ không nằm ở quy mô tham số mà phụ thuộc vào chất lượng dữ liệu.

Song song đó, bản thân TypeSafe vẫn chưa thể đưa ra lời giải cho một bài toán quan trọng: mức độ hiệu chuẩn của các mô hình quyết định này chính xác đến đâu khi so sánh với dữ liệu thực tế. Almeida giải thích rằng điều này phụ thuộc vào việc liệu xác suất do mô hình dự báo có khớp với tần suất xảy ra ngoài đời thực hay không — một tiêu chuẩn mà toàn ngành hiện vẫn chưa thống nhất cách đo lường.

Cuối cùng, yếu tố cốt lõi cần quan sát không phải là liệu OpenAI có thể tái tạo thành công Jev hay không, mà là có bao nhiêu agent sẽ thực sự triển khai lớp giám sát này cho mỗi tác vụ khi chi phí được tối ưu hóa xuống mức cực thấp.