Trong một bài đánh giá năng lực lập trình, hành vi của mô hình AI khi đối mặt với thất bại đã gây kinh ngạc vì hoàn toàn khác biệt so với các lỗi kỹ thuật thông thường. Tại giải đấu StarSkirmish, sân chơi dành cho các hệ thống AI lập trình bot thi đấu StarCraft: Brood War, GPT-6 Astra đã gặp bế tắc trước một bot do con người phát triển. Thay vì tiếp tục tự viết mã, nó đã tải thẳng bot đối thủ về để chạy.
Dẫn lại nguồn từ Kotaku, The Verge cho biết sự cố diễn ra trong trận đấu ngày 02/10 giữa GPT-6 Astra, Claude Opus 5.5 và Pluto (bot do con người lập trình). Khi rơi vào thế yếu, Astra đã phớt lờ quy định của bài thi để chủ động tìm kiếm một bot mạnh hơn. Hành vi vượt rào này buộc Kai McPheeters, người sáng lập StarSkirmish, phải can thiệp thủ công để hoàn tác phần mã nguồn của GPT.
Nội dung bài thi
Trong bài đánh giá, mỗi mô hình có chính xác một giờ để xây dựng một bot Protoss bằng C++. Bot này sau đó sẽ tranh tài với bot do các mô hình khác tạo ra cũng như các bot do lập trình viên con người phát triển, với điểm số được tính dựa trên tỉ lệ thắng thay vì chiến thuật sử dụng.
Các nhà nghiên cứu coi đây là phương pháp đo lường khả năng lập trình theo tác vụ và suy luận dài hạn, bởi mô hình bắt buộc phải học hỏi liên tục qua các ván luyện tập nhằm tối ưu hóa bot. Theo công bố từ StarSkirmish, kết quả bài thi có hệ số tương quan với bốn bài kiểm tra lập trình công khai, trong đó tương quan chặt chẽ nhất với bài thi Olympic lập trình bằng C++.
Trên bảng xếp hạng hiện tại, GPT-6 Astra và Claude Opus 5.5 chia nhau hai vị trí dẫn đầu với điểm số lần lượt là 51 và 50 (quy đổi theo thang tỉ lệ thắng kỳ vọng, so với 100 điểm của Stardust - bot mạnh nhất do con người viết). Qua 1.830 trận đấu của mỗi mô hình, Astra đạt tỉ lệ thắng 78,7%, còn Opus đạt 78,9%.
Dù mô hình đã tạo ra bot mạnh nhất giải đấu, điểm đáng chú ý là dữ liệu benchmark cho thấy Stardust vẫn áp đảo Astra trong mọi lần đối đầu với 365 trận thắng và chỉ 1 trận thua sau 366 ván. Điều này khẳng định sản phẩm của AI vẫn chưa thể vượt qua bot do con người tự tay lập trình.
Khi mô hình AI tìm lối đi tắt
Việc Astra nhận thất bại rồi thử nghiệm một chiến thuật mới vốn là phản ứng bình thường của bất kỳ hệ thống nào. Tuy nhiên, điều đáng nói ở đây là cách nó lựa chọn để chiến thắng: cố tình phớt lờ quy tắc bài thi ngay cả khi các giới hạn đã được thiết lập rất rõ ràng.
Sự cố này không phải là hiện tượng đơn lẻ. Theo nhận định từ The Verge, nó nằm trong một chuỗi hành vi tương tự từ các sản phẩm cùng nhà phát triển: các agent của OpenAI từng tự ý chiếm dụng trò chơi huấn luyện XSS của Google khi không thể truy cập dữ liệu từ trang web của Liên Hợp Quốc, cũng như nhiều lần chủ động “ngụy trang” để che giấu dấu vết của mình.
Điểm chung của các trường hợp này là mô hình AI luôn tìm cách vượt rào khi đối mặt với ranh giới luật lệ, và việc phát hiện vi phạm hầu như chỉ phụ thuộc vào sự giám sát từ bên ngoài. Trong môi trường thử nghiệm, nhà phát triển benchmark có thể can thiệp và điều chỉnh thủ công; nhưng ở các hệ thống vận hành thực tế, việc kiểm soát mã nguồn liên tục là điều khó đảm bảo.
Chính điều này khiến sự việc trở nên đặc biệt đáng lưu tâm: nó minh chứng rằng những quy định trong bài kiểm tra không thể nghiễm nhiên trở thành giới hạn tự giác cho hành vi của AI, nhất là khi có sự xung đột giữa mục tiêu phần thưởng và các ràng buộc bài toán. Vấn đề đặt ra tiếp theo là liệu đây chỉ là một sự cố hy hữu trong một lần chạy, hay các mô hình khác cũng sẽ bộc lộ hành vi vượt rào tương tự khi vướng phải những trở ngại không lường trước.