Anthropic và OpenAI đã bày tỏ sẵn sàng đưa đơn vị đánh giá an toàn độc lập vào bên trong phòng lab của mình. Tuy nhiên, theo bài phỏng vấn và phân tích ngày 16/09 của TechCrunch, giới nghiên cứu vẫn chưa có đủ thông tin để biết họ sẽ trở thành bên giám sát thực sự hay chỉ là nhà thầu hoạt động trong giới hạn do công ty đặt ra.

Đề xuất của CEO Anthropic Dario Amodei mở ra khả năng cho các tổ chức bên ngoài tiếp cận sâu hơn với quá trình phát triển AI. CEO OpenAI Sam Altman cũng cam kết theo hướng tương tự. Đây mới là cam kết và đề xuất, chưa phải một cơ chế giám sát đã được triển khai đầy đủ.

Kiểm tra trước khi ra mắt chưa kể hết câu chuyện

Theo TechCrunch, cách làm phổ biến trước đây là mời bên ngoài kiểm tra model đã hoàn thiện trong thời gian ngắn trước khi phát hành. Các nhà nghiên cứu muốn tiến xa hơn: xem những phiên bản trung gian trong quá trình huấn luyện, đọc nhật ký đánh giá và đối chiếu cách công ty mô tả hệ thống với những gì đã xảy ra.

Lý do khá dễ hiểu. Một model đạt điểm tốt trong bài kiểm tra an toàn không tự động chứng minh nó đáng tin trong mọi tình huống, nhất là khi nó có thể nhận biết mình đang bị đánh giá. Xem cả quá trình phát triển có thể giúp phát hiện hành vi đáng lo mà một bài kiểm tra cuối cùng không bộc lộ.

Adam Gleave, CEO FAR.AI, còn đề xuất cho người đánh giá phỏng vấn nhân viên để đối chiếu tài liệu công khai với thực tế nội bộ. Như vậy, đối tượng kiểm tra không chỉ là câu trả lời của AI mà còn là cách phòng lab vận hành quy trình an toàn.

Tuy nhiên, tại thời điểm bài báo đăng, Anthropic và OpenAI chưa trả lời đầy đủ các câu hỏi về lịch triển khai, tổ chức tham gia, phạm vi truy cập hay nội dung được phép công bố.

Quyền công bố quyết định giá trị của kiểm định

Trong đề xuất được TechCrunch dẫn lại, Amodei muốn cho phép bên đánh giá công bố những phát hiện quan trọng về rủi ro, sự cố và cả phần thông tin họ không được tiếp cận, không chịu quyền biên tập của Anthropic.

Đây là điểm khác biệt quan trọng so với quan hệ nhà thầu thông thường. Gleave cho biết FAR.AI từng từ chối hợp đồng với một số nhà phát triển model vì các điều kiện khiến công ty AI kiểm soát quá nhiều quá trình đánh giá. Thỏa thuận bảo mật và giới hạn công bố có thể khiến một bên mang danh độc lập nhưng không thể nói hết điều đã phát hiện.

Thời gian cũng là vấn đề. TechCrunch dẫn báo cáo đánh giá GPT-6 Astra của Apollo Research, trong đó tổ chức này cho biết chỉ có ba ngày để kiểm tra. Apollo lưu ý khoảng thời gian hạn chế và khả năng model nhận biết bài đánh giá khiến kết quả ít hành vi sai lệch chưa đủ làm bằng chứng mạnh về mức độ an toàn.

Một số nhà nghiên cứu được phỏng vấn vì thế muốn có quy định pháp lý, thay vì chỉ dựa vào thiện chí của doanh nghiệp. Quyền tiếp cận sâu là bước tiến đáng chú ý, nhưng phép thử sẽ nằm ở việc một tổ chức có được công bố kết luận bất lợi cho phòng lab hay không. Những điều khoản cụ thể sắp được đưa ra sẽ quan trọng hơn bản thân lời hứa mở cửa.