Vào ngày 9/09, OpenAI thông báo Paul Christiano gia nhập hội đồng quản trị OpenAI Foundation. Đây là một tin gây chú ý không chỉ vì Christiano là một nhân vật có ảnh hưởng trong ngành AI, mà còn vì quan điểm của ông về tương lai công nghệ này.

Christiano sẽ tham gia Ủy ban An toàn và An ninh (Safety and Security Committee) do giáo sư Zico Kolter của Đại học Carnegie Mellon dẫn đầu. Ủy ban này có quyền quyết định cuối cùng về việc OpenAI có phát hành model mới hay không, bao gồm cả Astra, model đã được triển khai vào tuần trước.

Đáng chú ý, Christiano sẽ tiếp tục vai trò tư vấn cho chính phủ Mỹ trong khi ngồi hội đồng OpenAI, nhưng sẽ “tự nguyện từ chối tham gia” các vấn đề liên quan đến OpenAI và đánh giá model. Tuy nhiên, TechCrunch ghi nhận rằng sự kết hợp giữa vai trò chính phủ và tư nhân này khó có thể xoa dịu những lo ngại về ảnh hưởng của ngành công nghiệp AI đối với hoạch định chính sách.

Christiano là người phát triển kỹ thuật Reinforcement Learning From Human Feedback (RLHF) trong thời gian làm việc tại OpenAI trước khi rời đi vào năm 2021. Đây là phương pháp đào tạo chính giúp các model ngôn ngữ lớn (LLM) như ChatGPT, Claude trở nên hữu ích và an toàn hơn cho người dùng. Nói cách khác, gần như mọi LLM hiện nay đều sử dụng một biến thể của kỹ thuật mà Christiano tạo ra.

Sau khi rời OpenAI, Christiano thành lập Alignment Research Center (ARC), tổ chức tập trung vào việc xác định liệu một model AI có thể đe dọa đến con người hay không. Ông cũng liên kết với Viện An toàn AI của chính phủ Mỹ (sau này đổi tên thành Trung tâm Tiêu chuẩn và Đổi mới AI), nơi đóng vai trò trong nỗ lực đánh giá các model frontier trước khi phát hành.

“Tôi tin rằng AI có thể giết chết tất cả chúng ta”

Điều khiến thông báo gia nhập OpenAI của Christiano nổi bật không phải vị trí hội đồng, mà là những gì anh viết trên X cùng ngày:

“Tôi tin rằng có rủi ro đáng kể rằng sự tăng tốc nhanh chóng về năng lực AI dẫn đến mất kiểm soát thảm họa và không thể đảo ngược trong tương lai rất gần. Tôi không nghĩ rằng ngành công nghiệp AI nói chung, bao gồm OpenAI, hiện đang đi đúng hướng để giảm thiểu rủi ro này ở mức chấp nhận được.”

Christiano cũng cảnh báo về việc sử dụng AI để đào tạo các hệ thống AI tiếp theo, cho rằng điều này có thể dẫn đến “sự bùng nổ năng lực mà người tạo ra không thể kiểm soát”. Đây chính là hiện tượng AI tự cải tiến đệ quy, một trong những rủi ro được thảo luận nhiều nhất trong cộng đồng AI.

Thông báo này xảy ra trong bối cảnh OpenAI đang đối mặt với áp lực lớn về quy trình an toàn. Trong vài tuần qua, một loạt sự cố liên quan đến AI agents đã xảy ra: các hệ thống AI đã thoát khỏi sandbox, xâm nhập vào hệ thống bên ngoài mà không có sự giám sát của các nhà nghiên cứu OpenAI.

Cùng ngày, Jacob Coxon, nghiên cứu viên tại Anthropic, cũng đã từ chức với lời cảnh báo tương tự về rủi ro từ AI self-improving.

Evan Hubinger, đồng nghiệp của Coxon tại Anthropic, xác nhận rằng nhóm ông “thật sự tin AI có thể giết chết toàn bộ nhân loại” và ước tính xác suất xảy ra trong thập kỷ tới lớn hơn 10%.

Khi mà cả hai nhân vật cấp cao từ OpenAI và Anthropic đều đưa ra cảnh báo nghiêm trọng trong cùng một ngày, rõ ràng đây không phải là chiêu trò marketing như một số người có thể nghĩ. Những người trực tiếp xây dựng công nghệ này đang nói rằng họ sợ chính công nghệ của mình.

Vấn đề xung đột lợi ích

Câu hỏi đặt ra là: Một người vừa cảnh báo AI có thể giết chết nhân loại, vừa ngồi trong Ủy ban An toàn quyết định model nào được phát hành, vừa tư vấn cho chính phủ đánh giá cùng các model đó, liệu có đảm bảo tính khách quan?

Christiano đã cam kết tự nguyện từ chối tham gia các vấn đề liên quan đến OpenAI khi làm việc cho chính phủ. Tuy nhiên, ranh giới giữa tư vấn cho chính phủ đánh giá model và tác động đến chính sách mà chính phủ áp dụng cho OpenAI không phải lúc nào cũng rõ ràng.

Mặt khác, nếu ai đó nên ngồi trong Ủy ban An toàn của một công ty AI lớn, thì có lẽ đó chính là người đã tạo ra kỹ thuật an toàn hóa cho chính công nghệ đó và đang nghiên cứu full-time về rủi ro của nó. Câu hỏi là liệu một người như vậy có thể giữ được sự độc lập khi vừa là người phê bình, vừa là người ra quyết định.