OpenAI vừa chia sẻ những con số ấn tượng về Habitat, nền tảng lưu trữ nội bộ phục vụ cho toàn bộ hệ thống của công ty. Nền tảng này đã tăng trưởng 10 lần so với cùng kỳ năm trước, đạt hơn 20 triệu request mỗi giây khi vẫn còn chạy trên Python.
Con số 20 triệu request/giây không phải là một endpoint API đơn giản. Đây là nền tảng lưu trữ phục vụ cho mọi thứ từ việc lưu model weight, quản lý dữ liệu training, đến xử lý output của inference. Khi một người dùng gửi prompt đến ChatGPT, rất có thể dữ liệu liên quan đã đi qua Habitat ít nhất một lần.
Điều đáng ngạc nhiên là Habitat đạt con số này trong khi vẫn chạy trên Python. Python nổi tiếng chậm trong các tác vụ I/O nặng, nhưng OpenAI đã tối ưu hóa kiến trúc đến mức có thể xử lý tải ở quy mô chưa từng có. Tuy nhiên, có một giới hạn vật lý: ở mức 20 triệu req/s, Python bắt đầu trở thành nút thắt cổ chai.
Đó là lý do team đã quyết định rewrite sang Rust. Ngôn ngữ này cung cấp hiệu suất gần như native, quản lý memory an toàn mà không cần garbage collector, và phù hợp cho các hệ thống cần xử lý hàng triệu kết nối đồng thời. Đây cũng là xu hướng ngày càng phổ biến trong ngành: dùng Python cho prototype và research, rồi rewrite sang Rust hoặc Go cho production ở quy mô lớn.
OpenAI không phải công ty duy nhất đi theo con đường này. Discord đã rewrite hệ thống lưu trữ từ Go sang Rust, Dropbox chuyển metadata service từ Python sang Rust, và Cloudflare dùng Rust cho phần lớn hạ tầng edge. Nhưng quy mô của Habitat, 20 triệu req/s trước khi rewrite, cho thấy nhu cầu tính toán của AI inference đang ở mức mà hầu hết hệ thống truyền thống không theo kịp.
Câu hỏi đặt ra là sau khi rewrite, Habitat sẽ cán mốc bao nhiêu. Nếu tốc độ tăng trưởng 10x mỗi năm tiếp tục, con số 200 triệu req/s có thể xuất hiện trong năm tới, và lúc đó ngay cả Rust cũng có thể cần thêm các kỹ thuật tối ưu hóa nâng cao.