Một nhóm nhà nghiên cứu tại Massachusetts Institute of Technology (MIT) vừa công bố một phương pháp mới giúp tăng hiệu quả huấn luyện các mô hình AI lớn hơn gấp đôi mà không cần đầu tư thêm GPU mới, mở ra hướng tiếp cận tiết kiệm chi phí và năng lượng cho phát triển AI. Ra đời trong bối cảnh nhu cầu phát triển mô hình ngôn ngữ lớn (LLM) và AI reasoning không ngừng tăng, giải pháp này có thể thay đổi cách huấn luyện AI ở quy mô doanh nghiệp và nghiên cứu.

Sức ép từ chi phí huấn luyện AI hiện nay

Huấn luyện các mô hình ngôn ngữ lớn (LLM) ngày càng đòi hỏi khối lượng tính toán khổng lồ. Phần lớn thời gian và chi phí bị “lãng phí” khi GPU chờ xử lý các tác vụ chậm trong giai đoạn đào tạo, đặc biệt là các bước như reinforcement learning (học củng cố). Trong nhiều trường hợp, tới 70–85% thời gian huấn luyện bị chiếm bởi những đoạn chờ GPU hoàn thành tác vụ trước khi tiến hành bước tiếp theo.

“Taming the Long Tail” – ý tưởng đột phá của MIT

Để giải quyết vấn đề này, nhóm nghiên cứu MIT phát triển một hệ thống gọi là Taming the Long Tail (TLT) – thuần hóa đuôi phân phối dài – nhằm sử dụng triệt để thời gian nhàn rỗi của GPU thay vì để tài nguyên rảnh không được sử dụng. Ý tưởng chính gồm hai cơ chế quan trọng:

1. Adaptive Drafter Trainer

Thay vì bỏ GPU nhàn rỗi, TLT sử dụng thời gian này để huấn luyện một mô hình hỗ trợ nhỏ gọn (draft model) ngay trên CPU/GPU rảnh, giúp mô hình chính học nhanh hơn mà không chiếm tài nguyên bổ sung. Draft model này được huấn luyện liên tục song song với mô hình chính, giữ khả năng dự đoán gần nhất với trạng thái hiện tại để sử dụng trong các tác vụ tiếp theo.

2. Adaptive Rollout Engine

Cơ chế này tối ưu quá trình speculative decoding – một phương pháp dùng mô hình draft để dự đoán và xác minh token song song thay vì tạo từng token một. Việc này giúp xử lý nhiều token đồng thời và giảm đáng kể thời gian chờ GPU giữa các bước.

Kết quả ấn tượng: gấp đôi tốc độ không cần thêm GPU

Trong thử nghiệm với nhiều mô hình reasoning LLM và dữ liệu thực tế, TLT đã tăng tốc độ huấn luyện từ 70% đến 210% so với phương pháp truyền thống, đồng thời giữ nguyên độ chính xác mô hình. Điều này có nghĩa là: với cùng lượng GPU hiện có, tổ chức có thể hoàn thành huấn luyện nhanh hơn gấp đôi mà không cần đầu tư thêm phần cứng chuyên dụng.

Ý nghĩa đối với lĩnh vực AI và doanh nghiệp

Phương pháp này mang đến lợi ích lớn trong bối cảnh doanh nghiệp và nhóm nghiên cứu phải đối mặt với chi phí điện năng, phần cứng và thời gian huấn luyện ngày càng tăng:

• Tiết kiệm chi phí đầu tư GPU: không cần thêm GPU vật lý mà vẫn tăng hiệu suất.
• Tăng hiệu quả điện năng: tận dụng thời gian nhàn rỗi của hệ thống thực thi nhiều tác vụ hữu ích hơn.
• Rút ngắn vòng đời phát triển mô hình: đặc biệt hữu ích cho các tổ chức muốn thử nghiệm nhanh nhiều biến thể mô hình khác nhau.

Giới chuyên môn nhận định đây là bước tiến quan trọng trong bottleneck tính toán của AI, giúp vượt qua nút thắt phụ thuộc hoàn toàn vào phần cứng đồ sộ.

Tầm nhìn trong tương lai

Nhóm nghiên cứu cho biết sẽ tiếp tục mở rộng ứng dụng TLT sang các trường hợp huấn luyện khác và kiểm tra tích hợp với các framework hiện có như reinforcement learning và inference. Mục tiêu là tạo ra một hệ sinh thái phần mềm tối ưu giúp bất kỳ mô hình AI nào cũng có thể được huấn luyện nhanh hơn, hiệu quả hơn, mà không khiến chi phí tăng theo cấp số nhân.

Tóm lại

Nghiên cứu của MIT về phương pháp tăng tốc huấn luyện AI bằng cách tận dụng thời gian GPU nhàn rỗi là một bước đột phá cho phép gấp đôi tốc độ học mà không cần thêm GPU mới. Giải pháp này giúp tổ chức giảm chi phí, rút ngắn thời gian phát triển mô hình và tăng năng lực cạnh tranh trong cuộc đua AI toàn cầu