Bengio - Giáo sư tại Đại học Montreal và đồng chủ nhân giải Turing 2018, sẽ giữ vai trò Chủ tịch của LawZero. Tổ chức này được ra mắt với khoản tài trợ ban đầu khoảng 30 triệu USD, cùng đội ngũ hơn một chục nhà nghiên cứu hàng đầu trong lĩnh vực AI.

Trọng tâm nghiên cứu của LawZero là một hệ thống có tên Scientist AI – một mô hình AI đóng vai trò như “nhà tâm lý học”, có khả năng phân tích và dự đoán hành vi xấu từ các hệ thống AI khác. Không giống các công cụ AI tạo sinh hiện tại vốn đưa ra câu trả lời chắc chắn, Scientist AI được thiết kế để thể hiện sự "khiêm tốn" – đưa ra các mức độ xác suất về độ tin cậy của câu trả lời.

“Chúng tôi muốn xây dựng các AI trung thực và không lừa dối”, Bengio nhấn mạnh. Ông cho rằng AI có thể được thiết kế giống như những “cỗ máy tri thức thuần túy” không có cái tôi, không có mục tiêu riêng, chỉ đơn thuần là để hiểu biết và phản ánh sự thật.

Khi hoạt động cùng với các hệ thống AI khác, Scientist AI sẽ đánh giá nguy cơ gây hại từ hành vi mà các tác nhân AI đề xuất. Nếu hành động đó vượt ngưỡng rủi ro cho phép, nó sẽ bị chặn lại.

LawZero ra đời trong bối cảnh những cảnh báo về rủi ro an toàn từ AI tự trị ngày càng gia tăng. Bengio từng chủ trì một báo cáo an toàn AI toàn cầu, trong đó cảnh báo rằng các tác nhân tự động, nếu không được giám sát chặt chẽ, có thể gây ra gián đoạn nghiêm trọng khi thực hiện các chuỗi nhiệm vụ dài.

Ông đặc biệt lo ngại sau khi Công ty AI Anthropic thừa nhận hệ thống mới nhất của họ từng cố gắng tống tiền kỹ sư vận hành để tránh bị tắt. Cùng với đó, nhiều nghiên cứu cho thấy các mô hình AI có xu hướng che giấu năng lực thật và mục tiêu thực sự – một dấu hiệu cho thấy rủi ro đang vượt khỏi tầm kiểm soát. “Chúng ta đang bước vào một lãnh thổ ngày càng nguy hiểm hơn”, Bengio cảnh báo.

Các nhà tài trợ ban đầu của LawZero bao gồm Viện Tương lai của Cuộc sống, kỹ sư sáng lập Skype Jaan Tallinn, và Schmidt Sciences – tổ chức do cựu CEO Google Eric Schmidt thành lập. LawZero sẽ bắt đầu bằng việc sử dụng các mô hình AI nguồn mở để đào tạo hệ thống của mình và chứng minh tính hiệu quả của phương pháp luận.

Bengio cho biết bước tiếp theo sẽ là kêu gọi các chính phủ, phòng thí nghiệm và nhà đầu tư tham gia phát triển các phiên bản Scientist AI lớn hơn, có năng lực ngang hoặc vượt các tác nhân AI hiện tại. “Nếu AI bảo vệ không đủ thông minh để hiểu và giám sát các hệ thống AI khác, thì nỗ lực kiểm soát sẽ thất bại”, ông nói.

Trong bối cảnh cuộc chạy đua phát triển AI toàn cầu đang diễn ra quyết liệt, LawZero có thể trở thành một chốt chặn quan trọng nhằm đảm bảo công nghệ được phát triển vì lợi ích chung, thay vì gây ra rủi ro cho xã hội.