PGS.TS Tạ Hải Tùng (ĐH Bách khoa Hà Nội) băn khoăn: Nhóm tác giả lấy dữ liệu của các trường được gửi với mục đích khác nhau chưa chắc đã chuẩn. Chẳng hạn, một số xếp hạng (từng tiêu chí) mà nhóm công bố có rất nhiều điểm không hợp lý, dễ nhìn thấy.
Ví dụ, ở tiêu chí cơ sở vật chất và quản trị, ĐH Bách khoa Hà Nội đứng thứ 25, trong khi "bằng mắt thường" cũng biết khuôn viên, thư viện của ĐH Bách khoa Hà Nội hơn rất nhiều trường “top cao” trong bảng xếp hạng này.
Theo ông Tùng, việc tính toán số bài báo trên giảng viên cũng cần lưu ý. Như ĐH Bách khoa Hà Nội có khoảng 2.300 cán bộ, trong đó có khoảng 700 cán bộ phục vụ giảng dạy và phòng thí nghiệm. Vì vậy, nếu chia số bài báo cho 700 cán bộ này thì không đúng vì họ không thể công bố quốc tế được.
TS Phạm Thị Ly (ĐHQG TP.HCM) cũng cho rằng vấn đề của bảng xếp hạng nằm ở dữ liệu mà nhóm sử dụng.
"Ai cũng hỏi là dữ liệu ở đâu ra và kết quả có tin cậy hay không. Tuy nhiên, đó thực sự là một vấn đề của Việt Nam. Tôi từng trao đổi với một kiểm định viên kiểm định chất lượng các trường ĐH, bạn này cho biết báo cáo đánh giá của các trường chắc chắn không đúng sự thật. Đấy là thực tế của chúng ta, nên nếu xây dựng bảng báo cáo dựa trên số liệu không đáng tin cậy thì kết quả cũng không đáng tin cậy” – bà Ly nhận định.
Không bình luận về vị trí thứ 2 trong bảng xếp hạng, theo ông Lê Vinh Danh - Hiệu trưởng ĐH Tôn Đức Thắng, nhóm nên khảo sát tại các trường sau khi đã tiếp nhận số liệu, vì bản thân số liệu (giả định là đầy đủ) cũng chưa thể nói hết mọi việc.
Trao đổi về chất lượng dữ liệu của báo cáo, TS. Lưu Quang Hưng (chủ biên báo cáo xếp hạng) thừa nhận các nghiên cứu còn những hạn chế nhất định khi gặp khó khăn với hệ thống giáo dục đại học của Việt Nam, có nhiều phần khác với thông lệ chung của thế giới và sự minh bạch của dữ liệu còn hạn chế.
Chẳng hạn, chỉ số về "kết quả việc làm của sinh viên tốt nghiệp sau 6 tháng của trường", nhóm chỉ thu thập được thông tin của 15 cơ sở đào tạo. Do đó, đây không phải là một tiêu chí dùng để đánh giá trong bảng xếp hạng này. Nhóm đã tìm ra những tiêu chí thay thế mang tính xác thực hơn.
Tuy nhiên, nhóm vẫn nhấn mạnh về tính chất tham khảo cho xã hội, đồng thời mở ra phương pháp và tiền lệ đánh giá xếp hạng ĐH cho các năm tới.