Ông về làm giảng viên khoa điện, nay là Viện Điện của Đại học Bách khoa Hà Nội; rồi giữ chức Trưởng Phòng đào tạo đại học; sau đó là Phó hiệu trưởng phụ trách lĩnh vực khoa học công nghệ, đào tạo sau đại học, đào tạo quốc tế, truyền thông và quan hệ công chúng, trước khi trở thành Hiệu trưởng thứ 12 của Đại học Bách khoa Hà Nội.
Năm 2015, ông được bổ nhiệm Hiệu trưởng Trường đại học Bách khoa Hà Nội, tháng 8-2020 được bổ nhiệm là Chủ tịch hội đồng trường. Đến tháng 10-2020, ông được Thủ tướng bổ nhiệm
Thứ trưởng Bộ Giáo dục và Đào tạo.
Tháng 9-2025, ông Sơn được Thủ tướng bổ nhiệm Chủ tịch hội đồng, Giám đốc Đại học Quốc gia Hà Nội.
Ông Hoàng Minh Sơn, Giám đốc Đại học Quốc gia Hà Nội, được Thủ tướng Chính phủ điều động, giao quyền Bộ trưởng Bộ Giáo dục và Đào tạo từ 27-2.