Trong những năm gần đây, mạng nơ ron sâu (Deep Neural Network – DNN) đã có những đóng góp quan trọng trong những ứng dụng của học máy như nhận dạng ảnh [1, 2, 3], nhận dạng vật thể [4, 5], xử lý ngôn ngữ tự nhiên [6, 7] và thông hiểu cảnh quan [8]. Tuy nhiên quá trình thực thi các mạng nơ ron sâu và phức tạp thường yêu cầu rất nhiều năng lực tính toán của phần cứng, đồng thời tiêu tốn nhiều năng lượng. Một hướng nghiên cứu để giải quyết vấn đề trên là áp dụng mạng nơ ron xung (Spiking Neural Network -SNN). SNN đã được ứng dụng rất rộng rãi trong các mô hình để mô phỏng và tìm hiểu cách thức não bộ con người hoạt động. Trong những năm gần đây, SNN đã trở thành một mô hình tính toán mới với hiệu quả năng lượng cao cho các ứng dụng của học máy, với các ưu điểm về việc có thể giúp giảm độ phức tạp tính toán mà vẫn đảm bảo độ chính xác của ứng dụng. Tuy nhiên thách thức chính của mạng SNN là việc tìm ra một thuật toán huấn luyện cho SNN hiệu quả, yêu cầu tốn ít bộ nhớ và có thể thực thi được trên các nền tảng phần cứng nhúng.
Để giải quyết khó khăn nêu trên, nhóm nghiên cứu của phòng Công nghệ mạng và Truyền thông, Viện Công nghệ Thông tin, Đại học quốc gia Hà Nội đã đề xuất một thuật toán huấn luyện ngoại tuyến với SNN, với các trọng số của mạng được biểu diễn dưới dạng tam phân (được thể hiện với 2-bit). Thuật toán đề xuất giúp giảm yêu cầu bộ nhớ lên đến 16 lần so với việc lưu trữ các trọng số với độ chính xác dấu phẩy động. Ngoài ra, qua kết quả mô phỏng phần mềm trên tập dữ liệu nhận dạng chữ số viết tay MNIST và nhận dạng ảnh CIFAR10, kết quả cho thấy thuật toán huấn luyện đề xuất có thể đạt độ chính xác tương đương với các thuật toán huấn luyện hang đầu hiện nay cho SNN. Hình 1 mô tả lưu đồ của thuật toán huấn luyện đề xuất.
Hình 1 Thuật toán huấn luyện đề xuất
Để đánh giá và kiểm tra hiệu quả của thuật toán huấn luyện đề xuất, nhóm nghiên cứu đã thiết kế và phát triển thành công một kiến trúc phần cứng với hiệu quả cao, yêu cầu công suất thấp và chi phí phần cứng thấp. Kết quả thực thi phần cứng cho thấy mức tiêu thụ năng lượng của kiến trúc đề xuất đạt mức 74nJ/ảnh, tốt hơn từ 2-3 lần so với các công trình công bố trước đây. Hình 2 mô tả layout của kiến trúc phần cứng khi được thực thi trên công nghệ 65nm của TSMC.
Hình 2 Layout của thiết kế kiến trúc phần cứng
Kết quả của công trình nghiên cứu đã được đăng trên tạp chí Microprocessor and Microsystems (SCIE) vào ngày 05/02/2022. Đường link của bài báo có thể được tìm thấy ở đây:
