Giới thiệu

Một trong những dự án thú vị nhất mà tôi may mắn được làm việc tại Intel là lãnh đạo nhóm kỹ sư được giao nhiệm vụ thiết kế, triển khai và triển khai nền tảng phần mềm cho phép đào tạo quy mô lớn dựa trên bộ xử lý Habana Gaudi® cho MLPerf. Tôi đã học được rất nhiều điều trong không gian Đào tạo AI Quy mô, cũng như những thách thức khi xây dựng một trung tâm dữ liệu. Một điều nổi bật là số lượng lớn phần cứng, lao động thủ công và năng lượng cần thiết để thúc đẩy một nỗ lực sử dụng máy tính nhiều như vậy.

Các giải pháp AI / ML hiện đại đã chỉ ra rằng với một lượng lớn tài nguyên máy tính, chúng ta có thể tạo ra các giải pháp tuyệt vời cho các vấn đề phức tạp. Các ứng dụng tận dụng các giải pháp như DALL · E và GPT-3 để tạo hình ảnh hoặc tạo các tài liệu nghiên cứu giống con người thực sự rất đáng kinh ngạc.

Trong khi đi nghỉ (xem hình trên), tôi đã dành thời gian suy nghĩ về sự bùng nổ về kích thước thông số mô hình trong vài năm qua và cách các máy gia tốc máy tính chạy đua theo kịp. Tôi đã tìm thấy bài đăng trên blog này, Các mô hình ngôn ngữ lớn: Định luật Moore mới? , từ những người ở HuggingFace mà tôi thấy thú vị, đặc biệt là vì họ hiểu các mô hình Deep Learning tốt hơn nhiều so với tôi.

Tôi tìm thấy sự so sánh của chúng với định luật Moore , giả định rằng số lượng bóng bán dẫn và do đó tính toán công suất tăng gấp đôi sau mỗi hai năm, đặc biệt thích hợp. Một sự tương tự khác xuất hiện trong tâm trí là vào cuối những năm 1990 và đầu những năm 2000, đã có một cuộc chạy đua mở rộng tần số CPU. Trong cả hai trường hợp, phần cứng máy tính phát triển nhanh chóng (thậm chí theo cấp số nhân), nhưng cuối cùng bắt đầu đi vào tình thế nguy hiểm.

Bài đăng trên blog HuggingFace mô tả cách giảm số lượng máy tính cần thiết để đưa một mô hình vào sản xuất. Đây là những kỹ thuật rất quan trọng, nhưng tôi nghĩ cũng quan trọng không kém là tìm ra các phương pháp luận thay thế để giải quyết các vấn đề tương tự một cách hiệu quả hơn. Cũng giống như khi tần số CPU đạt đến giới hạn, ngành công nghiệp máy tính chuyển sang tập trung vào tính song song / hướng dẫn trên mỗi chu kỳ (IPC) / v.v. Công việc của AI / ML trong thập kỷ qua đã cho chúng ta thấy một số ví dụ về những gì có thể xảy ra, bây giờ câu hỏi là chúng ta có thể cung cấp các giải pháp tương tự bằng cách sử dụng các kỹ thuật khác nhau, tối ưu hơn không.

Một số ứng cử viên thú vị

Rõ ràng, tôi không biết tất cả các nghiên cứu đang diễn ra trong không gian này, và tôi sẽ không bao giờ khẳng định điều đó, vì vậy đây là một danh sách nhỏ các kỹ thuật thú vị ít nhất cung cấp một số hứa hẹn trong các lĩnh vực khác nhau. Thay vì đi sâu và cố gắng tạo lại một số công việc tuyệt vời mà mọi người đã làm, tôi chủ yếu cố gắng đề cập đến thời điểm chúng ta có thể sử dụng những công nghệ này để giải quyết các vấn đề cũng có thể liên quan đến những nỗ lực trong AI / ML miền.

Tìm kiếm sự giống nhau

Tìm kiếm tương tự là một thuật toán gần đúng, láng giềng gần nhất (ANN) có thể được sử dụng để xác định các nhóm dữ liệu nhận làm đầu vào là một vectơ lớn. Nó lấy vectơ này và một cơ sở dữ liệu hiện có của các vectơ tương tự và cố gắng xác định vectơ nào trong cơ sở dữ liệu giống với vectơ đầu vào nhất. Điều thú vị về điều này là các vectơ có thể là bất cứ thứ gì, vì vậy các ứng dụng của tìm kiếm tương tự có thể rộng rãi. Ví dụ: nó có thể được sử dụng để xác định xem một số nội dung số hóa (hình ảnh / âm thanh / v.v.) có giống với các nội dung khác hay không.

Để có mô tả tốt hơn về cách tận dụng Tìm kiếm Tương tự và cách các kỹ thuật mới có thể cung cấp độ chính xác tốt với việc sử dụng điện năng tốt, hãy xem bài đăng này:

AI nhận thức đa phương thức

Như tên cho thấy, AI nhận thức đa phương thức là một lĩnh vực đang cố gắng đưa ra các giải pháp tồn tại trong các không gian khác nhau và kết hợp chúng với nhau một cách hợp lý để cung cấp ngữ cảnh. Điều này mở ra khả năng kết hợp nhiều mô hình được đào tạo bài bản với nhau để cung cấp các giải pháp tốt hơn. Tôi cũng đang tự hỏi điều này, liệu điều này có mở ra cánh cửa cho một số mô hình nhỏ hơn, kém chính xác hơn, ít tính toán hơn được tận dụng trong các giải pháp mà trước đây chúng có thể không có đủ độ chính xác nếu không có ngữ cảnh. Thành thật mà nói, tôi không chắc và rất muốn nghe ý kiến ​​từ nhiều chuyên gia tên miền hơn về việc liệu ý tưởng này có hợp lý hay không…

Thật thú vị, khi tôi chuẩn bị xuất bản bài đăng trên blog này, VL-InterpreT của Intel đã giành được giải thưởng demo tốt nhất tại sự kiện Hội nghị Quốc tế IEEE / CVF về Nhận dạng Mẫu và Thị giác Máy tính (CVPR) 2022! Công cụ này giúp chúng tôi hiểu cách hoạt động của máy biến áp Vision-Languange.

Điện toán thần kinh

Tính toán thần kinh có lẽ là yêu thích của tôi trong cả ba cách tiếp cận này, có thể vì nó có một thành phần phần cứng, hoặc có thể vì trong tâm trí tôi, nó là một giai đoạn khác trong mô hình AI / ML.

Lần đầu tiên tôi biết về mạng nơ-ron, một trong những nền tảng chính của thuật toán học sâu, khi tôi học đại học hơn 20 năm trước. Khái niệm này có ý nghĩa vào thời điểm đó, các lớp rời rạc truyền thông tin cho nhau bằng các kết nối và các phép toán trong một nút / lớp. Khi được mô tả trong sách giáo khoa là tương tự như cách thức hoạt động của bộ não, tôi chấp nhận nó bằng mệnh giá.

Điều thú vị về tính toán neuromorphic là nó sử dụng phần cứng để bắt chước chính xác hơn cách thức hoạt động của các neuron trong hệ thần kinh. Thay vì có bộ nhớ và lưu trữ được chia sẻ tập trung, một chip thần kinh đa hình có một số lõi riêng lẻ với bộ nhớ cục bộ và bộ lưu trữ riêng của chúng. Các lõi được kết nối hoàn toàn với nhau, điều này cho phép vô số luồng giao tiếp giữa các lõi. Ngoài ra, các thuật toán cho một hệ thống tính toán thần kinh đa hình có thể tính đến nhiều yếu tố đầu vào khác nhau, chẳng hạn như tốc độ đầu vào theo thời gian hoặc các khoảng thời gian tăng đột biến.

Do đó là một cách tiếp cận tương đối mới để giải quyết vấn đề, nó đòi hỏi một số mô hình lập trình mới. Intel, với tư cách là một trong những công ty hàng đầu trong lĩnh vực nghiên cứu phần cứng, đã tạo ra một khung phần mềm nguồn mở có tên là Lava để giúp các lập trình viên tận dụng các khả năng của phần cứng. Lava hỗ trợ các thuật toán giống như học sâu, cũng như các loại thuật toán khác.

Một lợi ích tiềm năng to lớn của tính toán thần kinh đa hình là phần cứng này thường có thể cung cấp giải pháp cho một số vấn đề trong không gian AI với chi phí năng lượng chỉ bằng một phần nhỏ. Còn rất nhiều việc phải làm, nhưng công việc ban đầu trong lĩnh vực này rất thú vị và rất hứa hẹn. Ngoài ra, tính toán thần kinh có thể cung cấp giải pháp cho các vấn đề không dễ giải quyết thông qua các phương pháp tính toán truyền thống. Nó không chỉ là tối ưu hóa phần cứng AI mà còn là một cách hoàn toàn mới để suy nghĩ về máy tính.

Liên kết đầu tiên ở đây là một nguồn tài nguyên tuyệt vời, họ có một cái nhìn tổng quan thực sự tốt đẹp và có một số hội thảo với một số video tổng quan và chuyên sâu thực sự dễ hiểu.

Sự kết luận

Có rất nhiều lĩnh vực nghiên cứu thú vị trong không gian AI / ML dường như đang cho phép mình tạo ra các giải pháp hiệu quả hơn, đòi hỏi ít sức mạnh tính toán hơn. Sẽ luôn có không gian dành cho AI / ML chuyên sâu về máy tính và rất nhiều công việc thông báo khả năng kết quả mà không gian có thể mang lại.

Tuy nhiên, khi các mô hình ngày càng lớn hơn và chúng ta đạt đến điểm giảm dần lợi nhuận về độ chính xác và khả năng đào tạo, các phương pháp thay thế mới để giải quyết các vấn đề tương tự đòi hỏi ít máy tính quy mô lớn hơn đang trở nên hoàn thiện hơn.

Tìm kiếm sự tương đồng, AI nhận thức đa phương thức và tính toán thần kinh đa hình là những ví dụ về các cách tiếp cận như vậy, tôi rất muốn nghe những cách tiếp cận mới lạ khác mà tôi nên kiểm tra, hãy cho tôi biết trong phần bình luận hoặc trên Twitter!

Want to Connect?If you want to see what random tech news I’m reading, you can follow me on Twitter.
Tony is a Software Architect and Technical Evangelist at Intel. He has worked on several software developer tools and most recently led the software engineering team that built the data center platform which enabled Habana’s scalable MLPerf solution.
Intel, the Intel logo and other Intel marks are trademarks of Intel Corporation or its subsidiaries. Other names and brands may be claimed as the property of others.