Hình 1 – Kiến trúc xử lý song song CUDA cho tính toán trên GPU

Cùng với sự thay đổi về tên gọi, cấu trúc của cây thư mục CUDA SDK cũng được thay đổi. Trong CUDA phiên bản 2.3, chúng ta có thể quan sát thấy có một thư mục con tên ‘C’ chứa tổng cộng 75  chương trình mẫu viết bằng ngôn ngữ C/C++. Với CUDA 3.0, chúng ta sẽ có thêm 2 thư mục con nữa cho giao diện lập trình ứng dụng mới trong Windows 7 do Microsoft đưa ra gọi là DirectCompute và giao diện lập trình song song chuẩn mở OpenCL được giới thiệu bởi Apple. Số lượng các chương trình mẫu cũng tăng lên, với 77 chương trình được viết bằng C/C++, 30 chương trình viết dựa trên OpenCL, và 4 chương trình viết dựa trên DirectCompute.

Với số lượng khá lớn các ứng dụng mẫu trong bộ GPU Computing SDK cùng các kỹ thuật phức tạp được sử dụng trong đó, người mới học lập trình CUDA sẽ bị choáng ngợp và không biết nên bắt đầu từ đâu. Mục đích của loạt bài viết này là nhằm giúp các bạn tiếp cận có hệ thống với các kỹ thuật lập trình song song bằng CUDA từ đơn giản đến phức tạp thông qua việc phân tích chi tiết các mã nguồn có trong bộ SDK này.

Trước hết tôi sẽ giới thiệu cách thức cài đặt và tổ chức của nó trên 2 hệ điều hành thông dụng nhất là Windows và Linux. 

Để chạy được các ứng dụng trong bộ GPU Computing SDK, cũng như các ứng dụng được viết dựa trên công nghệ CUDA khác, sau đây là những thứ bạn phải có trên hệ thống máy tính của mình:

• NVIDIA GPU có hỗ trợ CUDA. Danh sách chi tiết có ở đây:
  http://www.nvidia.com/object/cuda_gpus.html
  Trong trang này, phần ‘Frequently Asked Questions’ sẽ chỉ cho bạn cách kiểm tra đời GPU trên máy của mình, và xác định xem liệu nó có chạy được ứng dụng CUDA hay không.
• Trình điều khiển thiết bị CUDA. Bạn có thể download nó ở link tôi đã chỉ ra trên phần đầu của bài viết này, tùy theo hệ điều hành bạn sử dụng là Windows hay Linux, 32-bit hay 64-bit, máy của bạn ở dạng PC hay notebook hay máy chủ. Các trình điều khiển được liệt kê trong link tôi đã nêu là những trình điều khiển đã được kiểm tra chạy tốt với CUDA phiên bản 2.3 và bạn có thể dùng nó khi học CUDA. Tuy nhiên, do sự thật là trình điều khiển thiết bị CUDA được nhúng bên trong trình điều khiển thiết bị đồ họa tương ứng với GPU của bạn do NVIDIA cung cấp, bạn cũng có thể cài đặt bản mới nhất thích hợp cho máy của mình theo hướng dẫn ở trang này:
  http://www.nvidia.com/Download/index5.aspx?lang=en-us
  Nếu máy của bạn ở dạng PC, bạn nên sử dụng mục có tựa là ‘Download The Latest Graphics Drivers For Your Desktop PC!’, còn nếu bạn dùng notebook thì nên nhìn sang cột bên trái, click vào chỗ có tựa là ‘NVIDIA Verde Notebook Driver Program’. Link trực tiếp cho notebook driver ở đây:
  http://www.nvidia.com/object/notebook_drivers.html
  Trình điều khiển thiết bị đồ họa do NVIDIA cung cấp cho PC trên Windows thường có phiên bản mới nhanh hơn so với Linux. Ở thời điểm của bài viết này, phiên bản mới nhất của trình điều khiển trên Windows là 196.75, còn trên Linux là 190.53. Phần cài đặt trình điều khiển thiết bị trên Linux phức tạp hơn nhiều so với trên Windows, nên tôi tách riêng ra và hướng dẫn chi tiết trong phần ‘Cài đặt GPU Computing SDK trên Linux’.
•  Bộ công cụ phát triển ứng dụng CUDA. Bạn có thể download nó từ cùng link tôi đã cho ở phần đầu bài viết này. Bộ công cụ này cung cấp môi trường phát triển ứng dụng cơ bản, bao gồm trình biên dịch, trình gỡ rối, trình đo đạc hiệu năng, các thư viện nền cần thiết cho mọi ứng dụng CUDA.
• DirectX phiên bản mới nhất thích hợp với hệ điều hành Windows trên máy của bạn.
• Thư viện OpenGL & GLUT cho môi trường Linux. Chi tiết xem trong phần ‘Cài đặt GPU Computing SDK trên Linux’.

 * Cài đặt GPU Computing SDK trên Windows

Thao tác cài đặt GPU Computing SDK trên môi trường Windows rất đơn giản. Bạn chỉ cần chú ý xem hệ điều hành Windows trên máy của mình là 32-bit hay 64-bit rồi download phiên bản thích hợp từ link có ở đầu bài viết và install nó vào máy của mình. Để kiểm tra hệ điều hành của bạn là 32-bit hay 64-bit, với Windows Vista/7 hãy ấn phím mouse bên phải trên mục Computer trong Start Menu của Windows, chọn Properties, sau đó tìm chỗ có thông tin về System Type. Với Windows XP, chọn Start–>Run, nhập vào lệnh dxdiag, chọn No để bỏ qua mục ‘verify drivers’, sau đó quan sát cửa sổ sau cùng, tìm dòng Operating System. Nếu trên dòng đó có con số 64 hoặc từ Itanium thì máy chạy hệ điều hành 64-bit, ngược lại là 32-bit.

Sau khi install xong, bạn có thể kiểm tra nơi lưu các chương trình mẫu đã được biên dịch sẵn như sau:

• <CUDA_SDK_INSTALLED_PATH>\C\bin\win32\Release (cho hệ điều hành 32-bit), hoặc
  <CUDA_SDK_INSTALLED_PATH>\C\bin\win64\Release (cho hệ điều hành 64-bit),  trong đó <CUDA_SDK_INSTALLED_PATH> là nơi bạn đã chọn cài đặt bộ SDK này.
  Nếu muốn thực thi các chương trình mẫu này từ cửa sổ lệnh ‘Command Prompt’ (rất có ích nếu bạn muốn chỉ định thực thi chương trình trên 1 trong nhiều GPU mà bạn có trên máy, hoặc chỉnh sửa các tham số dòng lệnh của chương trình), bạn nên thêm đường dẫn nêu trên vào biến môi trường PATH của Windows. Chi tiết về các biến môi trường trong Windows và Linux có thể tham khảo ở đây. Phần mềm RapidEE ở cuối trang đó rất tiện lợi trong việc chỉnh sửa hay kiểm tra các đường dẫn không tồn tại trong hệ thống. 

Phiên bản cài đặt trên Windows cũng sẽ cài đặt một icon trên màn hình desktop của bạn. Khi nhấn đúp chuột lên đó, một cửa sổ mới sẽ xuất hiện, cho phép bạn truy cập tiện lợi hơn đến các ứng dụng mẫu có trong bộ SDK, chẳng hạn như thực thi một chương trình bằng cách ấn vào nút Run, xem thêm phần giảng giải chi tiết hơn về các kỹ thuật được sử dụng trong từng chương trình qua mục Whitepaper, hoặc nếu cần thiết có thể truy cập ngay đến thư mục chứa các file tương ứng qua nút Files, tìm kiếm theo từ khóa qua mục Search, và chọn lọc các ứng dụng cần xem theo thể loại qua mục Categories (xem hình 2). Với phiên bản CUDA 3.0 đang trong giai đoạn beta test công khai, ngoài tag ‘CUDA C Samples’, chúng ta còn có tag ‘OpenCL Samples’ và ‘DirectCompute Samples’ cho một số các ứng dụng mẫu đã được cài đặt bằng C/C++ và được viết lại bằng công cụ OpenCL hay DirectCompute. 

 Hình 2 – Giao diện đồ họa cho GPU Computing SDK trong Windows

(Còn tiếp …)

Trong năm vừa qua, NVIDIA đã đầu tư đáng kể vào chương trình CUDA Center of Excellence (CCOE). Đây là chương trình tìm kiếm các trường đại học đang thực hiện các dự án nghiên cứu/chương trình giáo dục quan trọng dựa trên sự giúp đỡ của công nghệ GPU Computing và mô hình lập trình CUDA. Năm 2009 có thêm đại học tổng hợp Harvard, đại học tổng hợp quốc gia Đài loan, viện hàn lâm khoa học Trung quốc, đại học tổng hợp Thanh hoa, đại học tổng hợp Tennenssee, và đại học tổng hợp Maryland gia nhập danh sách các trung tâm CCOE, nâng tổng số các trung tâm này lên 9, cùng với hơn 270 trường đại học giảng dạy mô hình lập trình CUDA ở khắp các châu lục. Con số này chắc chắn sẽ còn tăng lên nhiều hơn trong năm nay.

Có thể nói một trong những câu chuyện được nói đến nhiều nhất cả trong lẫn ngoài NVIDIA suốt 12 tháng qua là về phần mềm. Do ngày càng có nhiều người quan tâm đến việc tận dụng sức mạnh của GPU trong xử lý thông tin, NVIDIA đã tiêu tốn (và sẽ còn tiếp tục tiêu tốn nhiều hơn trong tương lai) khá nhiều thời gian cho việc phát triển một loạt công cụ lập trình hầu giúp mọi người chuyển sang lập trình song song trên GPU dễ dàng hơn. Kết quả là giờ đây lập trình viên có trong tay môi trường phát triển CUDA 2.3 cùng với bộ debugger và profiler cho GPU Computing đầu tiên trên thế giới, có môi trường phát triển tích hợp Nexus cho Windows Visual Studio, có OpenCL, và chẳng mấy chốc sẽ có Cuda 3.0 cho phép viết ứng dụng chạy trên các GPU thế hệ mới với kiến trúc xử lý song song Fermi.

Chính nhờ có những nỗ lực vượt bậc trong việc cung cấp công cụ phát triển phần mềm cho GPU Computing trên nền CUDA, ngày càng có nhiều thành viên của cộng đồng phát triển ‘gia nhập cuộc chơi lớn’. Số lượng lập trình viên, nghiên cứu viên đăng ký chương trình GPU Computing của NVIDIA đã tăng lên gần bốn lần, từ 2000 lên hơn 7400, với nhiều chương trình và bài báo nghiên cứu được công khai thường xuyên trên trang CUDA Zone và CUDA on YouTube. Thêm vào đó, có hơn 2700 trích dẫn liên quan đến CUDA trên Google Scholar, 800 video liên quan đến CUDA trên YouTube, 670 sản phẩm trên CUDA Zone, và hơn 350 ứng cử viên tham gia cuộc thi CUDA Superhero Challenge lần gần đây nhất.

Với từng ngày một trôi qua, sản phẩm siêu máy tính cá nhân Tesla (Tesla Personal Supercomputer) tiếp tục gặt hái thành công trong cộng đồng nghiên cứu tính toán. Nhu cầu cấp thiết của cộng đồng này đã dẫn đến việc hai nhà sản xuất OEM lớn nhất là Dell và HP cho ra đời các PSC riêng của mình, cũng như SuperMicro với hệ thống lai GPU/CPU 1U đầu tiên trên thế giới. Như vậy, từ từng chiếc card riêng lẻ đến các hệ thống siêu máy tính cá nhân đa GPU, rồi các hệ thống lai, và sau cùng là các hệ thống 1U chỉ sử dụng GPU, dòng sản phẩm Tesla đã được mở rộng từ các giải pháp HPC mức thấp đến mức cao thích hợp với mọi loại yêu cầu về hiệu năng và túi tiền của người sử dụng.

Một sự kiện đáng chú ý trong năm qua đánh dấu tầm quan trọng của GPU Computing và sự quan tâm của ngành công nghiệp điện toán đối với chủ đề này là hội nghị công nghệ GPU (GPU Technology Conference – GTC) do NVIDIA tổ chức vào cuối tháng Chín ngay tại thung lũng Sillicon Valley. Trong tình cảnh khó khăn của nền kinh tế thế giới, vẫn có hơn 1500 chuyên gia GPU Computing từ khắp nơi trên thế giới về tụ hội, gấp đôi con số đã được dự đoán ban đầu, với hơn 130 giờ báo cáo đầy lý thú trong 3 ngày, và quan trọng hơn cả là trong số các thuyết trình đó, chỉ có 30% là từ NVIDIA. Con số 70% còn lại cho thấy cả thế giới đang thực hiện nhiều điều lý thú và quan trọng cho cuộc sống con người dựa vào công nghệ xử lý song song trên GPU. Một trong những người tham dự GTC là John Leidel đến từ insideHPC đã có cảm nghĩ sau đây:

“I’ve been attending technical conferences from coast to coast for a number of years and never have I experienced the electricity that I felt at GTC. Never have I seen the (often fickle) members of the HPC community latch on to a technology so fast and with such ferocity.  All in all, its pretty amazing.”

Trong năm 2009, ngoài những cố gắng về phần mềm, NVIDIA cũng đã giới thiệu Fermi, thế hệ kế tiếp trong kiến trúc GPU dựa trên CUDA, nhân dịp hội nghị NVIDIA GTC. Trong hội nghị đó, Jeffrey Nichols, đại diện cho phòng thí nghiệm Oak Ridge National Labs, đã công bố dự án siêu máy tính dựa trên Fermi với sức mạnh tính toán gấp 10 lần chiếc máy nhanh nhất hiện diện trên trái đất, tính cho đến ngày hôm nay. Những sản phầm đầu tiên với kiến trúc Fermi và CUDA 3.0 hứa hẹn một năm 2010 đầy lý thú và nhiều bất ngờ mới trong lĩnh vực GPGPU.

Một trong những câu chuyện hết sức thú vị về khả năng của CUDA và Tesla trong đời sống là chuyện Lowry Digital đã làm để phục hồi lại đoạn phim lịch sử về cuộc đổ bộ lên mặt trăng đầu tiên của loài người hơn 40 năm về trước. Thật là không may khi bản gốc của những thước phim ghi lại bước đi đầu tiên của con người trên xứ sở chị Hằng lại bị lỡ tay xóa mất, dẫn đến chuyện người ta phải sử dụng Tesla GPU để phục hồi lại, rồi chuyển nó sang dạng HD cho các thế hệ sau chiêm ngưỡng. Ngoài câu chuyện ấy, còn nhiều thứ lý thú hơn đã được công bố từ các đại gia như  BAE Systems, Beckman-Coulter, Bloomberg, BNP Paribas, Los Alamos National Lab, NASA, Petrobras, Sandia National Lab, và danh sách này vẫn còn đang tiếp tục được kéo dài thêm từng ngày một.

Trong cuộc chơi lớn với tên gọi GPU Computing 2009, không chỉ có NVIDIA đơn thân độc mã trên trường đấu, mà ngược lại đã có một sự bùng nổ về các hệ thống ISV ecosystem đi kèm với GPU. Chúng ta có thể kể đến các nhà cung cấp công cụ tính toán hiệu năng cao như Portland Group, TotalView, Allinea, CAPS và EMPhotonics với các phiên bản phần mềm được tối ưu nhờ CUDA, rồi các thư viện quan trọng cho những ứng dụng tính toán mức cao như BLAS, LAPACK, FFT, NPP, với hơn 250000 khách hàng là các nhà khoa học tính toán, và còn một số rất ít phần mềm giữ vai trò nền tảng trong nghiên cứu dược phẩm, DNA, … vốn có khả năng làm thay đổi cuộc sống của nhân loại, đều đã và đang được chuyển dần sang CUDA.

Năm 2009 bận rộn đã khép lại cùng với sự kiện đình đám nhất trong làng tính toán hiệu năng cao, đó là hội nghị siêu máy tính SC09 được tổ chức ở Portland, Oregon. Có hai sự kiện nổi bật liên quan đến GPGPU, đó là sự ra đời của nền tảng tính toán đầu tiên dựa trên GPU cho cloud computing, gọi là RealityServer, và giải thưởng danh giá Gordon Bell giành cho giáo sư HamadaTsuyoshi đến từ đại học tổng hợp Nagasaki.

RealityServer cho phép chúng ta truyền các ứng dụng 3-chiều với chất lượng siêu cao đến bất kỳ thiết bị tính toán nào có kết nối web, như PC, máy tính xách tay, netbook và cả smartphone. Với mô hình làm việc do RealityServer cung cấp, các nhà phát triển ứng dụng Web dễ dàng cài đặt các ứng dụng tương tác trực quan, cho phép người sử dụng cá nhân hóa các lựa chọn của mình, như thiết kế nội thất, quần áo, giày dép, … rồi xem kết quả mới một cách hết sức nhanh chóng qua Internet.  Hy vọng chúng ta sẽ có thêm nhiều sản phẩm kiểu điện toán đám mây này trong năm 2010.

Giải thưởng thành tựu nghiên cứu Gordon Bell trong lĩnh vực HPC năm nay thuộc về giáo sư Hamada, cho công trình sử dụng cluster gồm 256 GPU nối kết với nhau, do ông tự mua lấy từ Akihabara, rồi cùng với các học trò tự lắp ráp, viết phần mềm, và dùng nó thực hiện các mô phỏng cực lớn trong vật lý thiên văn và dòng chảy rối, mà trước đây chỉ có thể hiện thực hóa trên các siêu máy tính trong top 10 của thế giới.

Một năm mới lại đến với Tesla và GPU Computing!!!