0. 시작하며

안녕하세요, 가톨릭 대학교 박사 과정 이제영입니다.

혹시 여러분들은 NVIDIA Tech Blog를 구독 하시나요? 저는 NVIDIA에서 Ambassador로 활동하고 있기 때문에, NVIDIA Tech Blog를 자주 보는 편입니다.

그 중 제가 주로 활동하고 있는 GPU-based Data Science와 관련한 글들은 실습까지 꼭 진행해 보는데요, 지난 2024년 12월 20일 RAPIDS를 RAY와 함께 사용하는 좋은 글이 올라왔습니다.Accelerating GPU Analytics Using RAPIDS and RAY LINK

실은 저는 RAPIDS를 사용할때 RAY를 굉장히 많이 활용하고 있습니다.로주로 RAY를 사용한 Hyper Paramter Optimization을 자주 수행하는데요, RAY Tune을 RAPIDS와 함께 사용하면 굉장히 빠른 속도로 HPO를 수행할 수 있습니다.

따라서 오늘은 RAY와 RAPIDS를 사용한 Data Engineering Pipelines 실습과 XGBoost를 사용하여 Hyper Parameter... read more

0. 시작하며

안녕하세요, 가톨릭 대학교 박사 과정 이제영입니다.

오랫동안 blog를 방치하고 있었는데, 가끔은 제가 공부했던 것이나 생각나는 것을 정리해두면 좋을 것 같아 새로운 형태로 다시 시작하게 되었습니다.

오늘은 Cupy를 이용하여 CUDA Custom Kernel을 작성하는 연습을 진행하다가 CUDA에서 헷갈렸던 부분을 다시 정리해봅니다.

개인적으로 정리하는 것이니 제가 이렇게 이해했다 정도로 참고해주시면 감사하겠습니다.

1. Thread, Block, Grid와 GPU

CUDA를 사용한 GPU 프로그래밍시 thread와 block, grid에 대한 이야기는 항상 등장합니다.

CUDA를 배울땐, thread가 모여서 block, block이 모여서 grid 라고하며 보통 CUDA 프로그래밍에서 Grid는 작업을 구성하는 가장 상위 단위로, 하나의 GPU는 여러 Grid를 동시에 실행할 수 있습니다.

그리고 일반적으로 thread와 block를 내가 할당할수 있다는 것과 어떻게 할당 해야 하는지,

각... read more

Attnetion Mechanism과 Trnasformer를 정리해보았습니다.

학교 발표용 자료로, 자세한 내용은 생략하고, 간단하게 정리했습니다.

참고 사이트1: Nvidia-DLI
참고 사이트2: Wikidocs
참고 사이트3: CS231N