Attnetion Mechanism과 Trnasformer를 정리해보았습니다.

학교 발표용 자료로, 자세한 내용은 생략하고, 간단하게 정리했습니다.

참고 사이트1: Nvidia-DLI
참고 사이트2: Wikidocs
참고 사이트3: CS231N

안녕하세요, NVIDIA DEEP LEARNING INSTITUTE REVIEW를 진행하고 있는 이제영입니다.

세번째 시간입니다! 이번엔 Image Super Resolution Using AutoEncoder Review로 돌아왔습니다!

이번주는 특이하게 인증서가 나오지 않았는데요, 반면 난이도는 꽤나 쉬운 편이었다고들 합니다!

의외였던건 다른 스터디 인원들은 Auto Encoder를 기존에 이름만 듣고 직접 공부해본 적은 없다고 하던데, 구조 자체는 많이 봤었다고 하네요.

Auto Encoder는 굉장히 중요한데, 이번 기회로 한번 다시 볼 수 있게되었습니다!

많이 부족하지만 앞으로도 잘 부탁드리겠습니다.

질문있으시면 언제든지 메일을 보내주세요! 기다리고 있겠습니다.

Review

Index

-Summary

-Experience

안녕하세요, NVIDIA DEEP LEARNING INSTITUTE REVIEW를 진행하고 있는 이제영입니다.

드디어 두번째 시간이 다가왔습니다! 스터디를 이어가게 해주신 손해인님, Nvidia-Korea분들 모두에게 감사드립니다!

이번주는 저번주에 말씀드렸듯이 ACCELERATED COMPUTING WITH CUDA C/C++을 진행하였습니다.

기존에 CUDA 코딩과 관련하여 공부해보고 싶었지만 NVCC Document는 솔직히 저같은 초보자가 보기에는 조금 어려운 점이 많았습니다.

이번 스터디를 통해 관련한 내용을 조금이라도 배울 수 있어서 매우 의미 있는 시간이었습니다. 감사합니다!

많이 부족하지만 앞으로도 잘 부탁드리겠습니다.

질문있으시면 언제든지 메일을 보내주세요! 기다리고 있겠습니다.

Review

Index

-Summary

-Experience

read more

0. 시작하며

안녕하세요, 가톨릭 대학교 박사 과정 이제영입니다.

오랫동안 blog를 방치하고 있었는데, 가끔은 제가 공부했던 것이나 생각나는 것을 정리해두면 좋을 것 같아 새로운 형태로 다시 시작하게 되었습니다.

오늘은 Cupy를 이용하여 CUDA Custom Kernel을 작성하는 연습을 진행하다가 CUDA에서 헷갈렸던 부분을 다시 정리해봅니다.

개인적으로 정리하는 것이니 제가 이렇게 이해했다 정도로 참고해주시면 감사하겠습니다.

1. Thread, Block, Grid와 GPU

CUDA를 사용한 GPU 프로그래밍시 thread와 block, grid에 대한 이야기는 항상 등장합니다.

CUDA를 배울땐, thread가 모여서 block, block이 모여서 grid 라고하며 보통 CUDA 프로그래밍에서 Grid는 작업을 구성하는 가장 상위 단위로, 하나의 GPU는 여러 Grid를 동시에 실행할 수 있습니다.

그리고 일반적으로... read more

안녕하세요, NVIDIA DEEP LEARNING INSTITUTE REVIEW를 진행하고 있는 이제영입니다.

네번째 시간입니다! 이번엔 Fundamentals of Accelerated Computing with CUDA Python Review로 돌아왔습니다!

이번주는 그 전에 진행했던 Fundamentals of Accelerated Computing with CUDA C/C++ 과 비슷하다는 느낌을 많이 받았다고 하는데요

내용 자체는 그 전과 크게 다르지 않으나 학기를 다니다보니 아무래도 조금 씩 늦어집니다.

앞으로도 시간을 잘 지킬 수 있도록 노력하겠습니다!

많이 부족하지만 앞으로도 잘 부탁드리겠습니다.

질문있으시면 언제든지 메일을 보내주세요! 기다리고 있겠습니다.

Review

Index

-Summary

-Experience

안녕하세요, NVIDIA DEEP LEARNING INSTITUTE REVIEW를 진행하고 있는 이제영입니다.

드디어 두번째 시간이 다가왔습니다! 스터디를 이어가게 해주신 손해인님, Nvidia-Korea분들 모두에게 감사드립니다!

이번주는 저번주에 말씀드렸듯이 ACCELERATED COMPUTING WITH CUDA C/C++을 진행하였습니다.

기존에 CUDA 코딩과 관련하여 공부해보고 싶었지만 NVCC Document는 솔직히 저같은 초보자가 보기에는 조금 어려운 점이 많았습니다.

이번 스터디를 통해 관련한 내용을 조금이라도 배울 수 있어서 매우 의미 있는 시간이었습니다. 감사합니다!

많이 부족하지만 앞으로도 잘 부탁드리겠습니다.

질문있으시면 언제든지 메일을 보내주세요! 기다리고 있겠습니다.

Review

Index

-Summary

-Experience

read more

우연치 않은 기회로 DLI리뷰 스터디들 진행하게되었습니다.

각자 다른 이유로 모인 세명이지만 성실이 리뷰를 진행해 볼까합니다.

처음 진행하는 리뷰이기에 어떻게 진행하는지 잘 몰랐던 것이 가장 힘든 점이었습니다.

저희는 매주 밤 10시에 모여 PPT를 통해 요약, 느낀점, 추천여부등을 발표하는 활동을 진행하고 있습니다.

총 요약본은 그림으로 같이 첨부하도록 하겠습니다.

많이 부족하지만 앞으로도 잘 부탁드리겠습니다.

질문있으시면 언제든지 메일을 보내주세요! 기다리고 있겠습니다.

또한 이런 기회를 만들어주신 Nvidia, 손해인님께 감사드립니다.

Review

Index

-Summary

-Experience

-Recommendation

Introduction of Deep Learning

안녕하세요, NVIDIA DEEP LEARNING INSTITUTE REVIEW를 진행하고 있는 이제영입니다.

세번째 시간입니다! 이번엔 Image Super Resolution Using AutoEncoder Review로 돌아왔습니다!

이번주는 특이하게 인증서가 나오지 않았는데요, 반면 난이도는 꽤나 쉬운 편이었다고들 합니다!

의외였던건 다른 스터디 인원들은 Auto Encoder를 기존에 이름만 듣고 직접 공부해본 적은 없다고 하던데, 구조 자체는 많이 봤었다고 하네요.

Auto Encoder는 굉장히 중요한데, 이번 기회로 한번 다시 볼 수 있게되었습니다!

많이 부족하지만 앞으로도 잘 부탁드리겠습니다.

질문있으시면 언제든지 메일을 보내주세요! 기다리고 있겠습니다.

Review

Index

-Summary

-Experience

우선 첫번째 챕터 설치부터 살펴보겠습니다.

솔직히 설치 부분은 비교적 간단하기 때문에, 굳이 보시지 않으셔도 상관없습니다.

다만, 설치시에 문제가 있으시던가 하는 것을 방지하기 위하여 그리고 RAPIDS공식 홈페이지에 대해 알려드리기 위하여, 작성하였습니다.

Enviroment

제가 사용한 환경은 다음과 같습니다.

Ubuntu >= 18.04 LST
Anaconda
Python >= 3.6.8
RAPIDS(stable) >= 0.12
CUDA >= 10.0
Cudnn >= 7.6
NUMPY >= 1.16.1

여러분들은 각자가 원하는 환경으로 구성하시면 됩니다.

다만, 이 칼럼에서는 저랑 비교적 똑같은 환경을 구축하시는것을 추천드립니다.

RAPIDS

read more

안녕하세요, 그리고 오랜만입니다.

기나긴 준비 시간이 끝나고, 드디어 새로운 칼럼을 연재하고자합니다.

과거 DLI Review를 진행하다가 RAPIDS와 처음 만났습니다.

그리고 RAPIDS는 제게 굉장히 큰 충격을 안겨주었습니다.

기존의 NUMPY와 PANDAS를 GPU에서 돌릴 수 있다.

매서드가 동일하여 이름만 바꾸면 된다.

이런 이야기들을 처음 그대로 들었을때는 별거 아니다 싶다가도 실제로 돌려보니 굉장히 개선되는 점이 많았습니다.

아직 RAPIDS는 우리나라에 제대로 소개하는 글이 없어서 아쉬웠습니다.

그래서 이번기회에 한글로 소개하고자합니다.

아직 학부생이기에 부족한 점도 많고, 제가 모르는 점도 많을 것 같습니다.

다만, GPU를 이용한 데이터 과학에 대해서 한번 생각해보시는 계기가 되셨으면합니다.

Enviroment

아쉽지만, 이 칼럼에서는... read more

우선 첫번째 챕터 설치부터 살펴보겠습니다.

솔직히 설치 부분은 비교적 간단하기 때문에, 굳이 보시지 않으셔도 상관없습니다.

다만, 설치시에 문제가 있으시던가 하는 것을 방지하기 위하여 그리고 RAPIDS공식 홈페이지에 대해 알려드리기 위하여, 작성하였습니다.

Enviroment

제가 사용한 환경은 다음과 같습니다.

Ubuntu >= 18.04 LST
Anaconda
Python >= 3.6.8
RAPIDS(stable) >= 0.12
CUDA >= 10.0
Cudnn >= 7.6
NUMPY >= 1.16.1

여러분들은 각자가 원하는 환경으로 구성하시면 됩니다.

다만, 이 칼럼에서는 저랑 비교적 똑같은 환경을 구축하시는것을 추천드립니다.

RAPIDS

read more

안녕하세요, 그리고 오랜만입니다.

기나긴 준비 시간이 끝나고, 드디어 새로운 칼럼을 연재하고자합니다.

과거 DLI Review를 진행하다가 RAPIDS와 처음 만났습니다.

그리고 RAPIDS는 제게 굉장히 큰 충격을 안겨주었습니다.

기존의 NUMPY와 PANDAS를 GPU에서 돌릴 수 있다.

매서드가 동일하여 이름만 바꾸면 된다.

이런 이야기들을 처음 그대로 들었을때는 별거 아니다 싶다가도 실제로 돌려보니 굉장히 개선되는 점이 많았습니다.

아직 RAPIDS는 우리나라에 제대로 소개하는 글이 없어서 아쉬웠습니다.

그래서 이번기회에 한글로 소개하고자합니다.

아직 학부생이기에 부족한 점도 많고, 제가 모르는 점도 많을 것 같습니다.

다만, GPU를 이용한 데이터 과학에 대해서 한번 생각해보시는 계기가 되셨으면합니다.

Enviroment

아쉽지만, 이 칼럼에서는... read more

안녕하세요, 두번째 챕터 Cupy Part 02입니다.

오늘은 Cupy로 표현하는 선형대수학을 하도록 하겠습니다.

마찬가지로 코드위주로 작성할 예정이기 때문에 원본코드를 먼저 첨부하겠습니다.

원본코드 보러가기

Cupy와 선형대수

선형 대수는 데이터 과학에서 기술과 개념을 뒷받침 해주는 분야입니다.

이번 챕터에서는 Cupy를 이용한 선형 대수 표현을 배우겠습니다.

실은 Cupy에서 이미 대부분의 선형대수의 개념을 함수로 만들어 놓았습니다.

그래도 아직 익수하지 못한 분들을 위해, 그리고 처음 보는 분들을 위해 선형 대수 부분을 넣어두었습니다.

따라서 앞서 배운 기초 부분과 많이 유사할 예정이며, 사용에 익숙하신 분들이라면 넘어가셔도 관계 없습니다.

자 그럼 시작하겠습니다.

주피터 노트북 환경에서, 쉘별로 확인해보도록... read more

안녕하세요, 두번째 챕터 Cupy Part 01입니다.

오늘은 Cupy의 기초부터 시작하도록 하겠습니다.

그리고 코드위주로 작성할 예정이기 때문에 원본코드를 먼저 첨부하겠습니다.

원본코드 보러가기

Cupy?

Cupy란 무엇일까요?

대부분의 사람들의 경우 python에서 수학적인 계산을 할 때 Numpy를 많이 사용할 것이라고 생각합니다.

Numpy는 훌륭하고, 빠르고, 편하고, 좋은 라이브러리입니다.

하지만 CPU에서 돌아간다는 점 때문에 대규모 작업을 처리할 때 작업시간이 조금 부담스러울 때가 있습니다.

Cupy란, Python에서 NVIDIA CUDA를 사용한 가속화 컴퓨팅을 제공하는 오픈소스 라이브러리입니다.

Cupy는 Numpy를 뛰어 넘는 속도를 보여주다고합니다.

심지어, 자체 테스트에선 연산이 100배 이상 차이나는 경우도 있었다고 합니다.

RAPIDS에서 제공하는 자체 Bechmark... read more

우선 첫번째 챕터 설치부터 살펴보겠습니다.

솔직히 설치 부분은 비교적 간단하기 때문에, 굳이 보시지 않으셔도 상관없습니다.

다만, 설치시에 문제가 있으시던가 하는 것을 방지하기 위하여 그리고 RAPIDS공식 홈페이지에 대해 알려드리기 위하여, 작성하였습니다.

Enviroment

제가 사용한 환경은 다음과 같습니다.

Ubuntu >= 18.04 LST
Anaconda
Python >= 3.6.8
RAPIDS(stable) >= 0.12
CUDA >= 10.0
Cudnn >= 7.6
NUMPY >= 1.16.1

여러분들은 각자가 원하는 환경으로 구성하시면 됩니다.

다만, 이 칼럼에서는 저랑 비교적 똑같은 환경을 구축하시는것을 추천드립니다.

RAPIDS

read more

안녕하세요, NVIDIA DEEP LEARNING INSTITUTE REVIEW를 진행하고 있는 이제영입니다.

다섯번째 시간입니다! 이번엔 Fundamentals Of Accelerated Data Science With RAPIDS Review로 돌아왔습니다!

안타까운 소식이지만 아마 저희 스터디는 이번주로 마무리 지을 것 같습니다!, 기존에 친구들과 약속한 시간이 다 되었기 때문입니다.

아참 그리고 이번주는 인증서와 관련한 헤프닝이 있었습니다.

여러분들도 Accesment test시에 조심해주세요, 심사 숙고하신 후 제출해주시길 바라겠습니다!

RAPIDS는 Pandas, Numpy등과 유사한 점이 많았습니다!

특히 Scikit-learn에 비해 편한 부분도 없잖아 있었습니다.

그래서 그런지 이번주는 그림이 조금 많네요!

블로그에... read more

안녕하세요, NVIDIA DEEP LEARNING INSTITUTE REVIEW를 진행하고 있는 이제영입니다.

네번째 시간입니다! 이번엔 Fundamentals of Accelerated Computing with CUDA Python Review로 돌아왔습니다!

이번주는 그 전에 진행했던 Fundamentals of Accelerated Computing with CUDA C/C++ 과 비슷하다는 느낌을 많이 받았다고 하는데요

내용 자체는 그 전과 크게 다르지 않으나 학기를 다니다보니 아무래도 조금 씩 늦어집니다.

앞으로도 시간을 잘 지킬 수 있도록 노력하겠습니다!

많이 부족하지만 앞으로도 잘 부탁드리겠습니다.

질문있으시면 언제든지 메일을 보내주세요! 기다리고 있겠습니다.

Review

Index

-Summary

-Experience

안녕하세요, NVIDIA DEEP LEARNING INSTITUTE REVIEW를 진행하고 있는 이제영입니다.

세번째 시간입니다! 이번엔 Image Super Resolution Using AutoEncoder Review로 돌아왔습니다!

이번주는 특이하게 인증서가 나오지 않았는데요, 반면 난이도는 꽤나 쉬운 편이었다고들 합니다!

의외였던건 다른 스터디 인원들은 Auto Encoder를 기존에 이름만 듣고 직접 공부해본 적은 없다고 하던데, 구조 자체는 많이 봤었다고 하네요.

Auto Encoder는 굉장히 중요한데, 이번 기회로 한번 다시 볼 수 있게되었습니다!

많이 부족하지만 앞으로도 잘 부탁드리겠습니다.

질문있으시면 언제든지 메일을 보내주세요! 기다리고 있겠습니다.

Review

Index

-Summary

-Experience

안녕하세요, 두번째 챕터 Cupy Part 02입니다.

오늘은 Cupy로 표현하는 선형대수학을 하도록 하겠습니다.

마찬가지로 코드위주로 작성할 예정이기 때문에 원본코드를 먼저 첨부하겠습니다.

원본코드 보러가기

Cupy와 선형대수

선형 대수는 데이터 과학에서 기술과 개념을 뒷받침 해주는 분야입니다.

이번 챕터에서는 Cupy를 이용한 선형 대수 표현을 배우겠습니다.

실은 Cupy에서 이미 대부분의 선형대수의 개념을 함수로 만들어 놓았습니다.

그래도 아직 익수하지 못한 분들을 위해, 그리고 처음 보는 분들을 위해 선형 대수 부분을 넣어두었습니다.

따라서 앞서 배운 기초 부분과 많이 유사할 예정이며, 사용에 익숙하신 분들이라면 넘어가셔도 관계 없습니다.

자 그럼 시작하겠습니다.

주피터 노트북 환경에서, 쉘별로 확인해보도록... read more

안녕하세요, 두번째 챕터 Cupy Part 01입니다.

오늘은 Cupy의 기초부터 시작하도록 하겠습니다.

그리고 코드위주로 작성할 예정이기 때문에 원본코드를 먼저 첨부하겠습니다.

원본코드 보러가기

Cupy?

Cupy란 무엇일까요?

대부분의 사람들의 경우 python에서 수학적인 계산을 할 때 Numpy를 많이 사용할 것이라고 생각합니다.

Numpy는 훌륭하고, 빠르고, 편하고, 좋은 라이브러리입니다.

하지만 CPU에서 돌아간다는 점 때문에 대규모 작업을 처리할 때 작업시간이 조금 부담스러울 때가 있습니다.

Cupy란, Python에서 NVIDIA CUDA를 사용한 가속화 컴퓨팅을 제공하는 오픈소스 라이브러리입니다.

Cupy는 Numpy를 뛰어 넘는 속도를 보여주다고합니다.

심지어, 자체 테스트에선 연산이 100배 이상 차이나는 경우도 있었다고 합니다.

RAPIDS에서 제공하는 자체 Bechmark... read more

우선 첫번째 챕터 설치부터 살펴보겠습니다.

솔직히 설치 부분은 비교적 간단하기 때문에, 굳이 보시지 않으셔도 상관없습니다.

다만, 설치시에 문제가 있으시던가 하는 것을 방지하기 위하여 그리고 RAPIDS공식 홈페이지에 대해 알려드리기 위하여, 작성하였습니다.

Enviroment

제가 사용한 환경은 다음과 같습니다.

Ubuntu >= 18.04 LST
Anaconda
Python >= 3.6.8
RAPIDS(stable) >= 0.12
CUDA >= 10.0
Cudnn >= 7.6
NUMPY >= 1.16.1

여러분들은 각자가 원하는 환경으로 구성하시면 됩니다.

다만, 이 칼럼에서는 저랑 비교적 똑같은 환경을 구축하시는것을 추천드립니다.

RAPIDS

read more

안녕하세요, 두번째 챕터 Cupy Part 02입니다.

오늘은 Cupy로 표현하는 선형대수학을 하도록 하겠습니다.

마찬가지로 코드위주로 작성할 예정이기 때문에 원본코드를 먼저 첨부하겠습니다.

원본코드 보러가기

Cupy와 선형대수

선형 대수는 데이터 과학에서 기술과 개념을 뒷받침 해주는 분야입니다.

이번 챕터에서는 Cupy를 이용한 선형 대수 표현을 배우겠습니다.

실은 Cupy에서 이미 대부분의 선형대수의 개념을 함수로 만들어 놓았습니다.

그래도 아직 익수하지 못한 분들을 위해, 그리고 처음 보는 분들을 위해 선형 대수 부분을 넣어두었습니다.

따라서 앞서 배운 기초 부분과 많이 유사할 예정이며, 사용에 익숙하신 분들이라면 넘어가셔도 관계 없습니다.

자 그럼 시작하겠습니다.

주피터 노트북 환경에서, 쉘별로 확인해보도록... read more

안녕하세요, 두번째 챕터 Cupy Part 01입니다.

오늘은 Cupy의 기초부터 시작하도록 하겠습니다.

그리고 코드위주로 작성할 예정이기 때문에 원본코드를 먼저 첨부하겠습니다.

원본코드 보러가기

Cupy?

Cupy란 무엇일까요?

대부분의 사람들의 경우 python에서 수학적인 계산을 할 때 Numpy를 많이 사용할 것이라고 생각합니다.

Numpy는 훌륭하고, 빠르고, 편하고, 좋은 라이브러리입니다.

하지만 CPU에서 돌아간다는 점 때문에 대규모 작업을 처리할 때 작업시간이 조금 부담스러울 때가 있습니다.

Cupy란, Python에서 NVIDIA CUDA를 사용한 가속화 컴퓨팅을 제공하는 오픈소스 라이브러리입니다.

Cupy는 Numpy를 뛰어 넘는 속도를 보여주다고합니다.

심지어, 자체 테스트에선 연산이 100배 이상 차이나는 경우도 있었다고 합니다.

RAPIDS에서 제공하는 자체 Bechmark... read more

우선 첫번째 챕터 설치부터 살펴보겠습니다.

솔직히 설치 부분은 비교적 간단하기 때문에, 굳이 보시지 않으셔도 상관없습니다.

다만, 설치시에 문제가 있으시던가 하는 것을 방지하기 위하여 그리고 RAPIDS공식 홈페이지에 대해 알려드리기 위하여, 작성하였습니다.

Enviroment

제가 사용한 환경은 다음과 같습니다.

Ubuntu >= 18.04 LST
Anaconda
Python >= 3.6.8
RAPIDS(stable) >= 0.12
CUDA >= 10.0
Cudnn >= 7.6
NUMPY >= 1.16.1

여러분들은 각자가 원하는 환경으로 구성하시면 됩니다.

다만, 이 칼럼에서는 저랑 비교적 똑같은 환경을 구축하시는것을 추천드립니다.

RAPIDS

read more

안녕하세요, 두번째 챕터 Cupy Part 02입니다.

오늘은 Cupy로 표현하는 선형대수학을 하도록 하겠습니다.

마찬가지로 코드위주로 작성할 예정이기 때문에 원본코드를 먼저 첨부하겠습니다.

원본코드 보러가기

Cupy와 선형대수

선형 대수는 데이터 과학에서 기술과 개념을 뒷받침 해주는 분야입니다.

이번 챕터에서는 Cupy를 이용한 선형 대수 표현을 배우겠습니다.

실은 Cupy에서 이미 대부분의 선형대수의 개념을 함수로 만들어 놓았습니다.

그래도 아직 익수하지 못한 분들을 위해, 그리고 처음 보는 분들을 위해 선형 대수 부분을 넣어두었습니다.

따라서 앞서 배운 기초 부분과 많이 유사할 예정이며, 사용에 익숙하신 분들이라면 넘어가셔도 관계 없습니다.

자 그럼 시작하겠습니다.

주피터 노트북 환경에서, 쉘별로 확인해보도록... read more

안녕하세요, 두번째 챕터 Cupy Part 01입니다.

오늘은 Cupy의 기초부터 시작하도록 하겠습니다.

그리고 코드위주로 작성할 예정이기 때문에 원본코드를 먼저 첨부하겠습니다.

원본코드 보러가기

Cupy?

Cupy란 무엇일까요?

대부분의 사람들의 경우 python에서 수학적인 계산을 할 때 Numpy를 많이 사용할 것이라고 생각합니다.

Numpy는 훌륭하고, 빠르고, 편하고, 좋은 라이브러리입니다.

하지만 CPU에서 돌아간다는 점 때문에 대규모 작업을 처리할 때 작업시간이 조금 부담스러울 때가 있습니다.

Cupy란, Python에서 NVIDIA CUDA를 사용한 가속화 컴퓨팅을 제공하는 오픈소스 라이브러리입니다.

Cupy는 Numpy를 뛰어 넘는 속도를 보여주다고합니다.

심지어, 자체 테스트에선 연산이 100배 이상 차이나는 경우도 있었다고 합니다.

RAPIDS에서 제공하는 자체 Bechmark... read more

우선 첫번째 챕터 설치부터 살펴보겠습니다.

솔직히 설치 부분은 비교적 간단하기 때문에, 굳이 보시지 않으셔도 상관없습니다.

다만, 설치시에 문제가 있으시던가 하는 것을 방지하기 위하여 그리고 RAPIDS공식 홈페이지에 대해 알려드리기 위하여, 작성하였습니다.

Enviroment

제가 사용한 환경은 다음과 같습니다.

Ubuntu >= 18.04 LST
Anaconda
Python >= 3.6.8
RAPIDS(stable) >= 0.12
CUDA >= 10.0
Cudnn >= 7.6
NUMPY >= 1.16.1

여러분들은 각자가 원하는 환경으로 구성하시면 됩니다.

다만, 이 칼럼에서는 저랑 비교적 똑같은 환경을 구축하시는것을 추천드립니다.

RAPIDS

read more

Attnetion Mechanism과 Trnasformer를 정리해보았습니다.

학교 발표용 자료로, 자세한 내용은 생략하고, 간단하게 정리했습니다.

참고 사이트1: Nvidia-DLI
참고 사이트2: Wikidocs
참고 사이트3: CS231N

Tensorflow2에서 Keras를 이용한 다양한 학습 방법들에 대해서 정리해보았습니다.

Tensorflow2 Document를 따라 제작하였으며, 내용은 거의 같습니다.

참고 사이트1
참고 사이트2
PPT의 코드

안녕하세요, NVIDIA DEEP LEARNING INSTITUTE REVIEW를 진행하고 있는 이제영입니다.

다섯번째 시간입니다! 이번엔 Fundamentals Of Accelerated Data Science With RAPIDS Review로 돌아왔습니다!

안타까운 소식이지만 아마 저희 스터디는 이번주로 마무리 지을 것 같습니다!, 기존에 친구들과 약속한 시간이 다 되었기 때문입니다.

아참 그리고 이번주는 인증서와 관련한 헤프닝이 있었습니다.

여러분들도 Accesment test시에 조심해주세요, 심사 숙고하신 후 제출해주시길 바라겠습니다!

RAPIDS는 Pandas, Numpy등과 유사한 점이 많았습니다!

특히 Scikit-learn에 비해 편한 부분도 없잖아 있었습니다.

그래서 그런지 이번주는 그림이 조금 많네요!

블로그에... read more

Tensorflow2에서 Keras를 이용한 다양한 학습 방법들에 대해서 정리해보았습니다.

Tensorflow2 Document를 따라 제작하였으며, 내용은 거의 같습니다.

참고 사이트1
참고 사이트2
PPT의 코드

0. 시작하며

안녕하세요, 가톨릭 대학교 박사 과정 이제영입니다.

혹시 여러분들은 NVIDIA Tech Blog를 구독 하시나요? 저는 NVIDIA에서 Ambassador로 활동하고 있기 때문에, NVIDIA Tech Blog를 자주 보는 편입니다.

그 중 제가 주로 활동하고 있는 GPU-based Data Science와 관련한 글들은 실습까지 꼭 진행해 보는데요, 지난 2024년 12월 20일 RAPIDS를 RAY와 함께 사용하는 좋은 글이 올라왔습니다.Accelerating GPU Analytics Using RAPIDS and RAY LINK

실은 저는 RAPIDS를 사용할때 RAY를 굉장히 많이 활용하고 있습니다. 로 주로 RAY를 사용한 Hyper Paramter Optimization을 자주 수행하는데요, RAY Tune을 RAPIDS와 함께 사용하면 굉장히 빠른 속도로 HPO를 수행할 수 있습니다.

따라서 오늘은 RAY와 RAPIDS를 사용한... read more

0. 시작하며

안녕하세요, 가톨릭 대학교 박사 과정 이제영입니다.

오랫동안 blog를 방치하고 있었는데, 가끔은 제가 공부했던 것이나 생각나는 것을 정리해두면 좋을 것 같아 새로운 형태로 다시 시작하게 되었습니다.

오늘은 Cupy를 이용하여 CUDA Custom Kernel을 작성하는 연습을 진행하다가 CUDA에서 헷갈렸던 부분을 다시 정리해봅니다.

개인적으로 정리하는 것이니 제가 이렇게 이해했다 정도로 참고해주시면 감사하겠습니다.

1. Thread, Block, Grid와 GPU

CUDA를 사용한 GPU 프로그래밍시 thread와 block, grid에 대한 이야기는 항상 등장합니다.

CUDA를 배울땐, thread가 모여서 block, block이 모여서 grid 라고하며 보통 CUDA 프로그래밍에서 Grid는 작업을 구성하는 가장 상위 단위로, 하나의 GPU는 여러 Grid를 동시에 실행할 수 있습니다.

그리고 일반적으로... read more

안녕하세요, NVIDIA DEEP LEARNING INSTITUTE REVIEW를 진행하고 있는 이제영입니다.

세번째 시간입니다! 이번엔 Image Super Resolution Using AutoEncoder Review로 돌아왔습니다!

이번주는 특이하게 인증서가 나오지 않았는데요, 반면 난이도는 꽤나 쉬운 편이었다고들 합니다!

의외였던건 다른 스터디 인원들은 Auto Encoder를 기존에 이름만 듣고 직접 공부해본 적은 없다고 하던데, 구조 자체는 많이 봤었다고 하네요.

Auto Encoder는 굉장히 중요한데, 이번 기회로 한번 다시 볼 수 있게되었습니다!

많이 부족하지만 앞으로도 잘 부탁드리겠습니다.

질문있으시면 언제든지 메일을 보내주세요! 기다리고 있겠습니다.

Review

Index

-Summary

-Experience

Attnetion Mechanism과 Trnasformer를 정리해보았습니다.

학교 발표용 자료로, 자세한 내용은 생략하고, 간단하게 정리했습니다.

참고 사이트1: Nvidia-DLI
참고 사이트2: Wikidocs
참고 사이트3: CS231N

Tensorflow2에서 Keras를 이용한 다양한 학습 방법들에 대해서 정리해보았습니다.

Tensorflow2 Document를 따라 제작하였으며, 내용은 거의 같습니다.

참고 사이트1
참고 사이트2
PPT의 코드

Attnetion Mechanism과 Trnasformer를 정리해보았습니다.

학교 발표용 자료로, 자세한 내용은 생략하고, 간단하게 정리했습니다.

참고 사이트1: Nvidia-DLI
참고 사이트2: Wikidocs
참고 사이트3: CS231N

Tensorflow2에서 Keras를 이용한 다양한 학습 방법들에 대해서 정리해보았습니다.

Tensorflow2 Document를 따라 제작하였으며, 내용은 거의 같습니다.

참고 사이트1
참고 사이트2
PPT의 코드

안녕하세요, 두번째 챕터 Cupy Part 02입니다.

오늘은 Cupy로 표현하는 선형대수학을 하도록 하겠습니다.

마찬가지로 코드위주로 작성할 예정이기 때문에 원본코드를 먼저 첨부하겠습니다.

원본코드 보러가기

Cupy와 선형대수

선형 대수는 데이터 과학에서 기술과 개념을 뒷받침 해주는 분야입니다.

이번 챕터에서는 Cupy를 이용한 선형 대수 표현을 배우겠습니다.

실은 Cupy에서 이미 대부분의 선형대수의 개념을 함수로 만들어 놓았습니다.

그래도 아직 익수하지 못한 분들을 위해, 그리고 처음 보는 분들을 위해 선형 대수 부분을 넣어두었습니다.

따라서 앞서 배운 기초 부분과 많이 유사할 예정이며, 사용에 익숙하신 분들이라면 넘어가셔도 관계 없습니다.

자 그럼 시작하겠습니다.

주피터 노트북 환경에서, 쉘별로 확인해보도록... read more

안녕하세요, NVIDIA DEEP LEARNING INSTITUTE REVIEW를 진행하고 있는 이제영입니다.

드디어 두번째 시간이 다가왔습니다! 스터디를 이어가게 해주신 손해인님, Nvidia-Korea분들 모두에게 감사드립니다!

이번주는 저번주에 말씀드렸듯이 ACCELERATED COMPUTING WITH CUDA C/C++을 진행하였습니다.

기존에 CUDA 코딩과 관련하여 공부해보고 싶었지만 NVCC Document는 솔직히 저같은 초보자가 보기에는 조금 어려운 점이 많았습니다.

이번 스터디를 통해 관련한 내용을 조금이라도 배울 수 있어서 매우 의미 있는 시간이었습니다. 감사합니다!

많이 부족하지만 앞으로도 잘 부탁드리겠습니다.

질문있으시면 언제든지 메일을 보내주세요! 기다리고 있겠습니다.

Review

Index

-Summary

-Experience

read more

안녕하세요, NVIDIA DEEP LEARNING INSTITUTE REVIEW를 진행하고 있는 이제영입니다.

네번째 시간입니다! 이번엔 Fundamentals of Accelerated Computing with CUDA Python Review로 돌아왔습니다!

이번주는 그 전에 진행했던 Fundamentals of Accelerated Computing with CUDA C/C++ 과 비슷하다는 느낌을 많이 받았다고 하는데요

내용 자체는 그 전과 크게 다르지 않으나 학기를 다니다보니 아무래도 조금 씩 늦어집니다.

앞으로도 시간을 잘 지킬 수 있도록 노력하겠습니다!

많이 부족하지만 앞으로도 잘 부탁드리겠습니다.

질문있으시면 언제든지 메일을 보내주세요! 기다리고 있겠습니다.

Review

Index

-Summary

-Experience

안녕하세요, NVIDIA DEEP LEARNING INSTITUTE REVIEW를 진행하고 있는 이제영입니다.

다섯번째 시간입니다! 이번엔 Fundamentals Of Accelerated Data Science With RAPIDS Review로 돌아왔습니다!

안타까운 소식이지만 아마 저희 스터디는 이번주로 마무리 지을 것 같습니다!, 기존에 친구들과 약속한 시간이 다 되었기 때문입니다.

아참 그리고 이번주는 인증서와 관련한 헤프닝이 있었습니다.

여러분들도 Accesment test시에 조심해주세요, 심사 숙고하신 후 제출해주시길 바라겠습니다!

RAPIDS는 Pandas, Numpy등과 유사한 점이 많았습니다!

특히 Scikit-learn에 비해 편한 부분도 없잖아 있었습니다.

그래서 그런지 이번주는 그림이 조금 많네요!

블로그에... read more

안녕하세요, NVIDIA DEEP LEARNING INSTITUTE REVIEW를 진행하고 있는 이제영입니다.

네번째 시간입니다! 이번엔 Fundamentals of Accelerated Computing with CUDA Python Review로 돌아왔습니다!

이번주는 그 전에 진행했던 Fundamentals of Accelerated Computing with CUDA C/C++ 과 비슷하다는 느낌을 많이 받았다고 하는데요

내용 자체는 그 전과 크게 다르지 않으나 학기를 다니다보니 아무래도 조금 씩 늦어집니다.

앞으로도 시간을 잘 지킬 수 있도록 노력하겠습니다!

많이 부족하지만 앞으로도 잘 부탁드리겠습니다.

질문있으시면 언제든지 메일을 보내주세요! 기다리고 있겠습니다.

Review

Index

-Summary

-Experience

안녕하세요, NVIDIA DEEP LEARNING INSTITUTE REVIEW를 진행하고 있는 이제영입니다.

세번째 시간입니다! 이번엔 Image Super Resolution Using AutoEncoder Review로 돌아왔습니다!

이번주는 특이하게 인증서가 나오지 않았는데요, 반면 난이도는 꽤나 쉬운 편이었다고들 합니다!

의외였던건 다른 스터디 인원들은 Auto Encoder를 기존에 이름만 듣고 직접 공부해본 적은 없다고 하던데, 구조 자체는 많이 봤었다고 하네요.

Auto Encoder는 굉장히 중요한데, 이번 기회로 한번 다시 볼 수 있게되었습니다!

많이 부족하지만 앞으로도 잘 부탁드리겠습니다.

질문있으시면 언제든지 메일을 보내주세요! 기다리고 있겠습니다.

Review

Index

-Summary

-Experience

Attnetion Mechanism과 Trnasformer를 정리해보았습니다.

학교 발표용 자료로, 자세한 내용은 생략하고, 간단하게 정리했습니다.

참고 사이트1: Nvidia-DLI
참고 사이트2: Wikidocs
참고 사이트3: CS231N

Tensorflow2에서 Keras를 이용한 다양한 학습 방법들에 대해서 정리해보았습니다.

Tensorflow2 Document를 따라 제작하였으며, 내용은 거의 같습니다.

참고 사이트1
참고 사이트2
PPT의 코드

안녕하세요, 두번째 챕터 Cupy Part 02입니다.

오늘은 Cupy로 표현하는 선형대수학을 하도록 하겠습니다.

마찬가지로 코드위주로 작성할 예정이기 때문에 원본코드를 먼저 첨부하겠습니다.

원본코드 보러가기

Cupy와 선형대수

선형 대수는 데이터 과학에서 기술과 개념을 뒷받침 해주는 분야입니다.

이번 챕터에서는 Cupy를 이용한 선형 대수 표현을 배우겠습니다.

실은 Cupy에서 이미 대부분의 선형대수의 개념을 함수로 만들어 놓았습니다.

그래도 아직 익수하지 못한 분들을 위해, 그리고 처음 보는 분들을 위해 선형 대수 부분을 넣어두었습니다.

따라서 앞서 배운 기초 부분과 많이 유사할 예정이며, 사용에 익숙하신 분들이라면 넘어가셔도 관계 없습니다.

자 그럼 시작하겠습니다.

주피터 노트북 환경에서, 쉘별로 확인해보도록... read more

안녕하세요, 두번째 챕터 Cupy Part 01입니다.

오늘은 Cupy의 기초부터 시작하도록 하겠습니다.

그리고 코드위주로 작성할 예정이기 때문에 원본코드를 먼저 첨부하겠습니다.

원본코드 보러가기

Cupy?

Cupy란 무엇일까요?

대부분의 사람들의 경우 python에서 수학적인 계산을 할 때 Numpy를 많이 사용할 것이라고 생각합니다.

Numpy는 훌륭하고, 빠르고, 편하고, 좋은 라이브러리입니다.

하지만 CPU에서 돌아간다는 점 때문에 대규모 작업을 처리할 때 작업시간이 조금 부담스러울 때가 있습니다.

Cupy란, Python에서 NVIDIA CUDA를 사용한 가속화 컴퓨팅을 제공하는 오픈소스 라이브러리입니다.

Cupy는 Numpy를 뛰어 넘는 속도를 보여주다고합니다.

심지어, 자체 테스트에선 연산이 100배 이상 차이나는 경우도 있었다고 합니다.

RAPIDS에서 제공하는 자체 Bechmark... read more

우선 첫번째 챕터 설치부터 살펴보겠습니다.

솔직히 설치 부분은 비교적 간단하기 때문에, 굳이 보시지 않으셔도 상관없습니다.

다만, 설치시에 문제가 있으시던가 하는 것을 방지하기 위하여 그리고 RAPIDS공식 홈페이지에 대해 알려드리기 위하여, 작성하였습니다.

Enviroment

제가 사용한 환경은 다음과 같습니다.

Ubuntu >= 18.04 LST
Anaconda
Python >= 3.6.8
RAPIDS(stable) >= 0.12
CUDA >= 10.0
Cudnn >= 7.6
NUMPY >= 1.16.1

여러분들은 각자가 원하는 환경으로 구성하시면 됩니다.

다만, 이 칼럼에서는 저랑 비교적 똑같은 환경을 구축하시는것을 추천드립니다.

RAPIDS

read more

0. 시작하며

안녕하세요, 가톨릭 대학교 박사 과정 이제영입니다.

혹시 여러분들은 NVIDIA Tech Blog를 구독 하시나요? 저는 NVIDIA에서 Ambassador로 활동하고 있기 때문에, NVIDIA Tech Blog를 자주 보는 편입니다.

그 중 제가 주로 활동하고 있는 GPU-based Data Science와 관련한 글들은 실습까지 꼭 진행해 보는데요, 지난 2024년 12월 20일 RAPIDS를 RAY와 함께 사용하는 좋은 글이 올라왔습니다.Accelerating GPU Analytics Using RAPIDS and RAY LINK

실은 저는 RAPIDS를 사용할때 RAY를 굉장히 많이 활용하고 있습니다. 로 주로 RAY를 사용한 Hyper Paramter Optimization을 자주 수행하는데요, RAY Tune을 RAPIDS와 함께 사용하면 굉장히 빠른 속도로 HPO를 수행할 수 있습니다.

따라서 오늘은 RAY와 RAPIDS를 사용한... read more

안녕하세요, 두번째 챕터 Cupy Part 02입니다.

오늘은 Cupy로 표현하는 선형대수학을 하도록 하겠습니다.

마찬가지로 코드위주로 작성할 예정이기 때문에 원본코드를 먼저 첨부하겠습니다.

원본코드 보러가기

Cupy와 선형대수

선형 대수는 데이터 과학에서 기술과 개념을 뒷받침 해주는 분야입니다.

이번 챕터에서는 Cupy를 이용한 선형 대수 표현을 배우겠습니다.

실은 Cupy에서 이미 대부분의 선형대수의 개념을 함수로 만들어 놓았습니다.

그래도 아직 익수하지 못한 분들을 위해, 그리고 처음 보는 분들을 위해 선형 대수 부분을 넣어두었습니다.

따라서 앞서 배운 기초 부분과 많이 유사할 예정이며, 사용에 익숙하신 분들이라면 넘어가셔도 관계 없습니다.

자 그럼 시작하겠습니다.

주피터 노트북 환경에서, 쉘별로 확인해보도록... read more

안녕하세요, 두번째 챕터 Cupy Part 01입니다.

오늘은 Cupy의 기초부터 시작하도록 하겠습니다.

그리고 코드위주로 작성할 예정이기 때문에 원본코드를 먼저 첨부하겠습니다.

원본코드 보러가기

Cupy?

Cupy란 무엇일까요?

대부분의 사람들의 경우 python에서 수학적인 계산을 할 때 Numpy를 많이 사용할 것이라고 생각합니다.

Numpy는 훌륭하고, 빠르고, 편하고, 좋은 라이브러리입니다.

하지만 CPU에서 돌아간다는 점 때문에 대규모 작업을 처리할 때 작업시간이 조금 부담스러울 때가 있습니다.

Cupy란, Python에서 NVIDIA CUDA를 사용한 가속화 컴퓨팅을 제공하는 오픈소스 라이브러리입니다.

Cupy는 Numpy를 뛰어 넘는 속도를 보여주다고합니다.

심지어, 자체 테스트에선 연산이 100배 이상 차이나는 경우도 있었다고 합니다.

RAPIDS에서 제공하는 자체 Bechmark... read more

0. 시작하며

안녕하세요, 가톨릭 대학교 박사 과정 이제영입니다.

혹시 여러분들은 NVIDIA Tech Blog를 구독 하시나요? 저는 NVIDIA에서 Ambassador로 활동하고 있기 때문에, NVIDIA Tech Blog를 자주 보는 편입니다.

그 중 제가 주로 활동하고 있는 GPU-based Data Science와 관련한 글들은 실습까지 꼭 진행해 보는데요, 지난 2024년 12월 20일 RAPIDS를 RAY와 함께 사용하는 좋은 글이 올라왔습니다.Accelerating GPU Analytics Using RAPIDS and RAY LINK

실은 저는 RAPIDS를 사용할때 RAY를 굉장히 많이 활용하고 있습니다. 로 주로 RAY를 사용한 Hyper Paramter Optimization을 자주 수행하는데요, RAY Tune을 RAPIDS와 함께 사용하면 굉장히 빠른 속도로 HPO를 수행할 수 있습니다.

따라서 오늘은 RAY와 RAPIDS를 사용한... read more

안녕하세요, NVIDIA DEEP LEARNING INSTITUTE REVIEW를 진행하고 있는 이제영입니다.

다섯번째 시간입니다! 이번엔 Fundamentals Of Accelerated Data Science With RAPIDS Review로 돌아왔습니다!

안타까운 소식이지만 아마 저희 스터디는 이번주로 마무리 지을 것 같습니다!, 기존에 친구들과 약속한 시간이 다 되었기 때문입니다.

아참 그리고 이번주는 인증서와 관련한 헤프닝이 있었습니다.

여러분들도 Accesment test시에 조심해주세요, 심사 숙고하신 후 제출해주시길 바라겠습니다!

RAPIDS는 Pandas, Numpy등과 유사한 점이 많았습니다!

특히 Scikit-learn에 비해 편한 부분도 없잖아 있었습니다.

그래서 그런지 이번주는 그림이 조금 많네요!

블로그에... read more

안녕하세요, NVIDIA DEEP LEARNING INSTITUTE REVIEW를 진행하고 있는 이제영입니다.

네번째 시간입니다! 이번엔 Fundamentals of Accelerated Computing with CUDA Python Review로 돌아왔습니다!

이번주는 그 전에 진행했던 Fundamentals of Accelerated Computing with CUDA C/C++ 과 비슷하다는 느낌을 많이 받았다고 하는데요

내용 자체는 그 전과 크게 다르지 않으나 학기를 다니다보니 아무래도 조금 씩 늦어집니다.

앞으로도 시간을 잘 지킬 수 있도록 노력하겠습니다!

많이 부족하지만 앞으로도 잘 부탁드리겠습니다.

질문있으시면 언제든지 메일을 보내주세요! 기다리고 있겠습니다.

Review

Index

-Summary

-Experience

안녕하세요, NVIDIA DEEP LEARNING INSTITUTE REVIEW를 진행하고 있는 이제영입니다.

세번째 시간입니다! 이번엔 Image Super Resolution Using AutoEncoder Review로 돌아왔습니다!

이번주는 특이하게 인증서가 나오지 않았는데요, 반면 난이도는 꽤나 쉬운 편이었다고들 합니다!

의외였던건 다른 스터디 인원들은 Auto Encoder를 기존에 이름만 듣고 직접 공부해본 적은 없다고 하던데, 구조 자체는 많이 봤었다고 하네요.

Auto Encoder는 굉장히 중요한데, 이번 기회로 한번 다시 볼 수 있게되었습니다!

많이 부족하지만 앞으로도 잘 부탁드리겠습니다.

질문있으시면 언제든지 메일을 보내주세요! 기다리고 있겠습니다.

Review

Index

-Summary

-Experience

Tensorflow2에서 Keras를 이용한 다양한 학습 방법들에 대해서 정리해보았습니다.

Tensorflow2 Document를 따라 제작하였으며, 내용은 거의 같습니다.

참고 사이트1
참고 사이트2
PPT의 코드

Attnetion Mechanism과 Trnasformer를 정리해보았습니다.

학교 발표용 자료로, 자세한 내용은 생략하고, 간단하게 정리했습니다.

참고 사이트1: Nvidia-DLI
참고 사이트2: Wikidocs
참고 사이트3: CS231N

Tensorflow2에서 Keras를 이용한 다양한 학습 방법들에 대해서 정리해보았습니다.

Tensorflow2 Document를 따라 제작하였으며, 내용은 거의 같습니다.

참고 사이트1
참고 사이트2
PPT의 코드

Attnetion Mechanism과 Trnasformer를 정리해보았습니다.

학교 발표용 자료로, 자세한 내용은 생략하고, 간단하게 정리했습니다.

참고 사이트1: Nvidia-DLI
참고 사이트2: Wikidocs
참고 사이트3: CS231N

0. 시작하며

안녕하세요, 가톨릭 대학교 박사 과정 이제영입니다.

혹시 여러분들은 NVIDIA Tech Blog를 구독 하시나요? 저는 NVIDIA에서 Ambassador로 활동하고 있기 때문에, NVIDIA Tech Blog를 자주 보는 편입니다.

그 중 제가 주로 활동하고 있는 GPU-based Data Science와 관련한 글들은 실습까지 꼭 진행해 보는데요, 지난 2024년 12월 20일 RAPIDS를 RAY와 함께 사용하는 좋은 글이 올라왔습니다.Accelerating GPU Analytics Using RAPIDS and RAY LINK

실은 저는 RAPIDS를 사용할때 RAY를 굉장히 많이 활용하고 있습니다. 로 주로 RAY를 사용한 Hyper Paramter Optimization을 자주 수행하는데요, RAY Tune을 RAPIDS와 함께 사용하면 굉장히 빠른 속도로 HPO를 수행할 수 있습니다.

따라서 오늘은 RAY와 RAPIDS를 사용한... read more

0. 시작하며

안녕하세요, 가톨릭 대학교 박사 과정 이제영입니다.

혹시 여러분들은 NVIDIA Tech Blog를 구독 하시나요? 저는 NVIDIA에서 Ambassador로 활동하고 있기 때문에, NVIDIA Tech Blog를 자주 보는 편입니다.

그 중 제가 주로 활동하고 있는 GPU-based Data Science와 관련한 글들은 실습까지 꼭 진행해 보는데요, 지난 2024년 12월 20일 RAPIDS를 RAY와 함께 사용하는 좋은 글이 올라왔습니다.Accelerating GPU Analytics Using RAPIDS and RAY LINK

실은 저는 RAPIDS를 사용할때 RAY를 굉장히 많이 활용하고 있습니다. 로 주로 RAY를 사용한 Hyper Paramter Optimization을 자주 수행하는데요, RAY Tune을 RAPIDS와 함께 사용하면 굉장히 빠른 속도로 HPO를 수행할 수 있습니다.

따라서 오늘은 RAY와 RAPIDS를 사용한... read more

0. 시작하며

안녕하세요, 가톨릭 대학교 박사 과정 이제영입니다.

혹시 여러분들은 NVIDIA Tech Blog를 구독 하시나요? 저는 NVIDIA에서 Ambassador로 활동하고 있기 때문에, NVIDIA Tech Blog를 자주 보는 편입니다.

그 중 제가 주로 활동하고 있는 GPU-based Data Science와 관련한 글들은 실습까지 꼭 진행해 보는데요, 지난 2024년 12월 20일 RAPIDS를 RAY와 함께 사용하는 좋은 글이 올라왔습니다.Accelerating GPU Analytics Using RAPIDS and RAY LINK

실은 저는 RAPIDS를 사용할때 RAY를 굉장히 많이 활용하고 있습니다. 로 주로 RAY를 사용한 Hyper Paramter Optimization을 자주 수행하는데요, RAY Tune을 RAPIDS와 함께 사용하면 굉장히 빠른 속도로 HPO를 수행할 수 있습니다.

따라서 오늘은 RAY와 RAPIDS를 사용한... read more

안녕하세요, 두번째 챕터 Cupy Part 02입니다.

오늘은 Cupy로 표현하는 선형대수학을 하도록 하겠습니다.

마찬가지로 코드위주로 작성할 예정이기 때문에 원본코드를 먼저 첨부하겠습니다.

원본코드 보러가기

Cupy와 선형대수

선형 대수는 데이터 과학에서 기술과 개념을 뒷받침 해주는 분야입니다.

이번 챕터에서는 Cupy를 이용한 선형 대수 표현을 배우겠습니다.

실은 Cupy에서 이미 대부분의 선형대수의 개념을 함수로 만들어 놓았습니다.

그래도 아직 익수하지 못한 분들을 위해, 그리고 처음 보는 분들을 위해 선형 대수 부분을 넣어두었습니다.

따라서 앞서 배운 기초 부분과 많이 유사할 예정이며, 사용에 익숙하신 분들이라면 넘어가셔도 관계 없습니다.

자 그럼 시작하겠습니다.

주피터 노트북 환경에서, 쉘별로 확인해보도록... read more

안녕하세요, 두번째 챕터 Cupy Part 01입니다.

오늘은 Cupy의 기초부터 시작하도록 하겠습니다.

그리고 코드위주로 작성할 예정이기 때문에 원본코드를 먼저 첨부하겠습니다.

원본코드 보러가기

Cupy?

Cupy란 무엇일까요?

대부분의 사람들의 경우 python에서 수학적인 계산을 할 때 Numpy를 많이 사용할 것이라고 생각합니다.

Numpy는 훌륭하고, 빠르고, 편하고, 좋은 라이브러리입니다.

하지만 CPU에서 돌아간다는 점 때문에 대규모 작업을 처리할 때 작업시간이 조금 부담스러울 때가 있습니다.

Cupy란, Python에서 NVIDIA CUDA를 사용한 가속화 컴퓨팅을 제공하는 오픈소스 라이브러리입니다.

Cupy는 Numpy를 뛰어 넘는 속도를 보여주다고합니다.

심지어, 자체 테스트에선 연산이 100배 이상 차이나는 경우도 있었다고 합니다.

RAPIDS에서 제공하는 자체 Bechmark... read more

0. 시작하며

안녕하세요, 가톨릭 대학교 박사 과정 이제영입니다.

혹시 여러분들은 NVIDIA Tech Blog를 구독 하시나요? 저는 NVIDIA에서 Ambassador로 활동하고 있기 때문에, NVIDIA Tech Blog를 자주 보는 편입니다.

그 중 제가 주로 활동하고 있는 GPU-based Data Science와 관련한 글들은 실습까지 꼭 진행해 보는데요, 지난 2024년 12월 20일 RAPIDS를 RAY와 함께 사용하는 좋은 글이 올라왔습니다.Accelerating GPU Analytics Using RAPIDS and RAY LINK

실은 저는 RAPIDS를 사용할때 RAY를 굉장히 많이 활용하고 있습니다. 로 주로 RAY를 사용한 Hyper Paramter Optimization을 자주 수행하는데요, RAY Tune을 RAPIDS와 함께 사용하면 굉장히 빠른 속도로 HPO를 수행할 수 있습니다.

따라서 오늘은 RAY와 RAPIDS를 사용한... read more

0. 시작하며

안녕하세요, 가톨릭 대학교 박사 과정 이제영입니다.

오랫동안 blog를 방치하고 있었는데, 가끔은 제가 공부했던 것이나 생각나는 것을 정리해두면 좋을 것 같아 새로운 형태로 다시 시작하게 되었습니다.

오늘은 Cupy를 이용하여 CUDA Custom Kernel을 작성하는 연습을 진행하다가 CUDA에서 헷갈렸던 부분을 다시 정리해봅니다.

개인적으로 정리하는 것이니 제가 이렇게 이해했다 정도로 참고해주시면 감사하겠습니다.

1. Thread, Block, Grid와 GPU

CUDA를 사용한 GPU 프로그래밍시 thread와 block, grid에 대한 이야기는 항상 등장합니다.

CUDA를 배울땐, thread가 모여서 block, block이 모여서 grid 라고하며 보통 CUDA 프로그래밍에서 Grid는 작업을 구성하는 가장 상위 단위로, 하나의 GPU는 여러 Grid를 동시에 실행할 수 있습니다.

그리고 일반적으로... read more