GPU 메모리가 부족하여 학습 파이프라인을 수행하지 못하는 경우에는 batch size를 줄여보세요

[Minoh_Kang]

UiPath Document Understanding에서 GPU 없이 CPU로만 학습을 수행하면 10배 이상의 시간이 소요될 뿐만 아니라 데이터셋의 최대 페이지 수량에도 제약이 생깁니다.

https://docs.uipath.com/document-understanding/docs/training-pipelines

CPU로만 학습하는 경우, 2021.10 버전 이전까지는 500 페이지가 한계였고, 2021.10 버전에서는 5,000 페이지, 그리고 2022.4 버전부터는 1,000 페이지까지 가능합니다. 이 이상의 페이지를 학습시켜야 한다면 GPU가 필요합니다.

이 정도의 학습량으로는 문서에서 추출할 수 있는 데이터가 매우 제한적이기 때문에 사실상 GPU는 필수라고 할 수 있습니다.

Document Understanding에서 요구하는 GPU는 11 GiB 또는 그 이상의 RAM을 가져야 합니다만, 이보다 적은 8 GiB RAM을 가진 GPU로 데모나 간단한 PoC를 위한 학습을 수행하게 되는 경우가 있습니다.

https://docs.uipath.com/ai-fabric/docs/standalone-single-node-requirements-and-installation#additional-agent-node-with-gpu-support-for-document-understanding

학습 파이프라인 수행 중에 CUDA out of memory 에러가 발생하는 경우, 아래와 같이 batch size를 4 정도로 줄여서 학습하면 메모리 사용량이 줄어들어 에러를 피할 수 있습니다. 이 방법은 workaround일 뿐이고 에러가 항상 없어진다고 보장할 수는 없습니다. 실제 운영 환경에서는 반드시 11 GiB 이상의 RAM을 가진 GPU를 사용해야 합니다.