반응형
TIS
-
Triton server memory leak (메모리 릭) malloc설정을 바꿔보자computer science 2024. 5. 13. 14:00
- 결론부터 말하자면 Triton inference api server 를 사용할때 docker image의 malloc을 지정하는 환경변수를 바꿔서 테스트해보는것을 추천한다. 자세한 방법과 내용은 글 하단에 작성해두었다. 일단 필자가 사용하는 서버에서 주로 메모리가 급증했던 구간은 python으로 preprocess하는 custom api 구간이었다. image를 byte array 형태로 직접 받도록 구성해두었다보니 요청량이 많아져 queue가 쌓이면 이미지를 메모리상에 두게되어 메모리 점유율이 급상승하는 형태를 띈다. 문제는 요청 이후 api측은 idel상태인데 메모리중 일부가 릴리즈되지 않는 경향을 보이는것이다. 처음에는 python에서 garbage collecter가 동작해서 해결될거..