nvidia
-
Triton server memory leak (메모리 릭) malloc설정을 바꿔보자computer science 2024. 5. 13. 14:00
- 결론부터 말하자면 Triton inference api server 를 사용할때 docker image의 malloc을 지정하는 환경변수를 바꿔서 테스트해보는것을 추천한다. 자세한 방법과 내용은 글 하단에 작성해두었다. 일단 필자가 사용하는 서버에서 주로 메모리가 급증했던 구간은 python으로 preprocess하는 custom api 구간이었다. image를 byte array 형태로 직접 받도록 구성해두었다보니 요청량이 많아져 queue가 쌓이면 이미지를 메모리상에 두게되어 메모리 점유율이 급상승하는 형태를 띈다. 문제는 요청 이후 api측은 idel상태인데 메모리중 일부가 릴리즈되지 않는 경향을 보이는것이다. 처음에는 python에서 garbage collecter가 동작해서 해결될거..
-
엔비디아가 테슬라처럼 롱런 할 수 있는 3가지 이유investment & economy 2023. 8. 21. 11:00
최근 엔비디아의 상승세가 심상치 않다. 심지어 PER은 200대를 넘어가면서 고평가라는 이야기가 심심치않게 들린다. 이제 고점이라며 수익을 보고 청산했다는 글도 쏟아지고 있다. 그럼에도 주가는 쉽사리 내려오지 않고있다. 과연 현재상황은 FOMO일까 아니면 적정한 시장반응일까? 사실 엔비디아는 테슬라가 폭등했을때과 거의 비슷한 흐름을 보여주고 있다. 현상도 사실 비슷하다. 테슬라는 매력적으로 보이는 회사이미지와 전기차시장의 성장세라는 호재에 힘입어 공매도 세력을 압도하며 크게 상승했다. 엔비디아는 AI수요 증가 및 생태계 확장이라는 호재에 힘입어 없어서는 안될 회사라는 인식이 강해지며 투자자들의 마음을 훔치고 있다. 오르는 이유는 사실 트랜드에 맞는 제품군을 보유하고 있다는 공통점이 있다. 이것 말고도 3..
-
지금 엔비디아는 고평가? 그럼에도 투자해야하는 5가지 이유investment & economy 2023. 7. 10. 07:30
지난 포스팅에서는 엔비디아(NVIDIA)가 너무 고평가이고 투자하기 좋은 시점이 아닐 수 있다고 설명했다. 그러나 미래가치반영의 시각으로 보았을때는 현재의 가격이 적정수준일 수도 있다. 심지어는 그 이상으로 오를만한 이유들도 있다. 이번 포스팅에서는 엔비디아에 투자할만한 포인트는 어떤것이 있는지 한번 알아보도록 하자. 엔비디아가 현재 고평가여도 투자해야하는 5가지 이유 1. 예전만 못한 수익성? 지금 나오는 역대급 매출을 보라. 2019~2020년도만 해도 순이익이 지금보다 좋았던것은 사실이다. 그래픽카드를 통한 코인채굴의 시기였고 그때는 부르는게 값이어서 정말 비싸게 팔아 마진을 남길 수 있는 여건이었다. 그렇다고 해서 현재 성장이 둔화되었는가? 그렇게 보기엔 성급하다. 순이익은 줄었을 지언정 매출량으..
-
지금 엔비디아에 투자하면 안되는 이유 5가지 (NVDA)investment & economy 2023. 7. 8. 09:30
현재 NVIDIA는 그래픽 하드웨어의 선두주자임과 동시에 AI 컴퓨팅의 세계적인 리더로 자리매김하고 있다. 또한 다양한 분야에서 AI 기반 솔루션을 제공하고 있어 많은 투자자가 전망을 보고 투자에 뛰어들었다. 엔비디아는 아주 좋은 기업이다. 사실상 경쟁자가 없는 독점적 지위와 시장의 수요는 기업의 수익성을 보장하는듯 하고, 미래산업까지 확보한 분위기다. 주가도 이를 반영하듯 고공행진중이다. 그러나 현재 가격으로 투자할만한 가치가 있는가는 전혀 다른 문제다. 엔비디아의 요즘 가장 떠오르는 이슈와 펀더멘털분석으로 엔비디아 투자를 피해야 하는 이유를 살펴보자. 엔비디아 투자하면 절대 안되는 이유 5가지 1. 단기적인 고평가? 현재 NVIDIA는 전체 시총 5위에 위치할 정도로 급성장했다. 게다가 실제 수익대비..