MemoryUtilization은 왜 계속 증가하는가?
AI API 서버를 따로 분리하여 관리하면서 한 가지 궁금증이 생겼습니다.
초기 셋팅한 ECS의 환경에서 CPU 사용량은 일정하게 유지되다가 트래픽이 생겼을 때 증가하는 모습을 보인 반면에 MemoryUtilization의 값은 서비스가 지속되고 사용자가 점점 많아지면서 점점 증가하는 모습을 보였어 왜 영구적으로 저장되는 값을 로직상에 구성하지 않았는데 불구하고 MemoryUtilization 값이 계속 증가하는지에 대한 의문이 들었습니다.
MemoryUtilization의 값이 초기 30퍼센트 정도의 값이 었던것으로 기억하지만 전시회를 진행하면서 지속적으로 증가하여 49.45퍼센트까지 올라온 것을 확인하였고 이 값은 하드디스크의 용량을 사용하여서 증가하였다고 생각되기에 Garbage collector의 구성이 없어서 문제가 된 것인지에 대한 고민이 있었습니다. ( 여기서 Garbage collector라고 표현하였지만 이렇게 표현하는 것이 맞는지도 의문이 듦 )
내부 코드에서 로컬 서버로 실행하였을때의 로그 값을 간편하게 확인하기 위하여 구성한 print 문 등이 문제점으로 작용할 수 있을 거라는 생각을 하고 있기 때문에 전시회 종료 후 해당 내용을 제거하고 스트레스 테스트를 하고 결괏값을 확인하려고 합니다.
그리고 해당 값이 몇퍼센트 정도까지 올라왔을 때 시스템이 정지하는지에 대한 테스트도 계획하고 있습니다.
추가적으로 CPU 사용량을 확인하였을때 15~17퍼센트 정도만 사용하고 있는 것으로 확인되기 때문에 똑같은 환경에서 다음 전시회를 하게 된다고 가정하였을 때는 컨테이너에 배당되는 CPU 용량을 줄여서 서비스를 구성해야겠습니다.
'DevLog' 카테고리의 다른 글
[Setting] InvokeAI Setting - for stable diffusion (0) | 2022.12.06 |
---|---|
[Troubleshooting] ImportError: cannot import name 'builder' from 'google.protobuf.internal' (0) | 2022.11.23 |
[Troubleshooting] dial unix backend.sock: connect: connection refused` (0) | 2022.11.07 |
[TIP] .gitignore 파일 즉시 적용하기 (0) | 2022.11.03 |
[Trouble shooting] LF will be replaced by CRLF the next time Git touches it (0) | 2022.11.02 |