AWS와 EKS 위에서 20개 이상의 서비스를 구축하고 운영해 온 Cloud Platform / DevOps Engineer입니다.
반복되는 인프라 운영을 코드와 파이프라인으로 옮기는 일을 해왔습니다. Terraform으로 리소스 생성 기준을 표준화하고, Jenkins에 Terraform Plan 검증을 붙여 변경 영향을 PR 단계에서 확인할 수 있게 했으며, 권한 감사와 보안 패치 대상 선별처럼 사람이 반복하던 확인 작업을 Python과 Lambda로 자동화했습니다.
지금은 그 기반을 GPU와 LLM Serving으로 넓히고 있습니다. 로컬 GPU에서 시작해 클라우드 GPU 노드 위에 vLLM 서빙 환경을 세우고, 관측과 복구, 추론 최적화를 하나씩 실측하는 중입니다. 아직 진행 중인 방향이며 그 과정도 결과와 함께 공개합니다.
요즘 보는 것
- Kubernetes가 GPU를 다루는 방식 — Device Plugin과 time-slicing, 그리고 DRA 같은 다음 세대의 자원 할당 방식
- LLM 서빙 플랫폼 사례 — 모델을 띄우는 것과 그걸 플랫폼으로 운영하는 것 사이의 간극을 다른 팀들은 어떻게 메웠는지
- AI 에이전트 설계 — 에이전트 간 통신과 도구 호출 구조. 개인 지식 볼트를 LLM이 유지보수하는 형태로 직접 굴려보고 있습니다
이 블로그를 읽는 법
- Archive — 도메인별 기술 노트
- Projects — 하나의 목표를 여러 편에 걸쳐 끝까지 따라간 기록
글에는 규칙이 하나 있습니다. 확인한 것과 확인하지 않은 것을 섞지 않습니다. 실행한 명령과 그 출력을 그대로 싣고, 측정하지 않은 값은 확인하지 않았다고 적습니다. 예상과 달랐던 실패도 그것이 일어난 자리에 그대로 남깁니다.