[AI Frontier Div.] AI Inference Platform & Operations Lead (10년 이상)

 

우리 팀(프로젝트)을 소개합니다. 

• AI Frontier 본부는 크래프톤의 AI 기술을 실제 제품과 서비스로 연결하고, 새로운 사업 기회를 검증하고 확장하는 조직입니다. 여러 Squad가 서로 다른 고객과 시장을 대상으로 사업을 추진하며, 각 Squad는 제품 개발부터 서비스 운영과 사업 성과까지 책임집니다. 고객의 요구와 실제 사용 결과를 바탕으로 제품을 개선하고, 사업성이 확인된 서비스를 확장해 나갑니다.
• AI Inference Platform & Operations 팀은 이러한 제품들이 공통으로 사용하는 추론 기반을 만들고, 이를 바탕으로 외부 고객에게 제공하는 추론 서비스를 구축·운영합니다. 자체 모델과 오픈웨이트 모델을 빠르고 안정적으로 서비스에 연결하고, 트래픽이 성장해도 일관된 응답 속도와 가용성을 유지하며, GPU 자원과 추론 비용을 효율적으로 운영하는 것이 팀의 미션입니다.
• AI Frontier 본부 구성원들은 직급과 연차에 상관없이 의견을 내고, 결정하면 빠르게 실행합니다. 장애를 겪으면 숨기지 않고 포스트모템으로 시스템을 더 단단하게 만들고, 아키텍처와 실험 결과와 의사결정 과정을 문서로 남깁니다. AI 도구를 일상적인 개발·운영 도구로 쓰며, 새로운 모델과 서빙 기술이 나오면 바로 써보고 프로덕션에 적용할 방법을 찾는 문화를 지향합니다.

 

우리 팀과 함께할 미션을 소개합니다.

• Inference fleet과 control plane 소유
  • 추론 플랫폼의 기술 방향과 주요 기술 의사결정을 책임지는 Lead로서 자체 모델과 오픈웨이트 모델(음성·멀티모달 포함)을 위한 서빙 플랫폼을 설계하고, 구축·운영 체계를 수립하며 팀의 실행을 이끕니다.
  • 서빙 엔진과 오케스트레이션 계층을 선택하고, 요청 라우팅, 용량·모델·캐시 배치, 오토스케일링, 멀티 모델·멀티 테넌트 운영 정책을 포함한 기술 로드맵과 운영 표준을 수립합니다.
    
• 조직 구축과 협업 구조 정립
  • 팀을 직접 채용·육성하고, AI Research의 컴퓨팅 최적화 R&D 조직, 사내 추론 서비스를 운영하는 IT 조직, 각 사업 Squad 사이의 단일 접점 역할을 합니다.
  • 프로덕션의 워크로드 프로파일과 병목을 R&D 요구사항으로 구체화하고, 연구 결과를 검증·인수·배포하는 루프를 만듭니다.
• 안전한 모델 온보딩과 플랫폼 경험 제공
  • 새 모델의 성능·품질 회귀 테스트, 릴리즈 자동화, 카나리·롤백, API gateway의 인증·쿼터·rate limit, 토큰 단위 관측성을 구축합니다.
  • 사업 Squad와 모델 개발자가 모델을 빠르고 일관되게 온보딩할 수 있는 셀프서비스 도구와 가이드를 제공합니다.
• SLO와 운영 신뢰성 확립
  • TTFT·TPOT·end-to-end latency의 p95·p99, 가용성, 에러율, 처리량 등 워크로드별 SLO와 error budget을 각 Squad와 함께 정합니다.
  • 온콜, 장애 대응, 포스트모템, capacity event 대응, deploy safety를 포함한 운영 체계를 만듭니다.
  • 포스트모템 기반의 아키텍처 개선을 주도합니다.
• GPU 자원과 단위 원가 관리
  • GPU 스케줄링·할당, 테넌트 격리, 쿼터·우선순위 정책과 capacity planning 모델을 설계·수립합니다.
  • 모델·워크로드별 GPU 활용률, 처리량, 요청·토큰·작업 단위 원가를 측정하고, 각 Squad가 수요와 원가를 계획할 수 있는 지표를 제공합니다.
• 서빙 기법의 적용·튜닝과 서빙 시스템 개선
  • continuous batching, prefix caching, KV cache offloading·계층화, Prefill-Decode 분리 토폴로지, 요청 스케줄링과 모델 라우팅의 적용 전략을 실제 트래픽에 맞게 수립하고 팀의 실행을 이끕니다.
  • 서비스에 필요한 라우팅·스케줄링·캐시 로직과 모델 연동 코드는 팀이 직접 개선합니다.
  • 양자화 체크포인트, speculative decoding처럼 엔진이나 R&D 조직이 제공한 기능은 품질 회귀·성능 효과·장애 범위의 검증 기준을 수립하고 단계적 배포를 이끕니다.
• Agentic·실시간 음성 워크로드 효율화
  • 긴 컨텍스트와 반복 툴 호출이 많은 에이전트에는 세션 기반 라우팅, 캐시 재사용, 구조화 출력, 소형·대형 모델 cascade를 제공하고 Squad와 함께 적용합니다.
  • 음성 서비스에는 Squad와 함께 정한 지연·품질 목표를 기준으로 STT–LLM–TTS 추론 구간과 공통 서빙 기능의 성능·안정성을 책임지고, turn-taking을 포함한 end-to-end 지연의 관측 기준을 세우고 개선을 이끕니다.
    
    

이런 경험을 가진 분과 함께 성장하고 싶습니다! (필수요건)

• Lead 역할
  • 대규모 트래픽 서비스(인터넷 서비스, 게임, 플랫폼 등)의 인프라·SRE·플랫폼 엔지니어링 분야에서 10년 이상 경험하고, critical-path 프로덕션 시스템을 책임지는 팀을 리딩해 보신 분
  • 서빙 엔진·오케스트레이션·스토리지 계층 같은 핵심 기술을 직접 비교·선택하고, 성능·비용·운영 복잡도의 트레이드오프를 근거와 함께 설명할 수 있는 분
  • 중요한 기술적 병목에서는 직접 설계·리뷰하고 팀의 실행을 이끄는 분
  • 레이턴시·가용성·처리량·비용 지표를 정의하고 상충하는 목표 사이에서 결정을 내려 정량적인 개선 성과를 만들어 보신 분
  • 사업 조직·경영진과 SLO와 원가를 숫자로 협의하고, 조직 간 역할과 기술적 의사결정을 명확한 문서로 남길 수 있는 분
• 공통 기술 베이스
  • Kubernetes 또는 이에 준하는 오케스트레이션 환경의 대규모 분산 시스템에서 배포, 로드밸런싱, 스케줄링, 오토스케일링, 관측성, 온콜·장애 대응 체계를 설계하고 운영해 보신 분
  • LLM·ML 모델 서빙 또는 실시간 3D 게임 등 이에 준하는 고연산·저지연 실시간 시스템을 GPU 환경의 프로덕션에 배포하고 운영해 보신 분
  • 급격한 수요 변화와 제한된 자원이 공존하는 환경에서 capacity planning, 쿼터·우선순위, 자원 격리 정책을 실제로 운영해 보신 분
  • Python 또는 Go로 프로덕션 서비스 코드를 작성하고, 대규모 오픈소스 시스템의 코드를 읽고 필요한 부분을 수정해 보신 분
    
• 해외 출장에 결격 사유가 없는 분

 

이런 경험들이 있다면 저희가 찾는 그 분입니다! (우대요건)

• 추론 플랫폼·GPU 운영
  • vLLM, SGLang, TensorRT-LLM, Triton Inference Server 등 LLM 서빙 엔진을 프로덕션에서 운영한 경험
  • NVIDIA Dynamo, llm-d, KServe, Ray Serve 등 분산 추론 오케스트레이션 또는 inference control plane 운영 경험
  • continuous batching, Prefill-Decode 분리, prefix caching, KV cache offloading·계층화 같은 서빙 기능을 실제 트래픽에 도입하고 효과를 측정한 경험
  • 양자화 체크포인트, speculative decoding 같은 최적화 기능을 정확도 회귀 테스트·카나리·롤백과 함께 프로덕션에 적용한 경험
  • 멀티노드 GPU 환경(NVLink, InfiniBand/RoCE)과 GPU Operator, DCGM, MIG 등 GPU 리소스 관리 도구 운영 경험
• 실시간 음성·에이전트
  • STT–LLM–TTS와 Turn Detector를 결합한 음성 대화 시스템 또는 음성·영상·멀티모달 모델의 실시간 스트리밍 서빙 경험
  • end-to-end TTFT, turn-taking, backpressure를 포함한 WebSocket·SSE 기반 저지연 파이프라인을 최적화한 경험
  • 코딩 에이전트처럼 툴 호출 루프가 많은 에이전트 워크로드를 서빙하거나, LLM 게이트웨이(LiteLLM 등)와 모델 라우팅 계층을 운영한 경험
• 조직·플랫폼·비용
  • 신설 팀이나 플랫폼 조직을 처음부터 구축하고 채용·육성한 경험
  • 연구자가 만든 모델·알고리즘을 프로덕션에 통합하며 인터페이스 합의, 검증 루프, 회귀 테스트와 배포까지 주도한 경험
  • 외부 고객에게 API 형태로 모델을 제공하며 SLA, 쿼터, 과금을 운영한 경험
  • FinOps, chargeback/showback 등 GPU 비용 가시화 체계를 만든 경험
  • 대규모 오픈소스 시스템의 포크·업스트림 동기화 또는 B2B 멀티테넌트 환경의 릴리즈·브랜치 전략을 운영한 경험
  • NPU 등 비-NVIDIA 가속기에서 서빙을 운영한 경험

 

---

크래프톤의 도전에 함께 하기 위해 아래의 전형 과정이 필요합니다.

• 서류 전형 > 사전 인터뷰 (Phone Interview) > *과제 전형 > 인성검사 (Personality Assessment) > 직무면접 (Technical Fit Interview) > 종합면접 (2-3회) (Culture Fit Interview) > 합격 및 입사
• *해당 절차는 각 포지션 및 후보자에 따라 변동이 있을 수 있습니다.
• 상시 채용으로 채용 완료 시 조기 마감될 수 있습니다.
• 필요 시, 인터뷰 및 직무 테스트가 추가될 수 있습니다.
• 전형 일정 및 합격 또는 불합격 결과는 지원서에 등록하신 이메일 또는 유선으로 개별 안내 드립니다.

 

필요 서류를 확인해주세요!

• 입사지원서 (자유 양식), 자기소개서, 경력기술서, 포트폴리오 (필요 시)
• 신입일 경우 자기소개서를, 경력일 경우 경력기술서를 중심으로 기술해 주시기 바랍니다.
• 포트폴리오 첨부 시, 하단 안내 사항을 확인해 주시기 바랍니다. 
  

 

근무지

• 역삼 센터필드

 

고용형태 

• 전문계약직