AI Engineer (Serving)

합류하게 될 팀에 대해 알려드려요

• AI Platform 팀은 "AI 기술을 누구나 빠르고 안정적으로 사용할 수 있는 플랫폼으로 만든다"는 미션을 가지고, 토스 전반의 AI 활용을 기술적으로 지원하고 있어요.
• Retrieval-Augmented Generation, Agent, Assistant 등 새로운 방식의 AI 시스템이 빠르게 실험되고 안정적으로 운영될 수 있도록, 필요한 도구와 플랫폼을 만들고 있어요.
• 우리가 만드는 플랫폼은 단순한 툴셋이 아니라, AI 기술이 더 많은 팀에서 실제로 쓰일 수 있게 확장성을 갖춘 구조로 설계돼요.
• 아직 정답이 정해지지 않은 문제들을 다루는 만큼, 기술적인 방향을 함께 고민하고 구조화해나가는 역할이 중요해요.
• **토스 데이터 조직에 대해 더 알아보고 싶다면?** → *토스 Data Division 위키*

합류하면 함께 할 업무에요

• 다양한 서빙 프레임워크(vLLM, Dynamo, Triton 등)를 운영하고 성능을 개선해요.
• 대규모 LLM 및 embedding 모델의 안정적인 실시간 서빙 환경을 구축하고 모니터링해요.
• 리소스 효율성, 추론 속도, 확장성을 고려해 시스템 성능을 지속적으로 개선해요.
• 모델 서빙 장애 대응, 배포 안정성 확보를 위한 오케스트레이션 및 자동화 작업을 함께해요.

이런 분과 함께하고 싶어요

• Triton, vLLM 등 서빙 프레임워크에 익숙하고 성능 튜닝 및 운영 안정성 확보 경험이 있는 분과 함께하고 싶어요
• GPU 내부에서의 동작 방식와 LLM 모델들 내부에서의 동작 방식에 대한 이해와 실전 운영 경험이 있는 분과 함께하고 싶어요
• 실험 및 운영 효율화를 위한 자동화, 모니터링, 오케스트레이션에 관심이 있는 분과 함께하고 싶어요
• 구조화되지 않은 문제를 기술적으로 정의하고, 시스템적으로 해결해본 분이면 좋아요
• 새로운 기술 흐름을 빠르게 따라가고, 그 흐름을 팀 내에 자연스럽게 녹여낸 경험이 있다면 좋아요

이런 분이면 더 좋아요

• 대규모 LLM 또는 embedding 모델 학습/서빙을 위한 최적화하고 운영한 경험이 있으신 분이면 더욱 잘 맞아요.
• LLM 모델들을 최적화하여 서비스에 활용할 수 있게 성능을 이끌어낸 분이면 환영해요.
• AI/ML 모델들에 대해 일반화하여 플랫폼을 구축해본 경험이 있으시면 더욱 좋아요.
• 고성능 서빙, 대규모 트래픽 환경에서 모델 운영 경험이 있는 분이면 AI Platform 팀의 방향과 잘 맞을 거예요.- 대규모 LLM 또는 embedding 모델 학습/서빙을 위한 최적화하고 운영한 경험이 있으신 분이면 더욱 잘 맞아요.
• LLM 모델들을 최적화하여 서비스에 활용할 수 있게 성능을 이끌어낸 분이면 환영해요.
• AI/ML 모델들에 대해 일반화하여 플랫폼을 구축해본 경험이 있으시면 더욱 좋아요.
• 고성능 서빙, 대규모 트래픽 환경에서 모델 운영 경험이 있는 분이면 AI Platform 팀의 방향과 잘 맞을 거예요.

이력서는 이렇게 작성하시는 걸 추천해요

• 진행했던 과제가 조직에 큰 영향력을 미쳤다면 그 내용을 자세히 작성해 주세요.
• 단순히 어떤 언어, 플랫폼, 프레임워크, 기술 등을 사용했는지보다는, 어떤 목적을 가진 과제였는지, 이를 해결하기 위해 무엇을 사용했는지, 어떻게 문제를 해결했는지에 대해 자세히 작성해 주세요.
• 플랫폼을 운영하면서 발생한 치명적인 장애를 해결해 보았거나, 성능/리소스 최적화를 해 본 경험이 있다면 작성해 주세요.
• 오픈소스 사용 중에 발생한 버그나 이슈를 해결해 보았거나, 부족한 기능을 개선하기 위해 오픈소스에 기여했던 경험이 있다면 작성해 주세요.

토스로의 합류여정

• 서류 접수 > 프리 인터뷰 > 직무 인터뷰 > 문화적합성 인터뷰 > 레퍼런스 체크 > 처우 협의 > 최종 합격
• 프리 인터뷰에서는 지원서 기반의 주요 경험과 직무 적합도를 중심으로 면접이 진행될 예정이에요.
• 직무 인터뷰에서는 심층 기술 면접과 ML 시스템 설계를 주제로 면접이 진행될 예정이에요.

함께할 동료를 위한 한마디

"빠르게 발전하고 있는 AI 모델들을 서빙하는 것에 그치지 않고, 그 모델이 안정적으로 작동하고 끊임없이 개선될 수 있는 시스템을 직접 만들어갑니다."

• AI Platform 팀은 LLM 기반 서비스, RAG 시스템, 검색 인프라 등 다양한 AI 기술이 실제 프로덕션 환경에서 원활히 동작할 수 있도록 서빙/실험/운영 인프라를 책임지고 있어요.
• GPU 자원과 클러스터를 효율적으로 운영하고, vLLM, Triton, Model Registry 등을 활용해 실험과 배포를 자동화하고 있어요.
• AI 기술이 실질적인 서비스로 이어지기 위해 필요한 기술적 기반을 구축하고, 안정성과 확장성을 함께 고민하는 분을 기다리고 있어요.
• 실험부터 서빙까지의 흐름을 직접 만들고 고도화해 나가는 경험, 토스에서 할 수 있습니다.

합류하게 될 팀에 대해 알려드려요 - AI Platform 팀은 "AI 기술을 누구나 빠르고 안정적으로 사용할 수 있는 플랫폼으로 만든다"는 미션을 가지고, 토스 전반의 AI 활용을 기술적으로 지원하고 있어요. - Retrieval-Augmented Generation, Agent, Assistant 등 새로운 방식의 AI 시스템이 빠르게 실험되고 안정적으로 운영될 수 있도록, 필요한 도구와 플랫폼을 만들고 있어요. - 우리가 만드는 플랫폼은 단순한 툴셋이 아니라, AI 기술이 더 많은 팀에서 실제로 쓰일 수 있게 확장성을 갖춘 구조로 설계돼요. - 아직 정답이 정해지지 않은 문제들을 다루는 만큼, 기술적인 방향을 함께 고민하고 구조화해나가는 역할이 중요해요. - **토스 데이터 조직에 대해 더 알아보고 싶다면?** → *토스 Data Division 위키* 합류하면 함께 할 업무에요 - 다양한 서빙 프레임워크(vLLM, Dynamo, Triton 등)를 운영하고 성능을 개선해요. - 대규모 LLM 및 embedding 모델의 안정적인 실시간 서빙 환경을 구축하고 모니터링해요. - 리소스 효율성, 추론 속도, 확장성을 고려해 시스템 성능을 지속적으로 개선해요. - 모델 서빙 장애 대응, 배포 안정성 확보를 위한 오케스트레이션 및 자동화 작업을 함께해요. 이런 분과 함께하고 싶어요 - Triton, vLLM 등 서빙 프레임워크에 익숙하고 성능 튜닝 및 운영 안정성 확보 경험이 있는 분과 함께하고 싶어요 - GPU 내부에서의 동작 방식와 LLM 모델들 내부에서의 동작 방식에 대한 이해와 실전 운영 경험이 있는 분과 함께하고 싶어요 - 실험 및 운영 효율화를 위한 자동화, 모니터링, 오케스트레이션에 관심이 있는 분과 함께하고 싶어요 - 구조화되지 않은 문제를 기술적으로 정의하고, 시스템적으로 해결해본 분이면 좋아요 - 새로운 기술 흐름을 빠르게 따라가고, 그 흐름을 팀 내에 자연스럽게 녹여낸 경험이 있다면 좋아요 이런 분이면 더 좋아요 - 대규모 LLM 또는 embedding 모델 학습/서빙을 위한 최적화하고 운영한 경험이 있으신 분이면 더욱 잘 맞아요. - LLM 모델들을 최적화하여 서비스에 활용할 수 있게 성능을 이끌어낸 분이면 환영해요. - AI/ML 모델들에 대해 일반화하여 플랫폼을 구축해본 경험이 있으시면 더욱 좋아요. - 고성능 서빙, 대규모 트래픽 환경에서 모델 운영 경험이 있는 분이면 AI Platform 팀의 방향과 잘 맞을 거예요.- 대규모 LLM 또는 embedding 모델 학습/서빙을 위한 최적화하고 운영한 경험이 있으신 분이면 더욱 잘 맞아요. - LLM 모델들을 최적화하여 서비스에 활용할 수 있게 성능을 이끌어낸 분이면 환영해요. - AI/ML 모델들에 대해 일반화하여 플랫폼을 구축해본 경험이 있으시면 더욱 좋아요. - 고성능 서빙, 대규모 트래픽 환경에서 모델 운영 경험이 있는 분이면 AI Platform 팀의 방향과 잘 맞을 거예요. 이력서는 이렇게 작성하시는 걸 추천해요 - 진행했던 과제가 조직에 큰 영향력을 미쳤다면 그 내용을 자세히 작성해 주세요. - 단순히 어떤 언어, 플랫폼, 프레임워크, 기술 등을 사용했는지보다는, 어떤 목적을 가진 과제였는지, 이를 해결하기 위해 무엇을 사용했는지, 어떻게 문제를 해결했는지에 대해 자세히 작성해 주세요. - 플랫폼을 운영하면서 발생한 치명적인 장애를 해결해 보았거나, 성능/리소스 최적화를 해 본 경험이 있다면 작성해 주세요. - 오픈소스 사용 중에 발생한 버그나 이슈를 해결해 보았거나, 부족한 기능을 개선하기 위해 오픈소스에 기여했던 경험이 있다면 작성해 주세요. 토스로의 합류여정 - 서류 접수 > 프리 인터뷰 > 직무 인터뷰 > 문화적합성 인터뷰 > 레퍼런스 체크 > 처우 협의 > 최종 합격 - 프리 인터뷰에서는 지원서 기반의 주요 경험과 직무 적합도를 중심으로 면접이 진행될 예정이에요. - 직무 인터뷰에서는 심층 기술 면접과 ML 시스템 설계를 주제로 면접이 진행될 예정이에요. 함께할 동료를 위한 한마디 > "빠르게 발전하고 있는 AI 모델들을 서빙하는 것에 그치지 않고, 그 모델이 안정적으로 작동하고 끊임없이 개선될 수 있는 시스템을 직접 만들어갑니다." - AI Platform 팀은 LLM 기반 서비스, RAG 시스템, 검색 인프라 등 다양한 AI 기술이 실제 프로덕션 환경에서 원활히 동작할 수 있도록 서빙/실험/운영 인프라를 책임지고 있어요. - GPU 자원과 클러스터를 효율적으로 운영하고, vLLM, Triton, Model Registry 등을 활용해 실험과 배포를 자동화하고 있어요. - AI 기술이 실질적인 서비스로 이어지기 위해 필요한 기술적 기반을 구축하고, 안정성과 확장성을 함께 고민하는 분을 기다리고 있어요. - 실험부터 서빙까지의 흐름을 직접 만들고 고도화해 나가는 경험, 토스에서 할 수 있습니다.

합류하게 될 팀에 대해 알려드려요

• AI Platform 팀은 "AI 기술을 누구나 빠르고 안정적으로 사용할 수 있는 플랫폼으로 만든다"는 미션을 가지고, 토스 전반의 AI 활용을 기술적으로 지원하고 있어요.
• Retrieval-Augmented Generation, Agent, Assistant 등 새로운 방식의 AI 시스템이 빠르게 실험되고 안정적으로 운영될 수 있도록, 필요한 도구와 플랫폼을 만들고 있어요.
• 우리가 만드는 플랫폼은 단순한 툴셋이 아니라, AI 기술이 더 많은 팀에서 실제로 쓰일 수 있게 확장성을 갖춘 구조로 설계돼요.
• 아직 정답이 정해지지 않은 문제들을 다루는 만큼, 기술적인 방향을 함께 고민하고 구조화해나가는 역할이 중요해요.
• **토스 데이터 조직에 대해 더 알아보고 싶다면?** → *토스 Data Division 위키*

합류하면 함께 할 업무에요

• Retrieval, Generation, Vector Search 등 LLM 기반 컴포넌트를 묶어 다양한 팀이 재사용할 수 있도록 플랫폼화해요.
• Prompt, Tool, 컨텍스트 구성 등 Agent 시스템을 더 쉽게 만들고 실험할 수 있도록 기반을 설계해요.
• 실험 이후 서비스에서도 안정적으로 작동할 수 있도록, RAG, Agent 들의 서빙과 운영 흐름을 정리하고 도구화해요.
• Agent 의 성능과 품질을 정량적으로 평가할 수 있는 기반을 만들고 플랫폼으로 제공해요.
• 팀 내부뿐 아니라 다른 팀에서도 AI 시스템을 빠르게 실험하고 적용할 수 있도록 공통화된 환경과 경험을 설계해요.
• 정형화되지 않은 기술 요소들을 구조화하고, 점점 더 넓은 문제로 확장될 수 있도록 방향을 만들어가요.

이런 분과 함께하고 싶어요

• LLM, RAG, Agent와 같은 기술을 활용하여 실제 문제에 적용해본 경험이 있다면 함께하고 싶어요
• 구조화되지 않은 문제를 기술적으로 정의하고, 시스템적으로 해결해본 분이면 좋아요
• 여러 팀과 협업하며 기술을 제품처럼 만들고 운영해본 분과 함께하고 싶어요
• 새로운 기술 흐름을 빠르게 따라가고, 그 흐름을 팀 내에 자연스럽게 녹여낸 경험이 있다면 좋아요
• 복잡한 AI 시스템을 단순하고 일관된 사용자 경험으로 풀어내는 데 관심이 있다면 함께하고 싶어요

이런 분이면 더 좋아요

• Retrieval, Generation, Vector Search 등 RAG 구성 요소를 단독으로 설계하고, 시스템 수준에서 통합해본 경험이 있다면 좋아요
• 다양한 LLM Provider (OpenAI API, Anthropic, GCP, vLLM 등) 를 실제 서비스 상황에 맞춰 선택하고 운영해본 분이면 함께하고 싶어요
• 다양한 목적을 가진 Agent 들을 구조화하고 서비스에 적용하여 운영해본 경험이 있다면 더욱 환영이에요.
• 플랫폼 사용자(내부 개발자, 모델 엔지니어 등)의 요구사항을 바탕으로 실험 환경이나 도구를 주도적으로 설계해본 경험이 있다면 좋아요
• 공통 플랫폼이나 RAG 기반 시스템을 다수의 프로젝트나 도메인에 확장 가능한 형태로 만들고 운영한 경험이 있다면 특히 함께하고 싶어요

이력서는 이렇게 작성하시는 걸 추천해요

• 진행했던 과제가 조직에 큰 영향력을 미쳤다면 그 내용을 자세히 작성해 주세요.
• 단순히 어떤 언어, 플랫폼, 프레임워크, 기술 등을 사용했는지보다는, 어떤 목적을 가진 과제였는지, 이를 해결하기 위해 무엇을 사용했는지, 어떻게 문제를 해결했는지에 대해 자세히 작성해 주세요.
• 플랫폼을 운영하면서 발생한 치명적인 장애를 해결해 보았거나, 성능/리소스 최적화를 해 본 경험이 있다면 작성해 주세요.
• 오픈소스 사용 중에 발생한 버그나 이슈를 해결해 보았거나, 부족한 기능을 개선하기 위해 오픈소스에 기여했던 경험이 있다면 작성해 주세요.

토스로의 합류여정

• 서류 접수 > 프리 인터뷰 > 직무 인터뷰 > 문화적합성 인터뷰 > 레퍼런스 체크 > 처우 협의 > 최종 합격
• 프리 인터뷰에서는 지원서 기반의 주요 경험과 직무 적합도를 중심으로 면접이 진행될 예정이에요.
• 직무 인터뷰에서는 심층 기술 면접과 ML 시스템 설계를 주제로 면접이 진행될 예정이에요.

함께할 동료를 위한 한마디

"빠르게 발전하고 있는 AI 모델들을 서빙하는 것에 그치지 않고, 그 모델이 안정적으로 작동하고 끊임없이 개선될 수 있는 시스템을 직접 만들어갑니다."

• AI Platform 팀은 LLM 기반 서비스, RAG 시스템, 검색 인프라 등 다양한 AI 기술이 실제 프로덕션 환경에서 원활히 동작할 수 있도록 서빙/실험/운영 인프라를 책임지고 있어요.
• AI 기술이 실질적인 서비스로 이어지기 위해 필요한 기술적 기반을 구축하고, 안정성과 확장성을 함께 고민하는 분을 기다리고 있어요.
• 실험부터 서빙까지의 흐름을 직접 만들고 고도화해 나가는 경험, 토스에서 할 수 있습니다.

합류하게 될 팀에 대해 알려드려요

• "모델이 실험에서 멈추지 않고 실제 트래픽 위에서 돌아가게 만든다"는 미션을 가지고, 학습부터 서빙, 운영까지의 기반을 만들고 있어요.
• 플랫폼과 인프라를 실제 비즈니스 문제에 연결하는 일을 맡아요. 사람이 눈으로 확인하고 손으로 처리하던 대량의 판단 업무를, 여러 모델을 엮은 AI 파이프라인으로 바꿔요.
• 수천만 건 규모의 추론을 단기간에 처리해야 하는 일도 있고, 수십만에서 수백만 건을 낮은 지연으로 응답해야 하는 일도 있어요. 어느 쪽인지에 따라 파이프라인의 구조가 완전히 달라져요.
• 모델을 서빙하는 것 뿐만 아니라, 비용, 처리량, 그리고 안정성까지 전체 흐름을 end-to-end로 책임지며 여러 팀을 연결하는 역할도 맡아요.
• 플랫폼화 시키는 것을 고려하며, 서비스에 적용하는 작업을 수행한다는 점이 이 역할의 특징이에요. 한 서비스에서 풀어낸 방식이 다른 서비스에서의 출발점이 돼요.

합류하면 함께 할 업무에요

• ML, LLM, Vision 모델을 조합해 사람이 하던 대량의 판단 업무를 대용량 AI 파이프라인으로 자동화해요.
• 토스의 AI 플랫폼과 인프라를 각 도메인이 필요로 하는 형태로 연결하고, 여러 도메인에서 반복되는 요소를 공통 기능으로 끌어올려 플랫폼을 고도화해요.
• 외부 모델 API를 사용할지, 자체 모델로 옮길지를 비용과 성능을 근거로 판단해요. 데이터가 쌓이면 자체 모델로 전환하는 흐름까지 만들어요.
• 쓴 만큼 내는 종량제와 처리량을 미리 확보하는 PTU(예약 처리량)를 섞어 비용 구조를 설계하고, 같은 결과를 더 적은 비용으로 낼 방법을 계속 찾는 일이에요.
• 동기 호출로 감당되지 않는 규모는 요청과 결과를 분리한 비동기 구조나 대량 배치 처리로 나누어 설계해요. 순간적으로 몰리는 부하에도 전체 처리량이 흔들리지 않게 만드는 일이에요.
• Rate Limit과 이중화, 장애 전환, Fallback/Retry 등을 설계해 운영 안정성을 확보해요.
• 여러 모델과 처리 단계가 이어진 파이프라인을 end-to-end로 보며, 구간마다 흩어져 있는 숫자를 직접 검증해요. 제품, ML, 인프라 팀 사이에서는 기술 판단 기준을 제시하고 의견을 조율해요.

이런 분과 함께하고 싶어요

• LLM이나 ML 모델을 활용한 수천만 건 규모의 대용량 데이터 처리 파이프라인을 라이브 서비스 수준으로 설계하고 운영해본 경험이 있는 분과 함께하고 싶어요.
• 요청과 결과를 분리한 비동기 구조나 대량 배치 처리로 대규모 트래픽을 다뤄본 경험이 있는 분이면 좋아요.
• LLM 생태계를 이해하고, Pay-as-you-go, PTU, Batch API의 트레이드오프를 비용과 처리량 관점에서 판단할 수 있는 분이면 좋아요.
• Rate Limit과 이중화, 장애 전환, Fallback/Retry를 직접 설계해 장애 상황에서도 파이프라인이 멈추지 않게 만들어본 분과 함께하고 싶어요.
• 처리량이 기대만큼 나오지 않을 때 어느 구간이 문제인지 숫자로 찾아내고, 무엇을 포기할지까지 정해본 분과 함께하고 싶어요.
• 여러 팀이 얽힌 상황에서 기술 판단 기준을 제시하고, 복잡한 내용을 이해하기 쉽게 설명하며 협업을 이끌어본 분과 함께하고 싶어요.

이런 분이면 더 좋아요

• 이미지와 텍스트가 함께 들어오는 멀티모달 파이프라인을 설계하고 운영해본 경험이 있다면 좋아요.
• ML, LLM, Vision 모델의 동작 방식을 이해하고, 문제가 생겼을 때 직접 디버깅해 모델 코드까지 고칠 수 있다면 좋아요.
• 사람이 하던 대량의 판단 업무를 LLM으로 자동화해본 경험이 있다면 특히 함께하고 싶어요.
• 외부 모델 API와 함께 자체 모델을 서빙하면서, 추론 성능을 최적화해본 경험이 있다면 환영해요.

이력서는 이렇게 작성하시는 걸 추천해요

• 진행했던 과제가 조직에 큰 영향력을 미쳤다면 그 내용을 자세히 작성해 주세요.
• 단순히 어떤 언어, 플랫폼, 프레임워크, 기술 등을 사용했는지보다는, 어떤 목적을 가진 과제였는지, 이를 해결하기 위해 무엇을 사용했는지, 어떻게 문제를 해결했는지에 대해 자세히 작성해 주세요.
• 플랫폼을 운영하면서 발생한 치명적인 장애를 해결해 보았거나, 성능/리소스 최적화를 해 본 경험이 있다면 작성해 주세요.
• 오픈소스 사용 중에 발생한 버그나 이슈를 해결해 보았거나, 부족한 기능을 개선하기 위해 오픈소스에 기여했던 경험이 있다면 작성해 주세요.

토스로의 합류여정

• 서류 접수 > 프리 인터뷰 > 직무 인터뷰 > 문화적합성 인터뷰 > 레퍼런스 체크 > 처우 협의 > 최종 합격
• 프리 인터뷰에서는 지원서 기반의 주요 경험과 직무 적합도를 중심으로 면접이 진행될 예정이에요.
• 직무 인터뷰에서는 심층 기술 면접과 ML 시스템 설계를 주제로 면접이 진행될 예정이에요.

함께할 동료를 위한 한마디

"좋은 모델이 나와도 그것만으로 서비스가 되지는 않아요. 여러 모델이 한 요청 안에서 사용되면, 어디가 느리고 어디가 비싼지가 그 구간을 찾아 구조를 바꾸고, 한 번 찾아낸 답은 다음 파이프라인이 다시 찾지 않도록 플랫폼화 시켜요."

• 같은 문제라도 처리량 기준이 열 배 달라지면 구조가 완전히 달라져요. 정해진 답을 적용하는 게 아니라 매번 조건을 보고 가장 나은 쪽을 고르는 일이에요.
• 여러 도메인에서 반복되는 요구를 공통 기능으로 끌어올려, 다음 과제가 더 적은 비용으로 올라갈 수 있게 만들어요.
• 느낌으로 이야기하지 않아요. 어느 구간이 몇 ms 줄었고 월 비용이 얼마나 내려갔는지로 판단해요.