AI事業開発エンジニア｜LLM品質評価・型化をリードするシニアASE

仕事概要

• 募集背景

RightTouchは、「あらゆる人を負の体験から解放することで、人と企業の可能性を引き出す」をミッションに、カスタマーサポート領域のAI化に取り組んでいます。

日本のカスタマーサポート市場は3.1兆円規模。
企業がAI化を推進するとき、CSは最初に大きな変化が起きる領域のひとつです。

RightTouchは、CS × AIに特化した日本発のスタートアップとして、AIオペレーター、ナレッジベース、音声AIなどのコンパウンドプロダクトを展開しています。
シリーズAで累計調達額14.2億円、SBI証券・パナソニック・NTTドコモ等のエンタープライズ企業100社以上に導入され、一日あたり約3万件の顧客の困りごとを解決しています。⁠
⁠

RightTouchの強みは、①CS領域への特化 ②コンパウンドプロダクト ③顧客共創文化 の掛け算にあります。
CS領域に特化してきたことで、顧客業務や導入パターンに関する知見が蓄積され、AIオペレーター・ナレッジベース・音声AIなどの自社プロダクト群を通じて、単一プロダクトに閉じない課題解決が可能です。
また、導入先クライアントから直接フィードバックを受け取り、プロダクトとAIエージェントを市場と連動して磨き込むサイクルがあります。⁠
⁠

AIオペレーターが「標準パターン」で解けるケースが増える一方で、顧客固有の複雑な質問対応、難ケースのデバッグ、LLM品質の継続評価など、「答えのわからない問い」への対応は常に発生します。
これを技術で解き、再現性のある解法へ変えていくことが、ASEに求められる役割です。⁠
⁠

シニアASEには、難易度の高い品質課題に向き合いながら、評価データ整備、ベンチマーク設計、品質ダッシュボード構築、テンプレート・スクリプト・ドキュメント化を通じて、AIデリバリー全体の品質と再現性を高めることを期待しています。

• AI事業開発エンジニア｜Agent Software Engineer（以下、ASE）とは

ASEは、LLMを実際に動かしながら、顧客の現場で答えを出し続けるポジションです。
プロンプト設計、RAGチューニング、品質評価から始まり、個社の難問を汎用解法へ落とし込む「型化」まで、顧客デリバリーの技術的中核を担います。

シニアASEは、個別案件の改善に閉じず、LLM品質の評価基準や改善パターンを設計し、チーム全体で再現できる形へ落とし込む役割です。
顧客の業務文脈、AIの制約、LLMの挙動、評価結果を踏まえ、「なぜ品質が出ないのか」「どの改善が再現性を持つのか」「どこまでを要件として受け、どこからを調整すべきか」を判断します。

研究やモデル開発そのものよりも、AIを実際の顧客業務に適用し、使われ続ける品質まで磨き込むことに関心がある方に向いているポジションです。

• ミッション

顧客のAIエージェントが抱える「答えのわからない問い」に技術で挑み、解法を型にして事業に還元することがASEのミッションです。⁠
⁠

シニアASEには、特に以下を期待します。

• LLM / RAG / データ品質 / プロンプトに起因する問題の特定
• 評価基準・テストシナリオ・ベンチマークの設計
• 難易度の高い品質課題への対応
• 顧客要件とAIの制約を踏まえた現実的な解決策・要件調整の提案
• 評価データ、品質ダッシュボード、改善ナレッジの整備
• 案件で得た知見のテンプレート・スクリプト・ドキュメント化

個別案件の成功に閉じず、RightTouch全体のAIデリバリー品質を引き上げます。

• 期待する役割

• 要件定義・技術折衝

顧客が求めるものとAIの限界・得意不得意を踏まえ、実現可能な要件に落とし込みます。AIエージェントの挙動を相手の言葉で説明し、スコープ・成功条件の合意をPMと連携しながら主体的に担います。
技術的な可否をプロジェクトの前線で判断し、後工程の品質を守る起点となる役割です。⁠
⁠

• チューニング

As-Is把握、不具合抽出、原因分析、改善方針設計、実装、効果検証までを担います。
原因分析では、RAG精度、プロンプト、データ品質などの観点から、LLMの挙動を切り分けます。⁠
⁠

• QA設計

AIエージェントのテストシナリオ設計、評価基準策定、比較測定、反映、記録を行います。
定量的な評価基準を自ら設計・運用し、品質改善の再現性を高めていきます。⁠
⁠

• 探索的問題解決

既存パターンで解けないケースに対して、自律的にアプローチします。
解法の探索自体が必要な高難度ケースでは、AIEと協働しながら問題解決を進めます。⁠
⁠

• 評価基盤構築・型化

評価データ整備、ベンチマーク設計、品質ダッシュボード構築を行います。
探索・評価で得た知見を、テンプレート、スクリプト、ドキュメントに変換し、チームに展開します。⁠
また、プロダクトに還元すべき知見は、基盤開発チームに提案します。必要に応じてコードベースへのコミットも行います。
⁠

• 具体的な業務内容

• 顧客へのAIエージェント要件ヒアリング・レクチャー・成功条件の合意形成

• AIの制約・得意不得意を踏まえた要件整理・折衝

• AIオペレーターの回答精度測定・テストケース設計・実行

• LLM挙動の問題特定・根本原因分析

• プロンプト最適化・RAGチューニング等の改善施策の立案・実装・効果検証

• 評価指標・品質ダッシュボードの整備・運用

• 評価フレームワーク・品質基準のドキュメント化・チーム展開

• 難易度の高い品質課題への専従対応

• CRM・CTI等との外部システム設定・連携

• 基盤開発チームへのフィードバック及び、必要に応じてコードベースへのコミット

• チーム構成・働き方

PM・ASEで構成されるAIオペレーターデリバリーチームに所属します。チームは10名規模です。⁠
⁠

PMは、ポストセールスのコンサルレイヤーおよびプロジェクトマネジメントレイヤーを担い、AI化率最大化という目的のもとプロジェクト全体を推進します。
ASEは、その技術的な実行パートナーとして、LLMチューニング、品質評価、型化を主導します。通常案件はPM・ASEで完結する体制です。

【参考記事】
RightTouch流FDEの「ASE」とは？エンジニアたちが顧客のそばでAIの社会実装に挑める環境を選ぶ理由
https://note.righttouch.co.jp/n/n3f17ca589ec9

PoCは動く、でも「及第点」に届かない。その乖離を埋めるAI事業開発エンジニア（ASE）という仕事
https://note.com/haruki\_kawashita/n/n5b99ff4222bf?magazine\_key=mfe401dc628d4

必須スキル

• 顧客・社外ステークホルダーへの技術的な提案・折衝経験2年以上（AIの制約や得意不得意を相手の言葉で説明した経験）
• LLM/ML/データ分析の実務経験2年以上（プロンプト設計・チューニング・品質評価のいずれかを含む）
• データ（ログ・評価結果等）をもとに問題の原因を特定し、仮説を立てて検証した経験
• 機械学習や生成AIといった非決定的な技術をビジネス課題に適用するといった技術的不確実性が高い中でも、顧客の要件に対し現実的な解決策あるいは要件の調整を提案し、プロジェクトを成功に導いた経験

歓迎スキル

• エンタープライズ規模の顧客（大手企業・官公庁等）との技術折衝・提案経験
• 生成AI評価フレームワーク（RAGAS, TruLens, DeepEval等）の実務使用経験
• コンタクトセンター・CX向けチャットボットの改善・運用経験
• ML実験管理（MLflow, W&B等）の運用経験
• Python・Jupyter/Colabでのデータ分析・可視化経験
• RAGパイプラインのデバッグ・最適化経験
• LLMベンチマークの設計・構築経験（評価データセット作成・自動評価パイプライン等）
• チャットbot・AIエージェントの本番運用・障害対応経験

求める人物像

• 「なぜ答えがズレたか」を自分の力で突き止めようとする探求心がある方
• 定量的な評価基準を自分で設計・運用できる方
• 不確実性を受け入れながら、仮説を立てて検証できる方
• 知識を組織に還元することに価値を感じる方（一人で解くだけでなく、型にしてチームに渡せる方）
• 「答えがない状態」が怖くなく、むしろ楽しめる方

応募概要

給与

1000〜1600万円

勤務地

東京都品川区西五反田4丁目3118 目黒テクノビル 2F
※ リモートと出社を組み合わせて働いております（フルリモート勤務：相談可）

雇用形態

正社員

勤務体系

フレックスタイム制（コアタイムなし）

試用期間

あり（6ヶ月）

企業情報

企業名

株式会社RightTouch

設立年月

2021年10月

本社所在地

〒141-0031 東京都品川区西五反田4丁目3118 目黒テクノビル 2F

資本金

100,000,000円

従業員数

85名