AIリサーチエンジニア/LLM品質分析・実験設計・効果検証

仕事内容:

◇◇ 業務内容 ◇◇
AI SaaSプロダクトの自然言語処理・生成AI機能を対象に、品質分析や仮説検証、実験設計を担当いただきます。AIの出力結果とユーザー利用データを分析し、評価指標や実験結果を根拠として改善すべき課題を特定していくポジションです。

• LLM・自然言語処理機能における出力品質の定量・定性分析
• AI SaaSに蓄積されたユーザー利用データからの課題抽出
• 改善仮説の設定、実験設計および効果検証
• AI品質を判断する評価指標・KPIの設計
• 評価用データセット、ベンチマークの作成
• モデル・プロンプト・検索ロジック変更時の比較実験
• A/Bテストの設計および結果分析
• エラー分析と失敗パターンの分類
• Python・SQLによるデータ抽出、分析
• 分析結果の可視化・レポーティング
• AI品質評価プロセスの標準化
• PdM・機械学習エンジニア・開発チームへの改善提案

アピールポイント:

• LLMの出力精度だけでなく、ユーザー体験やプロダクト価値への影響まで分析
• 評価データ・指標・実験結果をもとにAI機能の改善判断を支援
• 分析から改善提案まで、PdM・機械学習エンジニア・開発チームと連携して担当

求める人材:

◆◆ 求めるスキル・経験 ◆◆
【必須】

• 機械学習、自然言語処理、データサイエンスのいずれかで2年以上の実務経験
• Pythonを用いたデータ分析経験
• SQLによるデータ抽出・分析経験
• 統計・機械学習に関する基礎知識
• 仮説検証、実験設計、データ分析のいずれかを実務で担当した経験

【歓迎】

• 自然言語処理／NLP領域での分析経験
• LLM／生成AIの評価・検証経験
• LLM Evaluation、ベンチマーク設計経験
• A/Bテスト、統計的検定の実務経験
• 評価指標・KPIの設計経験
• プロンプト変更による効果検証経験
• RAGの検索精度・回答品質を評価した経験
• pandas、NumPy、scikit-learn等の利用経験
• BigQuery等のデータ分析基盤利用経験
• BIツールを用いたデータ可視化経験
• AI SaaS、自社Webサービスでのデータ分析経験

勤務時間・曜日:

平日、日中稼働できる方（コアタイムあり）

休暇・休日:

土日祝休み

その他:

・日本在住の方

・一人月で稼働可能な方

・45歳未満の方

・リモート勤務も可能

雇用形態: 業務委託

給与・報酬: 450,000円 - 680,000円 月給