Python・SQL/LLM Evaluation・データ分析エンジニア

仕事内容:

◇◇ 技術環境 ◇◇
Python・SQLによる分析をベースに、LLM／自然言語処理機能の品質評価を行う案件です。評価用データセットやベンチマークを設計し、モデル・プロンプト・検索ロジックの変更前後を比較しながら、AI機能の改善効果を検証します。

• 【分析】Python、SQL
• 【データ処理】pandas、NumPy
• 【機械学習】scikit-learn
• 【AI領域】LLM、生成AI、自然言語処理／NLP
• 【評価】LLM Evaluation、評価指標、KPI、ベンチマーク
• 【実験】A/Bテスト、統計的検定
• 【検索評価】RAGの検索精度・回答品質
• 【分析基盤】BigQuery
• 【可視化】BIツール

◇◇ 担当工程 ◇◇

• Python・SQLを利用してAI出力結果とユーザー利用データを分析
• 評価対象に合わせてデータセット・ベンチマークを作成
• 仮説を設定し、検証方法や評価指標を設計
• モデル・プロンプト・検索ロジックの変更前後を比較
• A/Bテストを設計し、結果から効果を分析
• エラーや失敗パターンを分類して改善対象を特定
• 分析結果を可視化・レポートし、プロダクト改善へ反映

アピールポイント:

■ この案件の魅力

• LLMの品質評価を定量・定性の両面から実施
• ベンチマーク・評価指標・A/Bテストなど評価設計そのものに携われる
• Python・SQLによる分析結果を生成AI機能の改善へ直接つなげられる

求める人材:

◆◆ 必須スキル ◆◆

• 【専門領域】機械学習／自然言語処理／データサイエンスのいずれかで2年以上の実務経験
• 【Python】データ分析に利用した経験
• 【SQL】データ抽出および分析を行った経験
• 【基礎知識】統計・機械学習に関する知識
• 【分析実務】仮説検証／実験設計／データ分析のいずれかを担当した経験

◆◆ 歓迎スキル ◆◆

• LLM Evaluationやベンチマーク設計の経験
• LLM／生成AI、自然言語処理／NLPの分析・評価経験
• A/Bテストや統計的検定を実務で行った経験
• KPI・評価指標を設計した経験
• プロンプト変更による効果検証経験
• RAGの検索精度・回答品質の評価経験
• pandas／NumPy／scikit-learn等の利用経験
• BigQuery等のデータ分析基盤利用経験
• BIツールによるデータ可視化経験
• AI SaaS／自社Webサービスのデータ分析経験

勤務時間・曜日:

勤務時間：平日、日中稼働できる方（コアタイムあり）

休暇・休日:

土日祝休み

給与:

経験・スキル・担当工程を考慮して決定します。

その他:

・日本在住の方
・一人月で稼働可能な方
・45歳未満の方
・リモート勤務も可能！

雇用形態: 業務委託

給与・報酬: 450,000円 - 680,000円 月給