分析データ連携の運用改善担当|バッチ監視・障害対応・品質向上

仕事内容:

◇◇ 参画イメージ ◇◇

データ分析プラットフォームを支える開発担当として、日次・時間単位で実行されるバッチ処理の開発と安定運用に携わります。

新しいデータ処理を実装するだけでなく、ジョブ失敗時にはログやデータを確認して原因を調査し、リカバリーまで対応。既存処理の性能やデータ品質にも目を向け、分析環境へ安定してデータを届ける役割です。

• 定期実行されるデータ処理の稼働状況を確認

• ジョブ失敗時にログを解析し、原因調査からリカバリーまで対応

• データ不整合が発生した場合のデータ確認・調査

• 必要に応じてPython・SQLなどで既存バッチを改修

• 処理時間やデータ品質の課題を確認し、継続的に改善

◇◇ 体制・働き方 ◇◇

• 新規バッチの開発と既存ジョブの運用を継続して担当

• Gitを利用したチーム開発の中でソースコードを管理

• 単体テスト・結合テストを行い、データ処理の動作を確認

• SQLチューニングやリファクタリングを通じて性能・保守性を改善

• 設計書や運用手順書を整備し、継続的な運用を支援

アピールポイント:

■ 案件の特徴

• 開発だけでなくバッチ監視・障害調査・リカバリーまで継続して担当

• 処理時間短縮やデータ不整合への対応など分析データの品質改善に関与

• 業務システム開発の経験を活かし、データエンジニア・分析基盤領域へ担当範囲を広げられる

求める人材:

◆◆ 必須スキル ◆◆

• システム開発に2年以上実務で携わった経験

• Python、Java、Shellなどを利用してバッチ処理を開発した経験

• SQLを使って必要なデータを抽出・加工した経験

• RDBを利用するシステムの開発経験

• Linux環境でシステムの開発または運用を行った経験

• バッチ・ジョブの障害発生時に原因調査を行った経験

• Gitを利用するチームで開発した経験

◆◆ 歓迎スキル ◆◆

• データ品質チェックやデータパイプライン監視の経験

• 大量データを扱うバッチ処理を性能改善した経験

• データ分析基盤・DWHの開発経験

• ETL・ELT処理に携わった経験

• Airflow、JP1、Control-Mなどを利用したジョブ運用経験

• BigQuery、Redshift、Snowflakeなどの利用経験

• AWS、Google Cloud、Azure環境での開発経験

• Sparkなどの分散処理基盤を利用した経験

勤務時間・曜日:

勤務時間：平日、日中、1人月稼働可能な方

休暇・休日:

土日祝休み

給与:

※経験・スキル・担当工程を考慮して決定します。

その他:

・日本在住
・45歳未満
・1人月で稼働が可能な方
・リモート勤務可能

雇用形態: 業務委託

給与・報酬: 450,000円 - 550,000円 月給