データエンジニア/分析基盤のバッチ開発・運用改善

仕事内容:

◇◇ 業務内容 ◇◇
データ分析プラットフォームにおいて、各種データを分析環境へ連携するためのバッチ処理の開発・運用を担当します。 Python、SQLなどによる新規処理の実装に加え、日次・時間単位で稼働する既存ジョブの監視や障害対応、処理時間の短縮、データ不整合の調査など、安定したデータ連携を支える業務に携わります。

• Python、SQLなどを利用したバッチ処理の設計・開発
• データ収集、加工、集計ロジックの実装
• ETL・ELT処理の追加開発および改修
• データベースやDWHへのデータ連携
• 定期実行ジョブの設定・運用
• バッチ監視および障害発生時のリカバリー
• ログ解析、ジョブ失敗原因、データ不整合の調査
• 既存処理の性能改善・リファクタリング
• SQLチューニングによる処理効率の改善
• 単体テスト、結合テストの実施
• Gitを利用したソースコード管理
• 設計書、運用手順書などのドキュメント整備

アピールポイント:

• データ収集・加工からDWHへの連携までバッチ開発に携われる
• 新規開発だけでなく障害調査・性能改善・データ品質改善まで担当
• Python・SQLの開発経験を活かしてデータ分析基盤領域に関われる

求める人材:

◆◆ 求めるスキル・経験 ◆◆
【必須】

• システム開発の実務経験2年以上
• Python、Java、Shellなどによるバッチ開発経験
• SQLを使用したデータ抽出・加工経験
• RDBを利用したシステム開発経験
• Linux環境での開発または運用経験
• バッチ処理・ジョブの障害調査経験
• Gitを使用したチーム開発経験

【歓迎】

• ETL、ELT処理の開発経験
• データ分析基盤、DWHの開発経験
• Airflow、JP1、Control-Mなどの利用経験
• BigQuery、Redshift、Snowflakeなどの利用経験
• AWS、Google Cloud、Azure環境での開発経験
• 大量データを扱うバッチ処理の性能改善経験
• Sparkなど分散処理基盤の利用経験
• データ品質チェック、データパイプライン監視の経験

勤務時間・曜日:

平日、日中、1人月稼働できる方（コアタイムあり）

休暇・休日:

・土日祝日休み

給与:

経験・スキル、実務経験を考慮して決定します。

その他:

・日本在住の方

・一人月で稼働可能な方

・45歳未満の方

・リモート勤務も可能

雇用形態: 業務委託

給与・報酬: 450,000円 - 550,000円 月給