シニアデータエンジニア

募集背景

バフェット・コードは、日本で最も広く使われている企業分析ツールの1つであり、100万社超の企業データを扱う大規模データプラットフォーム
バフェット・コードのサービスの肝は「データの収集と、Webサービスで使えるようにするためのデータ処理」。データエンジニアリングこそが事業の中核を担う
2019年のリリース以来、EDINET、TDnet、決算短信、有価証券報告書、企業Webサイトなど多様なデータソースから財務・企業情報を収集・構造化し、100万MAUを超えるユーザーに価値を提供
最大の技術的チャレンジは、発行体ごとにスキーマが異なる多様なデータを、統一的なバフェット・コード用のデータモデルに変換すること。この処理には高度な設計力とパフォーマンス最適化が求められる
データ収集・加工・分析にオーナーシップを持ち、企業のコアバリューである企業データを進化させるデータエンジニアを募集

入社後は、既存のデータパイプラインやデータモデルを理解したうえで、特定のデータ領域や処理フローにオーナーシップを持って取り組んでいただきます。

EDINET・TDnet・決算資料など、特定のデータソースを主担当として持ち、収集・変換・保存まで一貫して改善
データ欠損、遅延、スキーマ揺れなどの課題を洗い出し、データ品質と処理パフォーマンスの両立を意識した設計改善
Webエンジニア・機械学習エンジニアと連携し、
- 「どのデータがあればユーザー価値が上がるか」
- 「どの粒度・鮮度で提供すべきか」
  を議論しながらデータ基盤を拡張
単なる運用ではなく、データモデルやパイプラインの設計判断そのものに関与

※ 入社時点ですべてを理解している必要はありません。
※ 既存メンバーが設計思想や背景を共有しながらオンボーディングします。

バフェット・コードのデータエンジニアリングには、単なるETL開発では終わらない難しさがあります。

発行体ごとに異なるスキーマ・表記・粒度を、統一データモデルに落とし込む設計
- 正規化とクエリ性能のトレードオフ
- 後方互換性を保ちながらのスキーマ進化
訂正開示・遅延データ・再提出データの扱い
- 過去データの差し替え
- 再計算コストと処理順序の設計
大量データを前提としたパフォーマンス最適化
- バッチ処理時間の短縮
- DB・ストレージ・ワークフロー全体を見渡したボトルネック解消
「正しいデータとは何か」を定義し続ける難しさ
- データ品質の定量化
- 異常検知や監視ルールの設計

これらはすべて、データエンジニアが主体的に意思決定し、改善を積み重ねていく領域です。

さらに、以下のうち2つ以上を満たす方