Lean Baseball

No Engineering, No Baseball.

Google Cloud

Google CloudとPythonを使ったバッチ処理2024 - Cloud Run JobsとPrefectで実現するサーバレスなデータ処理

タイトルの通り, Google CloudとPythonで程よいバッチ処理(正確にはワークフロー処理)を作ったという話です, 2024年っぽさあるのでそういうタイトルにしています*1&こちらは個人開発事例であり, 業務および所属組織とは無関係です. 仕事ではなく, 個人開発…

Google Cloudのサーバレスなイベント駆動処理 - Cloud Runアプリをいい感じにTerraformで管理する

元・野球エンジニア*1, 現・Google Cloud Partner Top Engineer 2024*2の人です. 相変わらず仕事も趣味もGoogle Cloudで何かをやっているのですが, この年末年始に以下の絵のようなシステムを作りました(正確には「元々あった別システムを作り直しました*3…

GoとCloud Pub/SubをつかってBaseball Savantのクローラーを作ってみた

最初に言っておきます, 「野球」っていうワード以上に「エンジニアリング」なエントリーです*1. 野球方面の人は最初の雰囲気を読んで最後まで読むか判断してください, 「オオタニサン」っていうワードは出てこず「Go」「Pub/Sub」「コンテナ」とかそんなのば…

私たちはラーズ・ヌートバーがWBC2026侍JAPANに来ることを期待してよいか? - AIに約200ドル投げて占った結果

WBC2023侍JAPAN優勝で興奮している皆さんこんにちは*1. 野球知識と野球愛, エンジニアとしての技術力そして私の週末となけなしのお小遣いを犠牲にして野球ネタをお届けするブログ「Lean Baseball」のお時間がやってまいりました*2. 皆さんに伺いたい. 今年1…

Cloud Run上のGo製RESTful APIからBigQueryとCloud Storageを使う - PythonからGoに変えた理由を添えて

仕事がずっとコンサルワークなので, 休日のプログラミングがめちゃくちゃ楽しみになっている人です. 最初にお礼をさせてください, Developers Summit 2023の発表, なんだか好評価(高評価)だったみたいです. #devsumi 開催報告によると、私のトークの満足度…

データ基盤にありがちな「何を使って作ればよいか?」という問いに対する処方箋を用意してみました.

ちょっと昔まではデータ基盤の管理人・アーキテクト, 現在は思いっきりクラウドアーキを扱うコンサルタントになったマンです. 私自身の経験・スキル・このブログに書いているコンテンツの関係で, 「データ基盤って何を使って作ればいいの?」的なHow(もしく…

Dashで作った分析ダッシュボードをCloud Runでサクッと運用する

現役選手ドラフトのルールと, 最近のトレード多すぎなアレで現役選手ドラフトの分析を諦めたマンです.*1 それはさておき, 私はつい先日, 「メジャーリーグのデータ分析・可視化をカジュアルにいい感じにやるためのデータ基盤が欲しい」と思い, 以下のような…

PyConJP 2022「Python使いのためのスポーツデータ解析のきほん」のトーク中に来た質問全てにお答えします

トーク中に頂いた質問に答えます 本年2回目のPyConJP 2022振り返りブログです. ※発表及び参加レポ的なふりかえりはこちらになります. 改めて, トークに起こしいただいた皆さま誠にありがとうございました! 会場はもちろん, オンラインや後日アーカイブを見…

PythonとGoogle Cloudを使って年間70万球の野球データをいい感じに可視化・分析するダッシュボードを作った

日本で言えば同じ学年のレジェンド, アルバート・プホルスが通算700号本塁打を打って驚いている人です. ここ最近, (休んでいる間のリハビリがてら*1)PyCon JP 2022の準備および, 来年以降のMLBを楽しく見るために野球データ基盤(ちなみにメジャーリーグで…

Sparkをサーバー管理せずに使う方法 - Dataproc ServerlessでPySparkを動かしてみました

仕事もプライベートもサーバレスなアーキテクチャでなるべく便利にCloudを使いたいと思ってる人です*1. 最近は趣味の開発(個人開発)の方で, MLBのトラッキングデータ「Baseball Savant」からStatcastのCSVデータを取得 取得したCSVデータを集計・クレンジ…

Google CloudでSparkを使う環境をサクッと手に入れる - DataprocをTerraformでいい感じに管理しつつ, JupyterでBigQueryを使ってみる

仕事はGoogle Cloudの取り扱い, 個人開発は野球のデータ分析基盤を作ることに一生懸命な人です. 最近はプロ野球もメジャーリーグも推しチームを観るのが辛いです*1. 趣味, いわゆる「個人開発」でやってる野球データサイエンスでSparkを楽して使うため, 久々…

ちょっと気が早いですが, Cloud Functions第2世代を試してみた - 現バージョンからの移行とその注意点

今日のテーマ ※【2022/8/4更新】正式版がGAとなりました, ブログ記載の内容と異なる所がある可能性があるのでご注意ください&本番などで使っても大丈夫です!&別のブログも書いたのでその話も追加 仕事もプライベートもよくGoogle Cloud(GCP)を使っている…

Webアプリとデータ基盤をサクッと立ち上げるためのプラクティス - Google Cloudとサーバレスなサービスで良しなにやってみた

個人開発(趣味プロジェクト)でプロダクトを作りながら, 本職の仕事でソリューションアーキテクトっぽいことをしているマンです*1. 最近は個人開発のネタとして, プロ野球選手の成績予測プロジェクト ヘルスケア周りの自分専用プロダクト開発 この2本軸で週…

Firebase + Cloud Endpointsを使ったゼロトラストな認証とCORS設定でやったこと

メジャーリーグの労使協定が決着ついて、「ああ、やっと球春だな⚾」って思ったマンです*1. なお, このエントリーは野球の話題では有りません. それはさておき, 私は毎朝毎夕に「血圧」「脈拍」「体重」「飲酒量」といったメトリクスを健康維持のために記録・…