Lean Baseball

No Engineering, No Baseball.

データ基盤にありがちな「何を使って作ればよいか?」という問いに対する処方箋を用意してみました.

ちょっと昔まではデータ基盤の管理人・アーキテクト, 現在は思いっきりクラウドアーキを扱うコンサルタントになったマンです. 私自身の経験・スキル・このブログに書いているコンテンツの関係で, 「データ基盤って何を使って作ればいいの?」的なHow(もしく…

Dashで作った分析ダッシュボードをCloud Runでサクッと運用する

現役選手ドラフトのルールと, 最近のトレード多すぎなアレで現役選手ドラフトの分析を諦めたマンです.*1 それはさておき, 私はつい先日, 「メジャーリーグのデータ分析・可視化をカジュアルにいい感じにやるためのデータ基盤が欲しい」と思い, 以下のような…

PyConJP 2022「Python使いのためのスポーツデータ解析のきほん」のトーク中に来た質問全てにお答えします

トーク中に頂いた質問に答えます 本年2回目のPyConJP 2022振り返りブログです. ※発表及び参加レポ的なふりかえりはこちらになります. 改めて, トークに起こしいただいた皆さま誠にありがとうございました! 会場はもちろん, オンラインや後日アーカイブを見…

PyCon JP 2022で「PySparkとGoogle Cloudでいい感じに野球ビッグデータを扱いました」という話をしました.

2019年以来3年ぶりのPyCon JP(物理)に参加しました. 2022.pycon.jp オンライン開催だった2020, 2021も参加しましたが, やっぱ会場あるのっていいですねーテンションが全然違います. このエントリーでは, 自分の発表の振り返り 物理開催の感想 チケット売上…

オオタニサンのキャラ変とその未来 - 2022年, 投手としての成績からの気付き

ドラフト会議前に一位指名を公言するのって何かのトレンドですか?って思ってる人です.*1 今年いや, 去年からずっと野球関連のリアルなトレンドは「何かしらのオオタニサン」で間違いないと思います. 打者として規定打席到達(わかる) ついでに2年連続30本塁…

PythonとGoogle Cloudを使って年間70万球の野球データをいい感じに可視化・分析するダッシュボードを作った

日本で言えば同じ学年のレジェンド, アルバート・プホルスが通算700号本塁打を打って驚いている人です. ここ最近, (休んでいる間のリハビリがてら*1)PyCon JP 2022の準備および, 来年以降のMLBを楽しく見るために野球データ基盤(ちなみにメジャーリーグで…

43歳 - 近況報告とこれからのキャリアのはなし

写真はちょっと心身を休めるために伊豆でゆっくり温泉に浸かりに行った時の伊豆の海です(理由は後ほど). 本日で43歳になりました. プライベートも仕事もなんとかんとかいい感じに生きていけるのは, 友人, 職場の同僚, 両親に家族そしてこのブログを含めて…

StatcastデータとPlotlyを使って「打球の到達位置」を可視化する - オオタニサンの打球の行方は!?

先に言っておくとStatcastデータの仕様を翻訳・解説して例も作ったよという前回エントリーの続きです. 「メジャーリーガーの一挙手一投足を事細かに記録したデータ」であるStatcastは, つい先日10勝20ホーマーというベーブ・ルース以来の(ある種恐ろしい)…

野球好きとデータ好きのためのStatcastデータ入門 - スポーツデータ解析の第一歩

【2022/8/13更新】打球位置のプロット例を追加しました(解説ブログのリンクを含む) プライベートの時間はウイニングポスト9*1で自家生産の馬を育てるか, 野球データと戦っている人です. 野球のデータは見れば見るほど面白いです, どれぐらい面白いかと言う…

ブログ8年目突入&200投稿記念「オススメしたい過去記事をベストナインにしてみた」

サムネイルには特に意味はありません, 最近短めの夏休みをもらって札幌に帰っていました. それはさておき, このエントリーは当ブログ通算200本目の記事となります. 最近行った札幌の夜景です いつもブログを読んでくださっている方, 様々な角度・視点からフ…

Sparkをサーバー管理せずに使う方法 - Dataproc ServerlessでPySparkを動かしてみました

仕事もプライベートもサーバレスなアーキテクチャでなるべく便利にCloudを使いたいと思ってる人です*1. 最近は趣味の開発(個人開発)の方で, MLBのトラッキングデータ「Baseball Savant」からStatcastのCSVデータを取得 取得したCSVデータを集計・クレンジ…

ポッドキャストという名の「ラジオ」はじめました - アウトプットのチャンネルを増やした理由

去年ぐらいから「やるやる詐欺」をしていたポッドキャスト, ついにはじめました. stand.fm このブログを書く30分くらい前に初回収録からの即公開, だったのですが思ったよりもスピード感持って公開できてホッとしています. 憧れのDJです(真顔) DJとしてこ…

Google CloudでSparkを使う環境をサクッと手に入れる - DataprocをTerraformでいい感じに管理しつつ, JupyterでBigQueryを使ってみる

仕事はGoogle Cloudの取り扱い, 個人開発は野球のデータ分析基盤を作ることに一生懸命な人です. 最近はプロ野球もメジャーリーグも推しチームを観るのが辛いです*1. 趣味, いわゆる「個人開発」でやってる野球データサイエンスでSparkを楽して使うため, 久々…

ちょっと気が早いですが, Cloud Functions第2世代を試してみた - 現バージョンからの移行とその注意点

今日のテーマ ※【2022/8/4更新】正式版がGAとなりました, ブログ記載の内容と異なる所がある可能性があるのでご注意ください&本番などで使っても大丈夫です!&別のブログも書いたのでその話も追加 仕事もプライベートもよくGoogle Cloud(GCP)を使っている…

野球ファン目線での野球AI開発と実践 - 突然ですが"成績"占ってもいいですか?

日米ともに突然の加藤球投高打低時代が戻ってきて今年の野球面白すぎでは?と思ってるマンです.*1 野球をテーマにした趣味プロジェクト・個人開発を始めてから実は10年が経とうとしているのですが, つい先日「これは最高傑作なのでは!?」っていうネタが完成…

Webアプリとデータ基盤をサクッと立ち上げるためのプラクティス - Google Cloudとサーバレスなサービスで良しなにやってみた

個人開発(趣味プロジェクト)でプロダクトを作りながら, 本職の仕事でソリューションアーキテクトっぽいことをしているマンです*1. 最近は個人開発のネタとして, プロ野球選手の成績予測プロジェクト ヘルスケア周りの自分専用プロダクト開発 この2本軸で週…

「実践的データ基盤への処方箋」から読み解く「データを扱うビジネスパーソン」のキャリアパス

なんやかんやで, ITコンサルタント(復帰)生活から半年経ったマンです. マネジメントからアーキテクチャ, はたまた技術的なLTまでやらせてもらえて楽しく過ごしております*1. 昨年の話になりますが, コミュニティーやその他の活動で色々とお世話になってる …

推しは推せるときに推せ - 北海道日本ハムファイターズの推しがどこまで成績を残すか?をAIに聞いてみました.

現役時代の阪神タイガース新庄剛志(現・北海道日本ハムファイターズBIG BOSS)に憧れて野球ファンになった人です.*1 今シーズンのここまでの流れで興奮しないはずがありません, 開幕三連敗?知らんがな*2. もっとも, 「野球エンジニア」「野球データサイエン…

Firebase + Cloud Endpointsを使ったゼロトラストな認証とCORS設定でやったこと

メジャーリーグの労使協定が決着ついて、「ああ、やっと球春だな⚾」って思ったマンです*1. なお, このエントリーは野球の話題では有りません. それはさておき, 私は毎朝毎夕に「血圧」「脈拍」「体重」「飲酒量」といったメトリクスを健康維持のために記録・…

雑にWebアプリを公開するのにAWS App Runnerは便利でしたというメモ

気がつけば仕事も趣味も「クラウドなインフラで何かやる人*1」になったマンです. 個人的なプロダクト開発・運用やデータサイエンスな作業はGoogle Cloudメインでやってる私*2ですが, (そんな事情もあって)そういえばAWSのサーバレスなサービスにあまり触れ…

認証機能を(ほぼ)作らずに認証付きバックエンドを3日で作っちゃった話 - Google CloudとFastAPIのエコシステムに全力で乗っかろう

心身のコンディション維持と体調管理のため, 毎日運動と血圧・体重・脈拍の計測をしているマンです*1. 新たな個人開発かつ, 趣味と実益(&学習)を兼ねて, プロダクトオーナーやりたい宣言したので, 個人開発としてプロダクト作りたい ネタどうしようかな...…

やりたい, と思うことをやる. - 2022年の抱負

年末年始, ちょっとだけ実家(北海道)に帰ってたマンです. ちなみに写真は大晦日の日に散歩の途中で撮った斜里岳です, また登りたいなあ*1. それはそうと, 新年あけましておめでとうございます このエントリーは, 2022年の目標 目標達成に向けてやっていき…

自分にとって忘れられない「2021年」というシーズンと, 来シーズンに向けて

写真はたまたま飛んでた飛行機を撮っただけで特に意味はありません.*1 このエントリーはひと言で言うと「今年(2021年)の振り返り」でして, 言うたら日記です. 今年一年, 自分にとってどういう年だったかをひと言で表すと, ビジネスマンとしても人間として…

今いちばんオススメしたいPython本 2022 - 初心者からプロまで仕事に活かせる3冊 + α

2021年も数多くのプログラミングやPythonを扱った素晴らしい書籍とたくさん出会いました. 私はリアルの本屋さんに行くのがとても好きで(ECの本屋さんも好きですが), 技術書のコーナーには必ずと言っていいほど足を運ぶのですが, 年々「Python」というラベ…

App Engine上にあるAPIの認証をCloud Endpoints + Firebaseでいい感じにしてみた

つい最近, 学生に見られてしまった42歳*1(外資コンサル企業マネージャー)です. 今, プライベート(いわゆる個人開発)でWebサービスを開発しようとしているのですが, Webサービスの性質上, 何らかの認証機能が必須 ↑が必須なのはわかるけど, 自分で開発(…

エンジニアのための「ミーティング・メモ」入門 - クラウドサービスとVSCodeを添えて

10月からコンサルタントに出戻りしたエンジニアです. 入社前に想定していた以上に毎日が楽しいです*1. それはさておき, つい先日に前職の同僚であるエンジニアリングマネージャーの@jazzsasoriさんとサシ飲みしたのですが, 「エンジニアリングマネージャーと…

ビッグボス新庄剛志様にお願いしたい, 来シーズンのファイターズをいい感じにしてくれ!っていうはなし(セイバーメトリクス風味)

いつもの野球エンジニア&データサイエンスブログ,,, というよりファンの熱い思いと思って読んでください(真顔) 1995年頃の阪神タイガース, 新庄剛志外野手と藪恵壹投手を見て野球ファンになった者です. blog.hatenablog.com そして、どっぷりと野球にはま…

エンジニアからデータサイエンティストへのキャリアチェンジのお供に「Pythonではじめる数理最適化」は良い教科書になるかもしれない

良い本良い魚良いお酒でした 秋も深まり, 緊急事態宣言が解除された今日このごろ, お酒を片手に読書がだいぶ捗るようになりました 酒と魚の話はさておき*1, 長いこと友人かつRetty時代の元同僚である岩永さん(とその仲間たち)*2が, 「Pythonではじめる数理…

実践Streamlit & Flask - AIプロジェクトをいい感じにする技術 - PyCon JP 2021で登壇しました+ふりかえり

ハンカチ王子ことYuki Saitoの引退試合を見ながら書いてます⚾*1 それはさておいて, PyCon JP 2021にて, 「実践Streamlit & Flask - AIプロジェクトのプロトタイピングから本番運用までをいい感じにするPythonicなやりかた」というトークをしてきました. 【ス…

scikit-learnで作った雑なモデルをAPIにしてFlask + GAE + Github Actionsでいい感じにデプロイした話 - 迷ったらGAEスタンダードで

日ハムのサヨナラ勝ちで変な声が出た人です. あ, 斎藤佑樹選手お疲れ様でした*1 それはさておき, 今日は毎年参加している「PyLadies Tokyo ○周年記念パーティー(今年は7周年)」でこんなLTをしてきました. Flask + Google App Engine(GAE)でWeb APIをデプ…