はじめに 周りの人が使っているのを見て良さそうだったので、最近メジャーバージョンが 4 から 5 に上がったのを機に alfred の有料版を買いました。 有料版の機能の一つに workflow というキー入力に対して何らかの内部処理と出力を対応させるというものが…
はじめに kindleで購入した本が増えてきました。セール時にまとめて購入するケースが多く、必然的に購入したが読んでいない本も増えてきます。 kindleでは表示が購入が新しいものから順に並ぶため、積読期間が長くなるとリストの後方に移動していき、その存…
はじめに Atcoder Heuristic Contest(AHC)は最適解を出すのが難しい問題に対し、出来るだけ良い解を作成するコンテストで、 開催期間が1週間以上の長期コンテストと、1日未満の短期コンテストがあります。 ABC/ARC/AGCのような最適解を求めるアルゴリズムコ…
結果としてはシステムテスト前で94890点で、100位ちょうどの順位でした。 問題 atcoder.jp 解法 問題を以下の３つに要素に分解して考えました。 タスクに依存関係があるので、重要度をつける メンバの技能レベル推定を行う 各タスクに対し、適切なメンバを割…
はじめに 最近は街を見ると人通りがコロナ前に戻っていたりしますが、感染者数自体はそれほど減っていないのでこのような状況となっているのは、身近にコロナの感染経験者がいないことも原因の一つであるのではないかという仮説があります。人は身近に起こっ…
スマホ脳 スマホ脳（新潮新書）作者:アンデシュ・ハンセン新潮社Amazon 現代人はスマホ(主にSNS)に脳をハックされているということを科学的に説明している本。 facebook等のSNSはユーザに多く使ってもらうことで利益を出すモデルであり、そのために大量の資…
はじめに ランニングをする際にアプリを使って距離やスピードを測っているのですが、全く同じコースを走った場合でもgpsの誤差によってあるときは9.6km、またあるときは10.1kmのように走行距離が大きく変わってしまうケースがあります。今回はmap matchingと…
ミクロ経済学の力 ミクロ経済学の力作者:神取 道宏発売日: 2016/05/16メディア: Kindle版 経済学は未履修だったので全体像を理解するのに役立った。 一つ一つの理論をより理解したくなったら別売りの演習本をやっていきたい。 誤解学 誤解学 (新潮選書)作者:…
はじめに 書籍に関連する情報を用いてその潜在表現をうまく獲得することで、 以下のようなことができないかなーと考えています。 自身の読書済みの本と照らし合わせて カテゴリごとの網羅率の算出 本を読んだ時に得られる情報量の算出 該当の本の完読可能性…
あなたの人生の科学 あなたの人生の科学(上)誕生・成長・出会い (ハヤカワ文庫NF)作者:デイヴィッド・ブルックス発売日: 2015/11/05メディア: 文庫 あなたの人生の科学(下)結婚・仕事・旅立ち (ハヤカワ文庫NF)作者:デイヴィッド・ブルックス発売日: 2015/11…
はじめに WFHの気分転換でたまにジャグリングをしていて、これ最近の物体検出技術を使えば回数をカウントする仕組みが割と簡単に作れるのでは？と思ったので試しに動画から３ボールカスケードの回数をカウントする仕組みを作成しました。 実施手順 以下の手…
はじめに 今回は共分散構造分析を試してみたいと思います。共分散構造分析は手法としては因子分析と回帰分析を組み合わせたようなもので、観測変数から因子分析で潜在変数の導出を、複数の潜在変数同士の関係を回帰分析で行うようなイメージです。例えば国語…
超予測力 不確実な時代の先を読む10カ条 超予測力 不確実な時代の先を読む10カ条 (早川書房)作者:フィリップ Ｅ テトロック,ダン ガードナー発売日: 2016/10/31メディア: Kindle版 面白かった。大規模な予測プロジェクトの結果を元にどのような性質の人が予…
はじめに 最近kaggleでも強化学習系のお題が増えてきたように思うので(実際に解法に強化学習が使用されているかは別として)、 手をつけていなかった強化学習について、本を読みながら試してみたことを書きます。 参考資料 pythonで学ぶ強化学習 https://gith…
行動を変えるデザイン 行動を変えるデザイン ―心理学と行動経済学をプロダクトデザインに活用する作者:Stephen Wendel発売日: 2020/06/11メディア: 単行本（ソフトカバー） 元々ファスト＆フローとか予測どおりに不合理とか行動経済学の話が好きなので、それ…
はじめに 多次元時系列データのクラスタリングがしたいと思って探していたところ、 ちょうどこちらのブログの題材が台風軌道のクラスタリングという、多次元時系列かつ系列長の異なるデータをクラスタリングするというものだったので、理解を兼ねて同じ内容…
はじめに 選択した項目に対して、インタラクティブに地図を更新するwebアプリを作成したいと思いました。 最初はstreamlitのpydeckで試していたのですが、地図を複数回レンダリングすると発生するバグが解消できなかったため、今回はDashで実装しました。 実…
はじめに 前に類似本検索システムを作成したのですが、その中で数万ある本の候補の中から探したい本の検索する部分があります。 そのときは入力された単語に対し検索を全書籍に対して行う、という最も単純な手法を実装したのですが、 もう少しいいやり方がな…
今まで読んだ本の感想をたまにtwitterで流していましたが、140文字制限がきついのと後で見返しにくいので、こちらにまとめることにしてみます。 図書館情報学オタクと学ぶ検索エンジニア入門 booth.pm 情報検索の分野は初見だったが、具体的な例を元に情…
はじめに TLで下記のマンガやアニメ等のキャラクターの誕生日には偏りがあることがわかるヒートマップが流れてきました。 マンガやアニメのキャラクター39000人分、どの日に何人生まれたかまとめた誕生日ヒートマップ作りました。赤が多くて、青が少ない。こ…
はじめに グラフ構造のデータをクラスタリングする方法について調べていて、 スペクトラルクラスタリングという手法が使えそうだったので、その実験結果を記述します。 参考資料 https://arxiv.org/pdf/0711.0189.pdf[1] https://towardsdatascience.com/spe…
ということで、本を検索すると類似している本のリストを出力するサイトを試作してみました。 https://bookrecommendst.herokuapp.com/ (herokuを他の用途で使うまではアクセス可能な予定です。) youtu.be こんな感じで、ある検索した本に対して類似度の高い…
はじめに データ分析をするにはデータが必要ですが、常に欲しいデータが存在するとは限らず、 時には自分で取得・保存する必要が出てくると思います。 ここではGCPを用いてデータ収集環境を構築してみた備忘録を記述します。 実施概要 apiを使って日次でvtub…
はじめに 列数が多いデータセットに対してクラスタリングを行う場合にPCAで列数を次元削減してからクラスタリングをするという手法があるらしいです。 確かにPCA等で列の次元削減を行うことでノイズ成分を落とせるので、うまくいけば重要となる特徴だけを用…
はじめに データを眺めていると、ある分布に対してそれが正規分布に従うのか、対数正規分布か、それともガンマ分布の方が近いのか？、というようにどの分布の当てはまりがよいかが気になることがあると思います。 これを確認する方法を探してみたところ、sci…
はじめに ある日クロス集計表とナイーブベイズを眺めていて、 そもそもこれらはどういう関係性だっけ？と思ったのでその思考メモです。 試行 以下のような所属クラス×性別×利き手の３軸のクロス集計表があるとし、 これを用いて性別と利き手がわかっている人…
はじめに 以前にlightgbmは入力に欠損値があってもうまく学習してくれるという記事を書いたのですが、 これは学習時に欠損が存在している場合の話でした。 現実の問題を考えると、学習時とそのモデルを使った推論時では時系列の違いや環境変化の影響 により…
はじめに 「プロテニスにおいて疲れが勝敗に与える影響を定量化してみる」 という題目で下記イベントでLTしてきました。 spoana.connpass.com 使用した資料は以下になります。 プロテニスにおいて疲れが勝敗に与える影響を定量化してみる - Speaker Deck 内…
はじめに couseraでBayesian Methods for Machine Learningを受けているんですが、 その中で出てきたVAE(Variational Auto Encoder)で少し試してみたいことがあったのでその実験記録になります。 参考文献 VAEの理論や位置付けについては下記資料が参考にな…
はじめに データの変数間の関係性を明らかにしたいというケースは多いと思います。 その場合相関や散布図をみるのが一般的ですが、交絡やノイズが多いケースなど それだけでは不十分な場合もあるため、その場合にも対応できそうな手法を試してみます。 試す…
