pandasのSettingWithCopyWarningを理解する (2/3)

この記事は、 SettingwithCopyWarning: How to Fix This Warning in Pandas – Dataquest の日本語訳です。3回にわたって掲載予定で、この記事は2回目です。 1回目の記事はこちら: linus-mk.hatenablog.com SettingWithCopyWarningを処理するためのヒントと…

Python公式ドキュメントをアンダーバーのある語句で検索しても一部しか表示されない

軽めの記事。 1つ前の記事を書くときに、Python公式ドキュメントを検索した。 __doc__とか__dict__とか__name__とかで検索して、解説を探した。 そうしたら、表示されたページの数があまりにも少ない。 前後にアンダーバー(アンダースコア)2つがある単語で…

pythonのクイズ、My Python Quizをやって復習した(その2)

前回に引き続いて、My Python Quizの21~40問目を解いて、分からなかった問題を復習した。 www.mypythonquiz.com 選択肢の中から1つを選ぶ問題。 ほとんどの問題は「What gets printed?(以下のコードの結果、何が表示されるか)」という問題である。別の形…

pythonのクイズ、My Python Quizをやって復習した

ネットをいろいろ見ていて、My Python Quizというサイトにたどり着いた *1。 www.mypythonquiz.com このサイトをなんて呼ぶのが良いのだろうか? 「テスト/試験」って書くと何かユニットテストの話に見えてしまうし。 「練習問題」って書くと「では素数判定…

メモ:Matplotlibのグラフの書き方が2通りある話

概要 Matplotlibのインターフェースには2通りある。MATLABに近い書き方と、オブジェクト指向のインターフェースである。公式は後者を推奨している。 私も昨日知ったばかりでまだまだ詳しくない。メモ程度に書いておくので、詳細は参考文献などを見てほしい。…

pandasのSettingWithCopyWarningを理解する (1/3)

この記事は、 SettingwithCopyWarning: How to Fix This Warning in Pandas – Dataquest の日本語訳です。3回にわたって掲載予定で、この記事は1回目です。 前書き 本編 はじめに SettingWithCopyWarningとは何か? 連鎖代入 隠れた連鎖 前書き pandasを書い…

2019年の目標を100項目挙げてみた

今年の目標は「何となく」により、100項目挙げてみた。 理由といえば、2018年にやりたいこと100の成果 - kondoyukoのカルチュラル・ハッカーズを見たため、なのかもしれない。 1年の100項目でという形式で目標を立てている人をそこそこ見かける。 中でも、資…

古いバージョンのAnsibleでloopを使ったらエラーが出た話

エラーの内容と原因 Ansible では繰り返し制御を使うときにloopキーワードを用いる。 Loops — Ansible Documentation 公式のドキュメントを参考に書いていたが、実行すると以下のエラーになった。 [root@localhost ansible_test]# ansible-playbook my_playb…

行動指針のポスターを貼っても変わらない理由をAIDMAフレームワークから考える

ある日の昼休みの会話 ある日の昼休みのこと。 昼飯を一緒に食べていた同期に「行動指針」の話を持ち出してみた。 すると同期がこう言い出した。 「そう言えば、俺のいる席の近くで、行動指針のポスターを会社がめっちゃ貼ってるんだわ」 「ポスター?」 「う…

[pandas]特定の条件を満たす行を削除する

DataFrameから、特定の条件を満たす行を削除する方法について。 例を挙げよう。 import pandas as pd df = pd.DataFrame({ 'name' : ['Alice', 'Bob', 'Charlie', 'David', 'Eve', 'Fred'], 'English' : [12, 34, 56, 78, -1, 90], 'Math' : [88, 66, -1, 44…

技術書の電子書籍(PDF版)を年末年始にセールしているサイトをまとめた

技術書の電子書籍(PDF版)を年末年始にセールしているサイトをまとめた これは何? セールしてるところ 達人出版会 翔泳社 インプレス Manatee 調べたけどセールしてないところ オライリー 技術評論社 日経BP社 補足 参考にしたサイト サイト終了の情報 これは…

[Sourcetree/GitHub] 草が生えないのはメールアドレスの設定が原因だった

Sourcetreeを使ってGitによるバージョン管理を試し始めた。 GitHub上に草が生えないという事態に遭遇したので、原因と対処法を書いておく。 Photo by Stanislav Kondratiev on Unsplash 問題の内容:コミット・プッシュは通常通りにできるのに、草が生えない…

C++ randomライブラリをクラス内で使う方法

この記事はC++ Advent Calendar 2018 の12日目の記事です。 そして今日の日付は2018年12月16日です。 ……ごめんなさい。期日に遅れました。 11日目→@kizulさん なぜC++のclassとstructは同じ機能なのか - Qiita 13日目→@tyanmahouさん C++標準属性まとめ - Qi…

継続を目指して取り組んだ、2018年のブログ活動を振り返る

write-blog-every-week Advent Calendar 2018 の7日目の記事です。 https://adventar.org/calendars/2925 6日目の記事は、id:jalemy さんの「テキスト校正くん」を導入して読みやすい文章を書きやすくなった - むにえる牧場 でした。 write-blog-every-week…

pythonの音楽解析ライブラリlibrosaを試してみた

librosaというのはpythonのライブラリの1つであり、音楽を解析するのに使う。 「python 音楽 解析」で検索してみると、結構な割合でlibrosaを使っている。 Pythonを使った音楽解析をやってみる - のんびりしているエンジニアの日記 深層学習を使って楽曲のア…

Machine Learning Casual Talks #7 イベントレポート #MLCT

2018年11月20日に開催されたこのイベントに参加してきました。 Machine Learning Casual Talks #7 - connpass 以下、敬称略です。 発表 @_stakaya(高柳慎一) 「The load to Machine Learning Engineer from Data Scientist」 LINE DEVELOPER DAY_2018に参加…

エンジニアの自己学習の中長期計画をどう決めたらいいんだろう?

そういや、自分は自己学習についてロクに計画を立ててないなー、とふと気になったので、ブログ記事にしてみる。 今の自分の状況は次の通り。 週に1回はブログを書くことに決めている そのために、題材をネタ帳から選んで、適宜検証作業をしてブログを書く そ…

numpyの[::-1].sort()で配列を降順にソートできる理由を考える

きっかけ 東京大学 松尾研究室の「第3期 Data Science Online Course」が、先週から始まった。 online course3 | 東京大学グローバル消費インテリジェンス寄付講座 「グローバル消費インテリジェンス寄付講座」、Global Consumer Intelligenceを略してGCI講…

python環境が壊れた(おそらくcondaとpipの競合が原因)

pythonの処理系が壊れて、動かなくなってしまった。何をやったらどう壊れたのかは以下に詳述する。 (色々いじったあとの最終的な)環境 PS C:\> anaconda --version anaconda-script.py Command line client (version 1.6.0) PS C:\> conda --version conda…

続・機械学習モデルを解釈する方法 SHAP value

前回の話 kaggleの中に、Machine Learning for Insights Challengeという4日間の講座がある。 後半2日間はSHAP valueが題材だったので、SHAP valueについてまとめる。 Machine Learning for Insights Challengeの内容、前半2日間の内容については前回のエン…

pythonのcodecsモジュールでrot13暗号の変換をした

ブログのネタが無さすぎて苦しんでいたが、ふと見るとペットボトルが目に留まった。今年のpyconjpでもらった水のペットボトルだ。そして、外側のフィルムには妙な問題が書いてある。 super_difficult_encryption = '?????' import codecs print( codecs.deco…

日々のアウトプットが変える!あなたのエンジニア・ライフ イベントレポート

2018年10月9日に開催されたこのイベントに参加してきました。 ※増枠【エンジニアのキャリアアップを語る】日々のアウトプットが変える!あなたのエンジニア・ライフ - connpass まつもとりー(松本亮介)とKwappa(塩谷啓)さんのお二人による発表でした。 …

機械学習モデルを解釈する方法 Permutation Importance / Partial Dependence Plot

Machine Learning for Insights Challengeで勉強した「Permutation Importance」と「Partial Dependence Plot」についてまとめる。 Machine Learning for Insights Challengeとは 9月18~21日に、kaggleの「Machine Learning for Insights Challenge」という…

pyconjp 2018 感想

PyCon JP 2018に行った。火曜日は有給休暇を取った。PyConJPは初参戦。大規模なカンファレンスってデブサミくらいしか行ったことなかったから、ある特定言語のカンファレンスは独特な感じがした。 (Rをほとんど使わないのにJapan.R 2016に行ったことはある…

画像セグメンテーション用のアルゴリズム、u-netについて簡単に説明する

きっかけkaggleであるコンペに参加しようとしてkernelを見たところ、みんな「u-net」ってアルゴリズムの話をしていた。聞いたことがなかったし全然分からなかったので調べてみた。論文の著者が5分で簡単に説明している動画があるので、その内容をまとめる。 …

pythonのdillでは正規表現matchオブジェクトが保存できない

dillというのは、pickleの強化版のようなツールだ。現在使っている変数をまとめて外部のファイルに保存できる。 (バイナリにして保存することを、pickle化、シリアライズ、直列化などと呼ぶらしい)dillについての情報はネットにあまり書いていない。下記の記…

Windows+Anaconda で環境切り替えしようとししてつまづいた2つのポイント

「scikit-learnとTensorFlowによる実践機械学習」の本を読み進めている。 TensorFlowのパートに入ったので、TensorFlowの環境を通常と別に構築しようとしたのでまとめておく (なお最終的には失敗している。)環境: Windows 7 64bit python --version > Pytho…

主成分分析を使って、DDRのレベル18の譜面の傾向を分析してみた

主成分分析を使って、DDRのレベル18の譜面の傾向を分析してみた前書き音ゲーのスコアを主成分分析して、プレイヤーや曲の傾向が求められるのではないか? と思ったので試してみた。 いま自分が一番やっている音ゲーはSOUND VOLTEXなのだが、みんなのスコアデ…

matplotlibの日本語文字化けが直らない→seabornの設定も必要だった

実行環境windows 7 (64bit) Python 3.6.0 :: Anaconda 4.3.1 (64-bit) matplotlib.__version__ # -> '2.0.0' seaborn.__version__ # ->'0.7.1'一部のファイルでのみ、日本語フォントの設定が反映されないJupyter Notebookの上でグラフを描画したが、日本語が…