Python
daskでデータ絞り込みをするためにquery関数を使ったけど、構文が難しくてちょっと詰まった話。 daskのDataFrameに対するquery関数の公式ドキュメントはこちらだ。 dask.dataframe.DataFrame.query このドキュメントを見ると、 「pandasは@で変数名を使える…
[pandas/matplotlib] 時系列データをプロットするときはデータ型に注意 pandasで時系列データを作って、matplotlibでプロットするときにエラーが出たけど、調べてみたらデータ型（dtype）を間違えていたせいだった。 時系列データのデータ型には気をつけまし…
久しぶりにmatplotlibを触ったら、やりたい処理がやりづらい……辛い……と改めて悩んでしまった。 matplotlibが分かりにくくて辛い、という理由を考察する記事である。 matplotlibが初心者にとって分かりにくいのはなぜか? 公式ドキュメント 英語で書かれたPyth…
AtCoderで青になりました、というAtCoder色変記事である。 手短に自己紹介 レート推移、各種進捗のグラフ レート推移 AtCoder Problemsの各種進捗状況 解いた問題数×レートのグラフ アルゴリズムのスクールに通ってたので 時系列的なもの。 ライブラリ一覧 p…
オライリー・ジャパンから発売された「Effective Python 第2版 Pythonプログラムを改良する90項目」の日本語訳の改善提案である。気になった箇所について、原文と照らし合わせて問題点を述べ、日本語訳を自分で書き直している。 注意事項 8章 p.289 項目65 p…
競技プログラミングのAtCoderの問題をPythonを使って解き、定数倍高速化した結果をまとめる。 定数倍高速化とは何か 注意事項 解法 処理時間まとめ 最初 高速化(1) 早期break 高速化(2) 計算量の削減 ／(1)を上書き 高速化(3) 入力 input = sys.stdin.readli…
pandasのDataFrameのセル（1つのマス）にpythonのリスト（配列）を代入しようとして、苦労したのでやり方をまとめておく。 （pandasの公式ドキュメントではセルをcellとは呼ばず、valueもしくはscalar valueと呼んでいるようだ。） 注意 準備 失敗例 loc, il…
pandasを使ってDataFrameを結合しようとしたら、ValueError: len(left_on) must equal the number of levels in the index of "right" という見慣れないエラーが出てきた。 mergeを使うべきところでjoinを使ったのが原因だった。 以下のStackOverflowを見た…
オライリー・ジャパンから発売された「Effective Python 第2版 Pythonプログラムを改良する90項目」の日本語訳の改善提案である。気になった箇所について、原文と照らし合わせて問題点を述べ、日本語訳を自分で書き直している。 注意事項 無償の翻訳と出版さ…
「pandas float int 変換」で検索する人が結構いるので、まとめておきます。 準備 1列だけをfloatからintに変換する 複数列をfloatからintに変換する すべての列をfloatからintに変換する 文字列とかがある場合は? NaNを含む場合は? int型で欠損値をNaNのま…
ValueError: cannot reindex from a duplicate axis というエラーが、pandasにある。 エラーについて色々調べた結果、分からなかったこともあるけど、だいたい以下のとおりだろうか。 行もしくは列の名前に重複がある場合に、特定の操作で発生するようだ? 「…
numpy.arrayとnumpy.ndarray、どちらもたまに見かけるのだが、あまり区別がついていなかった。arrayとndarrayの違いを調べてまとめた。 「numpy array ndarray difference」で検索すると出てくるStack Overflowの質問の内容を主に、検証結果をまとめる。 num…
pandasのDataFrameに、空の列を新しく追加（挿入）したい場合。 空の列の位置は気にしない場合（右端になる） どの値を入れれば良いの? 空の列を指定した位置に挿入したい場合 注意事項 参考 空の列の位置は気にしない場合（右端になる） 既存のDataFrameに1…
このブログを書くときには、jupyter notebookでサンプルのコードを書いて、pythonや各種ライブラリの動作を検証している。 そこでいつも頭を悩ませるのが、「jupyter notebookの上のサンプルコードを、どうやってはてなブログに貼り付けるか?」である。 毎回…
2万4000超の開発者に聞いた、Pythonでよく使うフレームワークは？ | マイナビニュース https://www.jetbrains.com/lp/python-developers-survey-2019/ を読んで調べたこと。 Python Developers Survey 2019 Results Stack Overflow trend検索 Stack Overflow…
pandasのDataFrameやSeriesがあったときに、ある列の値に基づいて数値に変換して、ユニークな整数IDを振りたい時がある。文字列の型のカテゴリを番号に変換したいという状況だ。 1行ずつ見ていけばできることはできるのだが、もっと簡単に速くできる方法は無…
pythonのmath.acos()関数でValueError: math domain errorが出た話。 浮動小数点演算で誤差が乗って、定義域の範囲外の数を引数に入れていた。 2次元座標の上の3つの点から、なす角を求めようとした。 より正確に言えば、2つのベクトルのなす角θを求めようと…
pandasで、 ValueError: Cannot set a frame with no defined index and a value that cannot be converted to a Series というエラーが出ることがある。 結論をいうと、これは空のDataFrameに対してapply()をしたときに発生するエラーである。 そうなら「エ…
競技プログラミング（AtCoderなど）によくある、二項係数（コンビネーション）を109+7で割った余りを求める話です。 前提条件 Pythonで実装するときに、気をつけるべきポイントを書いておきます。 C++やJavaを使ってる人は、この記事を読む意味はありません…
pandasでDataFrameの最初（一番左）に列を追加・挿入する方法。 環境：pandasのversionは0.25.3です。 列名を指定して追加する方法だと末尾（最後、右端）に追加される 既存のDataFrameに1つの列を新規に追加する最も一般的な方法は、df['new_column'] = (追…
pandasのinfer_objects()は、数字の入った文字列（'123'）を数値（123）に変換しない、という話。 StackOverflowのURL： https://stackoverflow.com/questions/35003138/python-pandas-inferring-column-datatypes/48269724 のコメント infer_objects()は、D…
注意： この記事を書いているのはDjangoの超初心者です。分かっていないところが多々あります。 以下を読む際は、不正確な記述が含まれている可能性があることを考慮してください。 Djangoで NoReverseMatch, XXX is not a registered namespaceというエラー…
タイトルを「Django Girls チュートリアルに欠けている、たった一つのこと」みたいな感じの惹句にしようかと思ったけど、これは不正確だなと思ったのでやめた。 Djangoの初心者がDjango Girlsチュートリアルを通してやってみたけど、モヤモヤする部分があり…
タイトルの通りである。 python setの和集合・積集合の計算にand/orは使えない。 ミスってからすぐ気づいたので大きな手戻りにはならなかったが、備忘録として今後忘れないように書き留めておく。 setに対してand/orを使うと何が起きるか Pythonのバージョン…
この記事は何？公式ドキュメントの（個人的な）翻訳だよ Essential basic functionality — pandas 1.4.1 documentation （2022年3月5日追記：pandas URLが変更されていてリンク切れになっていたので最新のURLに変えましたが、下記は1.0.3時点の公式ドキュメ…
環境 発生事象 仕組み、理由 同様の事象 iterrows 転置 関連 環境 python, pandas, jupyter のバージョン > python --version # Python 3.7.4 import pandas as pd pd.__version__ # '0.25.2' > jupyter notebook --version # 6.0.1 発生事象 データ分析中に…
Effective Pythonの第2版（英語）が発行されるという話を、しばらく前から見かけていた。 最近になって、著者のBrett Slatkin氏が、とうとう発行されるというツイートをしていた。 Effective Python: Second Edition is now available for preorder!Highligh…
pandasで、ある特定の列の値に応じてグループ化（集計・集約）し、特定の列の値ごとに最初の行（もしくは最後の行）を求めたいときの話。 基本的な例：グループごとに最初の行を選択する（first、nth、head） 基本的な例：グループごとに最後の行を選択する…
jupyter notebook上で、図を作って保存するコードを少しずつ試しながら書いてた。 その後pythonにコードをコピーしたら、保存された図がjupyterのときと違っていたので、原因を調べた。 環境 バージョン Python、Jupyter、matplotlib > python --version # P…
pythonでimport matpliotlib.pyplot を実行したらModuleNotFoundError: No module named 'tkinter'と言われたので、tkinterをインストールした話。 環境 OS : Windows 8.1 (64bit) > python --version # Python 3.7.4 import matplotlib print(matplotlib.__…
