pandas

pandasで ValueError: cannot reindex from a duplicate axisのエラー

ValueError: cannot reindex from a duplicate axis というエラーが、pandasにある。 エラーについて色々調べた結果、分からなかったこともあるけど、だいたい以下のとおりだろうか。 行もしくは列の名前に重複がある場合に、特定の操作で発生するようだ? 「…

pandasのDataFrameに空の列を追加する

pandasのDataFrameに、空の列を新しく追加(挿入)したい場合。 空の列の位置は気にしない場合(右端になる) どの値を入れれば良いの? 空の列を指定した位置に挿入したい場合 注意事項 参考 空の列の位置は気にしない場合(右端になる) 既存のDataFrameに1…

jupyter notebookのサンプルコードをブログに貼り付ける方法を調べた

このブログを書くときには、jupyter notebookでサンプルのコードを書いて、pythonや各種ライブラリの動作を検証している。 そこでいつも頭を悩ませるのが、「jupyter notebookの上のサンプルコードを、どうやってはてなブログに貼り付けるか?」である。 毎回…

pythonの機械学習・データ分析系の各ライブラリの人気度を調べてみる

2万4000超の開発者に聞いた、Pythonでよく使うフレームワークは? | マイナビニュース https://www.jetbrains.com/lp/python-developers-survey-2019/ を読んで調べたこと。 Python Developers Survey 2019 Results Stack Overflow trend検索 Stack Overflow…

pandas 特定列の値をユニークな数値IDに変換する3つの方法

pandasのDataFrameやSeriesがあったときに、ある列の値に基づいて数値に変換して、ユニークな整数IDを振りたい時がある。文字列の型のカテゴリを番号に変換したいという状況だ。 1行ずつ見ていけばできることはできるのだが、もっと簡単に速くできる方法は無…

pandasで空のDataFrameにapply()してエラーになった

pandasで、 ValueError: Cannot set a frame with no defined index and a value that cannot be converted to a Series というエラーが出ることがある。 結論をいうと、これは空のDataFrameに対してapply()をしたときに発生するエラーである。 そうなら「エ…

pandasでDataFrameの最初(一番左)に列を追加・挿入する方法

pandasでDataFrameの最初(一番左)に列を追加・挿入する方法。 環境:pandasのversionは0.25.3です。 列名を指定して追加する方法だと末尾(最後、右端)に追加される 既存のDataFrameに1つの列を新規に追加する最も一般的な方法は、df['new_column'] = (追…

pandasのinfer_objects()は文字列を数値に変換しない

pandasのinfer_objects()は、数字の入った文字列('123')を数値(123)に変換しない、という話。 StackOverflowのURL: https://stackoverflow.com/questions/35003138/python-pandas-inferring-column-datatypes/48269724 のコメント infer_objects()は、D…

pandasのデータ型、dtypeについて 公式ドキュメントを翻訳した

この記事は何?公式ドキュメントの(個人的な)翻訳だよ Essential basic functionality — pandas 1.0.3 documentation pandasの型であるdtypeについての公式ドキュメントを翻訳した。 内容は、pandasのSeriesやDataframeに関して dtypeの基本事項 型を判定…

pandasでDataFrameから行をSeriesとして抽出した場合、暗黙の型変換が実行されるので注意

環境 発生事象 仕組み、理由 同様の事象 iterrows 転置 関連 環境 python, pandas, jupyter のバージョン > python --version # Python 3.7.4 import pandas as pd pd.__version__ # '0.25.2' > jupyter notebook --version # 6.0.1 発生事象 データ分析中に…

[pandas]groupbyの最初・最後の行を求めるfirst・last関数の話、headやnthとの違い

pandasで、ある特定の列の値に応じてグループ化(集計・集約)し、特定の列の値ごとに最初の行(もしくは最後の行)を求めたいときの話。 基本的な例:グループごとに最初の行を選択する(first、nth、head) 基本的な例:グループごとに最後の行を選択する…

pandasでサンプルのデータセットを使う4個の方法をまとめた

pandasを使っていて、ある関数の挙動を確認するのに、ちょろっとお試しのデータセットがあれば良いなぁ、と思うことがある。 俺も以前の記事で、pandasの使い方を説明するときに、自作のデータセットを使って書いていた。 [pandas]特定の条件を満たす行を…

pandasのSettingWithCopyWarningを理解する (2/3)

この記事は、 SettingwithCopyWarning: How to Fix This Warning in Pandas – Dataquest の日本語訳です。3回にわたって掲載予定で、この記事は2回目です。 1回目の記事はこちら: linus-mk.hatenablog.com SettingWithCopyWarningを処理するためのヒントと…

[pandas]特定の条件を満たす行を削除する

DataFrameから、特定の条件を満たす行を削除する方法について。 例を挙げよう。 import pandas as pd df = pd.DataFrame({ 'name' : ['Alice', 'Bob', 'Charlie', 'David', 'Eve', 'Fred'], 'English' : [12, 34, 56, 78, -1, 90], 'Math' : [88, 66, -1, 44…