既知の情報だったら申し訳ないが,個人的に印象的だったので備忘録として公開する.これまではオブジェクトブラウザーからコピペしていたのだが,公式サイトから Power Query でテーブルをまるごとインポートできるようだ.
新エネルギー・産業技術総合開発機構の太陽光スペクトルデータをピボットグラフで表現する
色の知覚(1)太陽光では,新エネルギー・産業技術総合開発機構の日射データが巨大すぎてインポートできなかった.データをある程度絞り込むことで何とかならないか,試行錯誤した結果を報告する.
色の知覚(1)太陽光
色彩に関してはこれまで先人の膨大な研究の積み重ねがある.その一端を紹介し,色の物理的性質から生理的反応への橋渡しについて考察する.
今回は太陽光について調べた.データベースは主に National Renewable Energy Laboratory から取った.日本国内にも太陽光についてのデータベースは気象庁や新エネルギー・産業技術総合開発機構がデータを公開している.
厚労省「地域ごとのまん延の状況に関する指標等」の PDF から Power BI Desktop でデータを抽出し EXCEL のグラフに表現する
新型コロナウイルスのパンデミック宣言以降,Twitter でフォローしているアカウントに自然と相互協調の動きがみられる.
厚労省が「地域ごとのまん延の状況に関する指標等」の公表を開始。
— にゃんこそば (@ShinagawaJP) 2020年4月23日
都道府県ごとの①確定患者数、②リンクが不明な患者数、③相談件数、④PCR検査の実施数…と、必要な情報を一通り網羅しています。
が、ファイルはまさかのPDF形式。ExcelかCSVも提供してくれれば…https://t.co/Ox5rU6m1Xo
このツイートから始まった一連のやりとりで,厚労省の発表した PDF からテーブルを抽出するくだりに注目した.
失礼します。今、マクロソフト Power BI デスクトップを使用したところ無事PDFを読み込めました。また、列のピボット解除という機能を使うことで、クロス集計表を添付のような集計用フォーマットに加工できます。 pic.twitter.com/FEV0SBSito
— Akira Takao (@modernexcel7) 2020年4月23日
今回はここを画像つきで実施してみた.
“厚労省「地域ごとのまん延の状況に関する指標等」の PDF から Power BI Desktop でデータを抽出し EXCEL のグラフに表現する” の続きを読む
環境省の捕獲鳥獣数の統計を折れ線グラフにする
また面倒な統計を見つけてしまった.Power Query に食わせれば早いのかも知れないが,どうにも埒が明かないので手動でデータを整形することになった.頼むから第一正規形で公開してくれ…
今後25年間の日本の都市の将来推計人口を EXCEL VBA で描く
これまでは日本の都市人口の過去の推移を見てきた.総務省には日本の都市人口の推移予測がある.今回はこのデータをグラフにする.
データを可視化するにあたり,重要なのは引き算である.強調すべき系列のみを強調するために,VBA の知識が欠かせない.
グラフの系列にデータラベルを表示する方法にはいくつかある.
PowerPivotで100万件超えのデータを取り出す
EXCEL のワークシートの仕様上,100 万件を超えるデータは扱えない.これは大規模なデータを扱う際の制約である.180万件のデータをPower Queryで処理してEXCELがオーバーフローした話 でも述べたが,この制約を乗り越えてデータをインポートするにはデータモデルに読み込むほかはない.
SQL Server で PowerQuery が使えればこういった制約を回避できるのだが,ないものは仕方がない.今回は PowerPivot を用いてデータモデルに蓄積したデータを取り出す方法を見つけたので備忘録として記す.
敷き詰めた散布図にVBAでデータ系列を追加する
EXCEL VBAで複数の散布図を敷き詰めて並べるでは散布図を都道府県の数だけ敷き詰めて並べた.今回はその散布図一つ一つにデータ系列を追加する.
全国の市区町村の財政
総務省の e-Stat から全国の市区町村の財政状況を垣間見る.衰退する都市には財政破綻の徴候が見られるはずである.今回は財政力指数,経常収支比率,実質公債費比率,地方債現在高に注目する.
180万件のデータをPower Queryで処理してEXCELがオーバーフローした話
EXCEL のワークシートに格納できるレコード数は 1,048,576 行である.今回 e-Stat からダウンロードしたファイルをピボット解除したらその上限を超えてしまったのでその記事を書こう.