最高気温と熱中症の搬送人数との間に相関関係はあるだろうか．熱中症で救急搬送された人数は総務省の消防庁のサイトにある．これと気象庁のデータを結合してみた．
熱中症の搬送人員と最高気温との相関関係を可視化し閾値をχ二乗検定する
標準正規分布の上側確率の数表をEXCELで作成する
統計解析に必ず出てくる正規分布．これを標準化した標準正規分布の数表は全部で 400 個に及ぶ数値が並んだ表である．教科書に記載されている数表は，端的に言って機械可読性に欠ける．テーブル形式にしたい．
Microsoft 公式サイトから列挙体のテーブルをインポートする
既知の情報だったら申し訳ないが，個人的に印象的だったので備忘録として公開する．これまではオブジェクトブラウザーからコピペしていたのだが，公式サイトから Power Query でテーブルをまるごとインポートできるようだ．
EXCEL VBA でフォルダ内のブックを開きデータを読み込む
Power Query が使えないと不便である．先日 EXCEL 2010 の素の環境でフォルダ内のブックをすべて開き，データを読み込む必要があったのだが，Power Query が使えなかったため，VBA でブックを開いて読み込まなければならなかった．備忘録としての記事である．
この記事はPower Query でフォルダから複数ファイルを一括インポートすると対応している．やっていることは同じだが，.xls 形式だとクエリの検証に時間がかかるため，VBA で読み込んだほうが動作は早いかもしれない．
フォルダー内のファイル一覧を取得するには FileSystemObject を使う場合と Dir() 関数を使う方法とがある．ここでは FileSystemObject を使うことにする．
データは Range オブジェクトに格納されているため，Range オブジェクトを取得するのが当面の目標となる．
色の知覚(1)太陽光
色彩に関してはこれまで先人の膨大な研究の積み重ねがある．その一端を紹介し，色の物理的性質から生理的反応への橋渡しについて考察する．
今回は太陽光について調べた．データベースは主に National Renewable Energy Laboratory から取った．日本国内にも太陽光についてのデータベースは気象庁や新エネルギー・産業技術総合開発機構がデータを公開している．
位置参照情報ダウンロードサービスから見る国土の形
国土交通省のサービスの一つに位置参照情報ダウンロードサービスがある．何気なくファイルをダウンロードして，思いがけない発見があったため，記事を書くことにした．
厚労省「地域ごとのまん延の状況に関する指標等」の PDF から Power BI Desktop でデータを抽出し EXCEL のグラフに表現する
新型コロナウイルスのパンデミック宣言以降，Twitter でフォローしているアカウントに自然と相互協調の動きがみられる．
厚労省が「地域ごとのまん延の状況に関する指標等」の公表を開始。
— にゃんこそば (@ShinagawaJP) 2020年4月23日
都道府県ごとの①確定患者数、②リンクが不明な患者数、③相談件数、④PCR検査の実施数…と、必要な情報を一通り網羅しています。
が、ファイルはまさかのPDF形式。ExcelかCSVも提供してくれれば…https://t.co/Ox5rU6m1Xo
このツイートから始まった一連のやりとりで，厚労省の発表した PDF からテーブルを抽出するくだりに注目した．
失礼します。今、マクロソフト Power BI デスクトップを使用したところ無事PDFを読み込めました。また、列のピボット解除という機能を使うことで、クロス集計表を添付のような集計用フォーマットに加工できます。 pic.twitter.com/FEV0SBSito
— Akira Takao (@modernexcel7) 2020年4月23日
今回はここを画像つきで実施してみた．
“厚労省「地域ごとのまん延の状況に関する指標等」の PDF から Power BI Desktop でデータを抽出し EXCEL のグラフに表現する” の続きを読む
国勢調査から５歳階級の人口推移を調べる
人口統計は最も重要な基幹統計の一つである．総務省の e-Stat は確かに有用であるが，かゆいところに手が届かない．例えば「市区町村ごと，年齢５歳階級ごとの人口構成の国勢調査ごとの推移を知りたい」という要求には全く無力である．
主として技術的な理由によるものと，統計調査の粒度の細かさによる．技術的な理由としては，データベースの画面表示セル数の上限を容易に超えてしまうデータ量になってしまうことである．しかし，根本的な理由は調査の粒度の細かさである．
2005 年以前と 2010 年以降とでは調査の精度が違う．今後は高精度なデータファイルが e-Stat に掲載されていくものと思われるが，2005 年以前に関しては都道府県より細かい粒度は存在しない．そこを求めると手作業になってしまい，現実的ではない．国立社会保障・人口問題研究所ならデータを持っているかもしれない．
2020 年は国勢調査の年にあたる．総務省にはできるだけ細かい粒度でのデータ掲載を望むものである．
今後25年間の日本の都市の将来推計人口を EXCEL VBA で描く
これまでは日本の都市人口の過去の推移を見てきた．総務省には日本の都市人口の推移予測がある．今回はこのデータをグラフにする．
データを可視化するにあたり，重要なのは引き算である．強調すべき系列のみを強調するために，VBA の知識が欠かせない．
グラフの系列にデータラベルを表示する方法にはいくつかある．
PowerPivotで100万件超えのデータを取り出す
EXCEL のワークシートの仕様上，100 万件を超えるデータは扱えない．これは大規模なデータを扱う際の制約である．180万件のデータをPower Queryで処理してEXCELがオーバーフローした話 でも述べたが，この制約を乗り越えてデータをインポートするにはデータモデルに読み込むほかはない．
SQL Server で PowerQuery が使えればこういった制約を回避できるのだが，ないものは仕方がない．今回は PowerPivot を用いてデータモデルに蓄積したデータを取り出す方法を見つけたので備忘録として記す．