国土交通省のサービスの一つに位置参照情報ダウンロードサービスがある.何気なくファイルをダウンロードして,思いがけない発見があったため,記事を書くことにした.
PowerPivotで100万件超えのデータを取り出す
EXCEL のワークシートの仕様上,100 万件を超えるデータは扱えない.これは大規模なデータを扱う際の制約である.180万件のデータをPower Queryで処理してEXCELがオーバーフローした話 でも述べたが,この制約を乗り越えてデータをインポートするにはデータモデルに読み込むほかはない.
SQL Server で PowerQuery が使えればこういった制約を回避できるのだが,ないものは仕方がない.今回は PowerPivot を用いてデータモデルに蓄積したデータを取り出す方法を見つけたので備忘録として記す.
敷き詰めた散布図にVBAでデータ系列を追加する
EXCEL VBAで複数の散布図を敷き詰めて並べるでは散布図を都道府県の数だけ敷き詰めて並べた.今回はその散布図一つ一つにデータ系列を追加する.
180万件のデータをPower Queryで処理してEXCELがオーバーフローした話
EXCEL のワークシートに格納できるレコード数は 1,048,576 行である.今回 e-Stat からダウンロードしたファイルをピボット解除したらその上限を超えてしまったのでその記事を書こう.
総務省の都道府県・市区町村別統計表をデータクレンジングする
日本の人口統計は総務省が 5 年おきに行う国勢調査が元になっている.日本の市の人口順位をEXCELにダウンロードして散布図に描くでは日本全国の都市の人口増減率と人口の関係を時系列で流すとどう推移するか予測した.今回はその予測が実態と合っているか乖離しているかの検証を行う.