Co-evolution of human and technology
人口統計は最も重要な基幹統計の一つである．総務省の e-Stat は確かに有用であるが，かゆいところに手が届かない．例えば「市区町村ごと，年齢５歳階級ごとの人口構成の国勢調査ごとの推移を知りたい」という要求には全く無力である．
主として技術的な理由によるものと，統計調査の粒度の細かさによる．技術的な理由としては，データベースの画面表示セル数の上限を容易に超えてしまうデータ量になってしまうことである．しかし，根本的な理由は調査の粒度の細かさである．
2005 年以前と 2010 年以降とでは調査の精度が違う．今後は高精度なデータファイルが e-Stat に掲載されていくものと思われるが，2005 年以前に関しては都道府県より細かい粒度は存在しない．そこを求めると手作業になってしまい，現実的ではない．国立社会保障・人口問題研究所ならデータを持っているかもしれない．
2020 年は国勢調査の年にあたる．総務省にはできるだけ細かい粒度でのデータ掲載を望むものである．
また面倒な統計を見つけてしまった．Power Query に食わせれば早いのかも知れないが，どうにも埒が明かないので手動でデータを整形することになった．頼むから第一正規形で公開してくれ…
EXCEL のワークシートの仕様上，100 万件を超えるデータは扱えない．これは大規模なデータを扱う際の制約である．180万件のデータをPower Queryで処理してEXCELがオーバーフローした話 でも述べたが，この制約を乗り越えてデータをインポートするにはデータモデルに読み込むほかはない．
SQL Server で PowerQuery が使えればこういった制約を回避できるのだが，ないものは仕方がない．今回は PowerPivot を用いてデータモデルに蓄積したデータを取り出す方法を見つけたので備忘録として記す．
総務省の e-Stat から全国の市区町村の財政状況を垣間見る．衰退する都市には財政破綻の徴候が見られるはずである．今回は財政力指数，経常収支比率，実質公債費比率，地方債現在高に注目する．
総務省統計ポータル e-Stat からのデータに全国の市区町村の人口推移があった．マーク・ブキャナンの「歴史はべき乗則で動く」の p 261 に「人口が半分の都市は四つある」とある．本当だろうか．検証してみた．
基幹データベースが Oracle DB の場合，最も基本的なデータ抽出方法の一つに SQL*Plus がある．SI Object Browser などもあるが基本有償で，個人で購入するには少し敷居が高い．
SQL*Plus でどこまでできるかは勉強中のため未知数だが，あらかじめ .sql ファイルを作っておいて実行するなら心理的な障壁も下がる．
Windows 環境にインストールした SQL Server Management Studio から Ubuntu にインストールした SQL Server にデータベースを作成し，テキストファイルからインポートしてテーブルを作成する方法を紹介する．
インポートするテキストファイルは今回は日本標準食品成分表 2015 年版を使用する．第一正規形であれば何でもよい．
“Windows 上の SQL Server Management Studio から Ubuntu 上の SQL Server にデータベースを作成し，テーブルを挿入する” の続きを読む
Google フォームから SQL Server にデータを移行する作業が続いたので，その際に得られた知見を公開する．
今回は泥臭い話になる．どんなプログラミングでも同じだが，一発で意図通りに動くことはまずない．試行錯誤の末，ようやくこんなものかという出来上がりである．SQL においても同じだ．クエリでは NULL の扱いが難しい．そんなところを感じ取ってもらえればと思う．
文部科学省には日本標準食品成分表のデータがある．食品の栄養素の計算に用いられるデータで，食品成分データベースやフィットネス，ダイエット関連アプリのデータベースの基本となっているものである．
このデータは 5 年ごとに更新されており，最新のデータは 2015 年のものである．次の更新は 2020 年の予定である．今回の記事ではこのデータをダウンロードし，クレンジングを行う．
“日本標準食品成分表2015をダウンロードし，データクレンジングを行う” の続きを読む