タグ: NULL

環境省の捕獲鳥獣数の統計を折れ線グラフにする

　また面倒な統計を見つけてしまった．Power Query に食わせれば早いのかも知れないが，どうにも埒が明かないので手動でデータを整形することになった．頼むから第一正規形で公開してくれ…

　EXCEL のワークシートの仕様上，100 万件を超えるデータは扱えない．これは大規模なデータを扱う際の制約である．180万件のデータをPower Queryで処理してEXCELがオーバーフローした話でも述べたが，この制約を乗り越えてデータをインポートするにはデータモデルに読み込むほかはない．

　SQL Server で PowerQuery が使えればこういった制約を回避できるのだが，ないものは仕方がない．今回は PowerPivot を用いてデータモデルに蓄積したデータを取り出す方法を見つけたので備忘録として記す．

　総務省の e-Stat から全国の市区町村の財政状況を垣間見る．衰退する都市には財政破綻の徴候が見られるはずである．今回は財政力指数，経常収支比率，実質公債費比率，地方債現在高に注目する．

　総務省統計ポータル e-Stat からのデータに全国の市区町村の人口推移があった．マーク・ブキャナンの「歴史はべき乗則で動く」の p 261 に「人口が半分の都市は四つある」とある．本当だろうか．検証してみた．

　基幹データベースが Oracle DB の場合，最も基本的なデータ抽出方法の一つに SQL*Plus がある．SI Object Browser などもあるが基本有償で，個人で購入するには少し敷居が高い．

　SQL*Plus でどこまでできるかは勉強中のため未知数だが，あらかじめ .sql ファイルを作っておいて実行するなら心理的な障壁も下がる．

　Windows 環境にインストールした SQL Server Management Studio から Ubuntu にインストールした SQL Server にデータベースを作成し，テキストファイルからインポートしてテーブルを作成する方法を紹介する．

　インポートするテキストファイルは今回は日本標準食品成分表 2015 年版を使用する．第一正規形であれば何でもよい．

　Google フォームから SQL Server にデータを移行する作業が続いたので，その際に得られた知見を公開する．

　今回は泥臭い話になる．どんなプログラミングでも同じだが，一発で意図通りに動くことはまずない．試行錯誤の末，ようやくこんなものかという出来上がりである．SQL においても同じだ．クエリでは NULL の扱いが難しい．そんなところを感じ取ってもらえればと思う．

　文部科学省には日本標準食品成分表のデータがある．食品の栄養素の計算に用いられるデータで，食品成分データベースやフィットネス，ダイエット関連アプリのデータベースの基本となっているものである．

　このデータは 5 年ごとに更新されており，最新のデータは 2015 年のものである．次の更新は 2020 年の予定である．今回の記事ではこのデータをダウンロードし，クレンジングを行う．

　データベースにテキストファイルをインポートしたいというニーズは多い．今回は csv ファイルから SQL Server にデータをインポートしたので備忘録として公開する．