タグ: ピリオド

180万件のデータをPower Queryで処理してEXCELがオーバーフローした話

　EXCEL のワークシートに格納できるレコード数は 1,048,576 行である．今回 e-Stat からダウンロードしたファイルをピボット解除したらその上限を超えてしまったのでその記事を書こう．

　総務省統計ポータル e-Stat からのデータに全国の市区町村の人口推移があった．マーク・ブキャナンの「歴史はべき乗則で動く」の p 261 に「人口が半分の都市は四つある」とある．本当だろうか．検証してみた．

　文部科学省には日本標準食品成分表のデータがある．食品の栄養素の計算に用いられるデータで，食品成分データベースやフィットネス，ダイエット関連アプリのデータベースの基本となっているものである．

　このデータは 5 年ごとに更新されており，最新のデータは 2015 年のものである．次の更新は 2020 年の予定である．今回の記事ではこのデータをダウンロードし，クレンジングを行う．

　実を言うと，英語はあまり詳しくない．学術論文を一本読むのに数日かかる．読み慣れてくる頃には疲れてしまってやる気が失せている．

　読み慣れる，と書いた．読み進めて行くうちに，脳が英語のまま理解し始める瞬間がある．英語で読み，英語で思考し，英語でアウトプットする．これを勝手に「英語モード」と呼ぶことにする．なんというか，脳の中に新しいモジュールが一個できる感じ．

　脳が英語モードに入ってしまえばこっちのものだ．普段考えてる時は，頭の中では日本語で喋ってるだろう？その思考自体が英語になる．俺の脳が英語で喋ってる，俺スゲー！となる．しかしそこまで行くにはかなり集中力がいる．その前段階の話である．