タグ: 数値型

新エネルギー・産業技術総合開発機構の太陽光スペクトルデータをピボットグラフで表現する

　色の知覚(1)太陽光では，新エネルギー・産業技術総合開発機構の日射データが巨大すぎてインポートできなかった．データをある程度絞り込むことで何とかならないか，試行錯誤した結果を報告する．

　前章では，空間参照系の背後にある理論を紹介し，異なる種類のシステムが地球上の特徴を記述する方法を説明した．本章では，これらのシステムを適用して SQL Server 2008 における新しい空間データ型を使って空間情報を蓄積する方法を学んでもらう．

　EXCEL のワークシートの仕様上，100 万件を超えるデータは扱えない．これは大規模なデータを扱う際の制約である．180万件のデータをPower Queryで処理してEXCELがオーバーフローした話でも述べたが，この制約を乗り越えてデータをインポートするにはデータモデルに読み込むほかはない．

　SQL Server で PowerQuery が使えればこういった制約を回避できるのだが，ないものは仕方がない．今回は PowerPivot を用いてデータモデルに蓄積したデータを取り出す方法を見つけたので備忘録として記す．

　過去5年間の人口増減率から自治体の将来を予測するでは日本の都市の運命を占った．その元となるデータをダウンロードして散布図にする方法を述べる．

　今回は泥臭い話になる．どんなプログラミングでも同じだが，一発で意図通りに動くことはまずない．試行錯誤の末，ようやくこんなものかという出来上がりである．SQL においても同じだ．クエリでは NULL の扱いが難しい．そんなところを感じ取ってもらえればと思う．

　文部科学省には日本標準食品成分表のデータがある．食品の栄養素の計算に用いられるデータで，食品成分データベースやフィットネス，ダイエット関連アプリのデータベースの基本となっているものである．

　このデータは 5 年ごとに更新されており，最新のデータは 2015 年のものである．次の更新は 2020 年の予定である．今回の記事ではこのデータをダウンロードし，クレンジングを行う．