Ubuntu 上の SQL Server に Windows 上の SQL Server Management Studio や SPSS から接続する方法についてはわかった.
では,Power BI などの BI ツールはどうだろう?本稿ではその方法を概説する.
Co-evolution of human and technology
Ubuntu 上の SQL Server に Windows 上の SQL Server Management Studio や SPSS から接続する方法についてはわかった.
では,Power BI などの BI ツールはどうだろう?本稿ではその方法を概説する.
Windows 環境にインストールした SQL Server Management Studio から Ubuntu にインストールした SQL Server にデータベースを作成し,テキストファイルからインポートしてテーブルを作成する方法を紹介する.
インポートするテキストファイルは今回は日本標準食品成分表 2015 年版を使用する.第一正規形であれば何でもよい.
“Windows 上の SQL Server Management Studio から Ubuntu 上の SQL Server にデータベースを作成し,テーブルを挿入する” の続きを読む
SQL Server に蓄積したデータを SPSS で解析する際には一旦 EXCEL のワークシートに出力していたのだが,この一手間が面倒になってきた.SPSS のメニューを眺めていると「データベースを開く」というメニューがある.これを使えないか?と試行錯誤した結果を備忘録として記す.
とある件で発表の機会があり,その準備に追われている.弊社の顧客マスターから抽出した郵便番号をジオコーディングし,地図上にヒートマップを作成するという作業を行ったので,備忘録として残しておく.
気象庁のサクラ開花日のテキストファイルでは全国の地方気象台の所在地は明らかではなかった.ジオコーディングを始めるには所在地を正確にしておくことが重要だ.手始めに全国の地方気象台の所在地を確認することにした.
4月初旬はソメイヨシノの開花に心が躍る.古い歌にあるように,
世の中にたえてさくらのなかりせば春の心はのどけからまし
あっという間に散っていく様は日本人の心を捉えて離さない.この桜の開花日の予測は気象庁でも行われている.
桜だけではない.生物季節観測の情報では各種の植物,動物を観測しており,過去のデータを公表している.
時節柄,過去の桜開花日をダウンロードして検索しやすいようにしようと考えた.
ファイルは最初に置いておく.好きに使ってくれて構わない.
テキストファイルから SQL Server に気象データをインポートする
Excelのピボットテーブルでクロス集計から統計解析まででも書いたが,統計解析の醍醐味は多変量解析にある.単変量解析では変数間の交絡の可能性が否定できず,重要なポイントを見落とすことがある.
統計の専門家ではないので完全に我流の方法であるが,多変量解析における変数選択の参考になるかと思い,記しておく.
過去に査読者とのやり取りの中で,変数選択の方法をかなり具体的に指示され,その通りにしないと通さないぞという言外の圧力を感じたことがある.
その時は違和感を感じつつもその通りにしたら通ったのだが,どうにもその違和感がずっと残っていた.いわく,単変量解析で有意になった変数のみを組み合わせて多変量解析に持ち込む,という手法だったのだが,本当にそれで良かったのだろうか?
Google フォームから SQL Server にデータを移行する作業が続いたので,その際に得られた知見を公開する.
今回は泥臭い話になる.どんなプログラミングでも同じだが,一発で意図通りに動くことはまずない.試行錯誤の末,ようやくこんなものかという出来上がりである.SQL においても同じだ.クエリでは NULL の扱いが難しい.そんなところを感じ取ってもらえればと思う.
文部科学省には日本標準食品成分表のデータがある.食品の栄養素の計算に用いられるデータで,食品成分データベースやフィットネス,ダイエット関連アプリのデータベースの基本となっているものである.
このデータは 5 年ごとに更新されており,最新のデータは 2015 年のものである.次の更新は 2020 年の予定である.今回の記事ではこのデータをダウンロードし,クレンジングを行う.
“日本標準食品成分表2015をダウンロードし,データクレンジングを行う” の続きを読む