ベクタデータは拡大しても劣化がないが,データサイズが大きいため,環境によっては動作が極端に重くなる.
これといった決定打があるわけではないが,事前の準備があると少しは取り扱いが楽になる.
Co-evolution of human and technology
ベクタデータは拡大しても劣化がないが,データサイズが大きいため,環境によっては動作が極端に重くなる.
これといった決定打があるわけではないが,事前の準備があると少しは取り扱いが楽になる.
国土地理院の基盤地図情報ダウンロードサービスではベクタデータとラスタデータをダウンロードできる.Point, LineString, Polygon はベクタデータだが,数値標高モデルはラスタデータである.今回はラスタデータである数値標高モデルをダウンロードし,GeoTiff に変換する.
多くの空間アプリケーションがカスタム定義の空間機能を組み合わせている.例えば顧客セットの局在と,広く受け入れられた表現の空間データ,地球上の汎用性のある特徴,例えば国や州の境界線,世界の主要都市の局在および主要な道路や鉄道の経路などである.この情報は自分自身で作成するよりも,多くの代替可能な資源が存在しており,そこから普通に使うための空間データを取得して空間アプリケーションに搭載できる.
本章では,そこから一般公開された空間情報を取得できる資源,そこでそのデータが普通に提供されるフォーマットおよびその情報を SQL Server にインポートするのに使える技術を紹介しよう.
“第 6 章 空間データをインポートする (Beginning Spatial with SQL Server 2008)” の続きを読む
前章では,空間参照系の背後にある理論を紹介し,異なる種類のシステムが地球上の特徴を記述する方法を説明した.本章では,これらのシステムを適用して SQL Server 2008 における新しい空間データ型を使って空間情報を蓄積する方法を学んでもらう.
“第 2 章 SQL Server 2008 で空間データを実装する (Beginning Spatial with SQL Server 2008)” の続きを読む
新型コロナウイルスのパンデミック宣言以降,Twitter でフォローしているアカウントに自然と相互協調の動きがみられる.
厚労省が「地域ごとのまん延の状況に関する指標等」の公表を開始。
— にゃんこそば (@ShinagawaJP) 2020年4月23日
都道府県ごとの①確定患者数、②リンクが不明な患者数、③相談件数、④PCR検査の実施数…と、必要な情報を一通り網羅しています。
が、ファイルはまさかのPDF形式。ExcelかCSVも提供してくれれば…https://t.co/Ox5rU6m1Xo
このツイートから始まった一連のやりとりで,厚労省の発表した PDF からテーブルを抽出するくだりに注目した.
失礼します。今、マクロソフト Power BI デスクトップを使用したところ無事PDFを読み込めました。また、列のピボット解除という機能を使うことで、クロス集計表を添付のような集計用フォーマットに加工できます。 pic.twitter.com/FEV0SBSito
— Akira Takao (@modernexcel7) 2020年4月23日
今回はここを画像つきで実施してみた.
“厚労省「地域ごとのまん延の状況に関する指標等」の PDF から Power BI Desktop でデータを抽出し EXCEL のグラフに表現する” の続きを読む
EXCEL のワークシートの仕様上,100 万件を超えるデータは扱えない.これは大規模なデータを扱う際の制約である.180万件のデータをPower Queryで処理してEXCELがオーバーフローした話 でも述べたが,この制約を乗り越えてデータをインポートするにはデータモデルに読み込むほかはない.
SQL Server で PowerQuery が使えればこういった制約を回避できるのだが,ないものは仕方がない.今回は PowerPivot を用いてデータモデルに蓄積したデータを取り出す方法を見つけたので備忘録として記す.
最近 Ubuntu 環境の構築,SQL Server のインストール,Windows からのリモート接続を行った.
以前 SPSS から SQL Server に接続したのを思い出し,Windows 環境の SPSS から Ubuntu 上の SQL Server にリモート接続できないか試してみたら,あっさり接続できたので書き記す.
データベースにテキストファイルをインポートしたいというニーズは多い.今回は csv ファイルから SQL Server にデータをインポートしたので備忘録として公開する.
“テキストファイルから SQL Server に気象データをインポートする” の続きを読むリレーショナルデータベースを端末にインストールする必要が出てきた.今どきだとクラウド上に構築するのが流行りなのだが,あいにく運用経験がない.使い慣れた Microsoft SQL Server をインストールすることにした.
最新版は 2017. 最近だとディスクからのインストールではなく,本家のサイトからインストーラをダウンロードしてセットアップすることになる.