ZT: Google Earth數據存儲、管理、表現及開發機制
文章內容
原文地址： blog.csdn.net/u0126902...s/40191109
一、 Google Earth（Map）介紹
1.1 Google Earth介紹
在眾多的地理信息服務提供商中，Google是較早提供服務的一個，其他有如ESRI這樣的巨頭，也有中國的靈圖。但憑借著提供優質、高效、高性價比服務的理念和Google自身的巨大影響力，Google推出的Google Earth和Google Map平台已經成為全球影響力最大的互聯網空間信息服務平台。
Google Earth具有十分突出的三個特點[1]，一是可以顯示矢量數據地標，包括點、線、面等幾何類型；二是具有柵格圖像疊加的功能，允許用戶將本機上或從網上下載下來的地圖圖片疊加到Google Earth上,並且可以調整加載圖片的透明度，此功能可以方便用戶進行深入的觀察和分析；三是具有三維虛擬模型，提供了一些城市的三維模型，允許用戶使用三維對象。
Google Earth使用商用衛星相片[2]，主要來自Digital Globe公司的Quick Bird、美國IKONOS及法國SPOTS，高分辨率高。Google Earth只有地球的真彩色數據，但圖層多而詳細、如地勢、邊界、道路、鐵路、水道、地震、火山、學校、教會、公園、加油站、高爾夫球場、犯罪統計…等，北美地區數據比較全。通過影響分層分塊切片組織管理、圖片數據流常數等技術讓用戶瀏覽的高分辨率數據通過網絡實時傳輸。
雖然OGC（Open GeospatialConsortium）組織中有許多已經開始進入地理信息服務提供商中這個角色中，如雅虎、微軟、ERSI、NASA。在中低端市場中Google仍然是一個霸主地位，它有著比其他像Arc Objects、World Wind那樣的平台更加明顯的優勢。那就是他優秀的數據存儲、管理、表現及開發機制。而且它的三個版本個人免費版、Plus版、Pro版為不同的用戶群提供了不同的服務，滿足了各個層次人的需求。Google Earth的API是基於Ajax（Asynchronous JavaScript and XML）的JavaScript API，所以人們可以很容易的利用Google Earth所開源的API進行地圖服務擴展或利用Google Earth所提供的各種信息來開發新的系統和其他的應用。
1.2 Google Earth與Google Map的區別
Google Earth和Google Map用的實際上是同一種數據，只不過是表現形式不一樣而已。Google Earth采用的是Google在04年收購Keyhole的 KML（Keyhole Markup Language）標記語言來描述和保存地理信息，而Google Map則是采用HTML頁面和圖片的形式來表現數據的。如圖1-1所示，我們可以看到其實Google Earth也是像Google Map那樣當個瀏覽器，只不過Google Map瀏覽的網頁是HTML格式的文件，而Google Earth瀏覽的是KML的壓縮格式KMZ格式的文件，它們都是通過網絡傳輸的方式傳給用戶的。因為采用的是Ajax技術傳輸的地圖，所以用戶可以方便的再地圖上放大，縮小，移動而不用再次傳輸數據，這就是所謂的異步，它極大地提高了用戶的體驗性。不像同步傳輸，每次設置都得再從網上傳輸數據。但Google Earth和Google Map都有一個共同的缺點它們的內容都是靜態的，或者說是相對靜態的，不會實時更新數據，就像World Wind那樣可以研究颶風或是地震對整個區域的影響。
1.3 Google帶來的影響
總體而言，Google Earth是Google在04年推出的一項跨歷史性的產品，它的出現帶來了GIS（Geographic Information System）和地理信息服務提供的巨大
飛躍，這就像是“鯰魚效應”，在平靜多年的地理界掀起了一個技術和發展的狂潮，所以說Google是偉大的。正如ESRI的創始人兼總裁Jack Dangermond所說的“正是Google打開了我們的世界，GIS行業正在趨於繁榮” [3]。下面就一起來看看Google空間信息服務平台的奇妙吧。
一、 Google Earth（Map）介紹
1.1 Google Earth介紹
在眾多的地理信息服務提供商中，Google是較早提供服務的一個，其他有如ESRI這樣的巨頭，也有中國的靈圖。但憑借著提供優質、高效、高性價比服務的理念和Google自身的巨大影響力，Google推出的Google Earth和Google Map平台已經成為全球影響力最大的互聯網空間信息服務平台。
Google Earth具有十分突出的三個特點[1]，一是可以顯示矢量數據地標，包括點、線、面等幾何類型；二是具有柵格圖像疊加的功能，允許用戶將本機上或從網上下載下來的地圖圖片疊加到Google Earth上,並且可以調整加載圖片的透明度，此功能可以方便用戶進行深入的觀察和分析；三是具有三維虛擬模型，提供了一些城市的三維模型，允許用戶使用三維對象。
Google Earth使用商用衛星相片[2]，主要來自Digital Globe公司的Quick Bird、美國IKONOS及法國SPOTS，高分辨率高。Google Earth只有地球的真彩色數據，但圖層多而詳細、如地勢、邊界、道路、鐵路、水道、地震、火山、學校、教會、公園、加油站、高爾夫球場、犯罪統計…等，北美地區數據比較全。通過影響分層分塊切片組織管理、圖片數據流常數等技術讓用戶瀏覽的高分辨率數據通過網絡實時傳輸。
雖然OGC（Open GeospatialConsortium）組織中有許多已經開始進入地理信息服務提供商中這個角色中，如雅虎、微軟、ERSI、NASA。在中低端市場中Google仍然是一個霸主地位，它有著比其他像Arc Objects、World Wind那樣的平台更加明顯的優勢。那就是他優秀的數據存儲、管理、表現及開發機制。而且它的三個版本個人免費版、Plus版、Pro版為不同的用戶群提供了不同的服務，滿足了各個層次人的需求。Google Earth的API是基於Ajax（Asynchronous JavaScript and XML）的JavaScript API，所以人們可以很容易的利用Google Earth所開源的API進行地圖服務擴展或利用Google Earth所提供的各種信息來開發新的系統和其他的應用。
1.2 Google Earth與Google Map的區別
Google Earth和Google Map用的實際上是同一種數據，只不過是表現形式不一樣而已。Google Earth采用的是Google在04年收購Keyhole的 KML（Keyhole Markup Language）標記語言來描述和保存地理信息，而Google Map則是采用HTML頁面和圖片的形式來表現數據的。如圖1-1所示，我們可以看到其實Google Earth也是像Google Map那樣當個瀏覽器，只不過Google Map瀏覽的網頁是HTML格式的文件，而Google Earth瀏覽的是KML的壓縮格式KMZ格式的文件，它們都是通過網絡傳輸的方式傳給用戶的。因為采用的是Ajax技術傳輸的地圖，所以用戶可以方便的再地圖上放大，縮小，移動而不用再次傳輸數據，這就是所謂的異步，它極大地提高了用戶的體驗性。不像同步傳輸，每次設置都得再從網上傳輸數據。但Google Earth和Google Map都有一個共同的缺點它們的內容都是靜態的，或者說是相對靜態的，不會實時更新數據，就像World Wind那樣可以研究颶風或是地震對整個區域的影響。
1.3 Google帶來的影響
總體而言，Google Earth是Google在04年推出的一項跨歷史性的產品，它的出現帶來了GIS（Geographic Information System）和地理信息服務提供的巨大
飛躍，這就像是“鯰魚效應”，在平靜多年的地理界掀起了一個技術和發展的狂潮，所以說Google是偉大的。正如ESRI的創始人兼總裁Jack Dangermond所說的“正是Google打開了我們的世界，GIS行業正在趨於繁榮” [3]。下面就一起來看看Google空間信息服務平台的奇妙吧。
| 分享: |
 分享到微信
|
文章評論
| webdriver | Re: ZT: Google Earth數據存儲、管理、表現及開發機制 2014-10-21 22:46:24 | 引用 |
| Re: ZT: Google Earth數據存儲、管理、表現及開發機制 三、 Google的表現和開發
3.1 Web2.0介紹 一般來說Web2.0 是相對Web1.0 的新的一類互聯網應用的統稱[13]。Web1.0 的主要特點在於用戶通過瀏覽器獲取信息。Web2.0 則更注重用戶的交互作用，用戶既是網站內容的瀏覽者，也是網站內容的制造者。所謂網站內容的制造者是說互聯網上的每一個用戶不再僅僅是互聯網的讀者，同時也成為互聯網的作者；不再僅僅是在互聯網上沖浪，同時也成為波浪制造者;在模式上由單純的“讀”向“寫”以及“共同建設”發展；由被動地接收互聯網信息向主動創造互聯網信息發展，從而更加人性化！ Google采用了web2.0的許多相關技術來表現和展示數據給用戶。Web2.0可以利用更多的元數據來提高網頁緩存和其他方面的效率，提高網頁加載的利用率[14]。 Web2.0提高用戶的瀏覽速度主要表現在Ajax技術上[15]還有它的mash-up技術[16]。 3.2 Ajax技術應用 Ajax之父Jesse James Garrett在2005.2.18發表的文章寫道：Ajax不是一項技術，它是幾種各自發展的技術的有力集合，Ajax包括：使用XHTML與CSS（Cascading Style Sheets）來組織頁面；使用DOM（Document Object Model）進行動態顯示與交互；使用XML and XSLT進行數據交換與操作；使用XMLHttpRequest進行異步數據傳輸；使用JavaScript將所有這些綁在一起[17]。 Google桌面信息平台的客戶端采用了Ajax，實現了數據在網絡上的異步傳輸，避免了每次提交都要重復刷新整個頁面，提高了下載速度，因為用戶與Ajax引擎的互動和Ajax引擎與服務器的互動被分離開來，用戶可以幾乎無等待的進行自己的各種動作，提供給用戶更為友好的界面和極大改善了用戶的體驗。 基於Ajax技術，客戶端可以與服務器進行異步多線程的數據交互[19]。Google的地圖分塊技術就是充分的利用了這點，有Ajax引擎負責這些地圖方塊的無縫拼接、整體移動和地圖填充。當用戶做出一定的地圖動作時，Ajax引擎根據一定的算法計算出需要新加載的小塊地圖，並異步多線程的向服務器發出請求。最後，當地圖貼片傳回用戶端時，再由Ajax引擎無刷新的無縫拼接成用戶瀏覽器界面中的大地圖。並且，利用瀏覽器緩存，如果已經取得該小塊地圖，下次使用時則不用向服務器再次請求，直接利用緩存中的圖片就可。這使得當回到以前曾經訪問過的地圖時，顯示速度非常快。 3.3 Mashup技術應用 Mashup是一種交互式Web應有程序[19]，它利用外部數據源檢索到得內容來創建全新的創新服務。它是將多種web應有給糅合在一起為用戶提供服務，搜集大量有關事務和行為的數據，具有位置注釋信息。由右圖可以看得出基於電子地圖的Mashup所占的市場份兒最多。 Mashup發展的一種主要動力就是Google公開了自己的Google Maps API。這讓web開發人員可以再地圖中包涵所有類型的數據。而Google Map也把這種Mashup用到了極致，在Google Map上，你可以看到自己周圍的建築物照片，可以看到哪兒有市場賣東西，還可以看到達目的所要走的路線，可以查到每一條公交線路。讓用戶感到十分的方便，舒心。 3.4 KML語言的使用 另外Google Earth數據的導入與導出是有KML實現的[22]，KML是Google Earth上的一種數據交換格式，它是一種基於XML語法與文件格式的文件。他可以描述與保存Google Earth中所有的地理信息類型，如點、線、多段線、面、圖片等。 Google Earth中的地圖數據是以KML格式來保存與交換的。在Google Earth中不論是地理基礎數據還是企業自有數據，都是用以下6種方式來表達的：點、線／折線、多邊形／立體多邊形、種表達方式，可實現不同的表示效果。 在2007年春季[23]，Google向OGC遞交了Google Earth所使用的KML2.1，以期獲得批准，是KML成為一個OGC標准。不久之後，OGC將KML認定為最優辦法，並將其整合到現有的地理標識語音GML中。OGC將負責維護和擴展這個標准。 Google一腳KML技術的擁有權反映了Google致力於開發標准的決心。從根本上說，Google的興趣不是要控制信息，而是鼓勵普及信息。事實上，通過使KML文件成為一個國際性標准，能夠與其他的GIS數據格式交換和共享信息，為Google空間信息平台滲入其他GIS平台掃清一個巨大的障礙。 2014-10-21 22:49:10 | 引用 |
webdriver |
| webdriver | Re: ZT: Google Earth數據存儲、管理、表現及開發機制 四、 總結
本文只是介紹了Google數據存儲、管理、表現及開發機制的一部分，Google Earth與Google Map另外中還有許多的技術和創新沒有說明。Google Earth和Google Map在中國也有一些重要的功能沒有實現，如Geocoding，地址查詢經緯度，這對於開發基於GIS的應用系統十分的重要，不過中國已經有許許多多聰明的廠商們解決了這個問題，具有代表性的是北京靈圖公司的51map。中國還有許多網絡巨頭也進入了地理信息服務供應商的行列，如百度，搜狗等。希望他們能再接再厲，做的更好，為中國的GIS明天做出更大的貢獻。 2014-10-21 22:49:48 | 引用 |
| Re: ZT: Google Earth數據存儲、管理、表現及開發機制 參考文獻：
[1][2]http://wenda.tianya.cn/wenda/thread?tid=29317d1eb7390946 天涯問答 [3] 《3S新聞周刊》: Google VS ESRI home.donews.com/donews...95043.html [4] Google地球用戶指南 earth.google.com/intl/...g_toc.html [5] Google Maps地圖投影全解析http://tieba.baidu.com/f?kz=567477212 [6] 再議瓦片地圖(Tile Map) -- 公眾地圖服務框架模式 www.cnblogs.com/charmd...13948.html [7] hiphotos.baidu.com/lio...2e219a.jpg [8] 《信息服務平台策略、原理與應用研究》華東師范大學劉琳業碩士論文 [9] hiphotos.baidu.com/lio...8da59b.jpg [10]http://www.lesjones.com/posts/001733.shtml Les Jones: HowGoogle Maps Works [11]http://jgwebber.blogspot.com/2005/02/mapping-google.html HOW GOOGLE MAPSWORK Posted by Charles Cook [12] 《搜索引擎google、baidu數據存儲方式》 nneverwei.javaeye.com [13] 百度百科http://baike.baidu.com/view/733.htm?fr=ala0 [14] PhillipaGill,Martin Arlitt et al. 2007. YouTube Traffic Characterization:A View From the Edge. Proceedings of the 7th ACM SIGCOMMconference on Internet measurement. (San Diego, CA,USA, October 24-26, 2007). IMC’07. ACM Press, NewYork, NY. 15 – 28. DOI=http://doi.acm.org/10.1145/1298306.1298310 [15] FabianSchneider, Sachin Agarwal, et al. 2008. The New Web:Characterizing AJAX Traffic. Proceedings of the 9th InternationalConference on Passive and Active Network Measurement.PAM’08. Springer Berlin / Heidelberg. 4979: 31-40. [16] Web 2.0Traffic Measurement – Analysis on Online Map Applications Song LinTsinghua National Laboratory for IBM China Research Lab Tsinghua NationalLaboratory for Ke XuInformation Science and Technology Beijing, China Information Science andTechnology Zhiguo GaoDepartment of Computer Science Department of Computer Science [17] 《AJAX：A New Approach to Web Applications》 Jesse James Garrett [18][19] 《基於AJAX的Internet地圖服務方法初探》 唐中實，朱賢澤，饒順斌 清華大學土木工程系3S中心 [20] www.ibm.com/developerw...shups.html Duane Merrill (duane@duanemerrill.com), 自由作家, Freelance [21]http://www.programmableweb.com/mashups Mashup Dashboard [22] 《KML在Google+Earth開發中的應用》 十屆海洋測繪綜合性學術研討會論文集 陳惠榮，李樹軍，鄭義東 [23]《信息服務平台策略、原理與應用研究》華東師范大學劉琳業碩士論文 2014-10-21 22:50:06 | 引用 |
webdriver |
| nessus | 無題 跟人感覺現在新版的google map界面很不友好。我要找的功能總是找不到！！
2014-10-23 14:55:35 | 引用 |
2.1 Google的投影方式
Google Map采用的是墨卡托投影[5] ，
即等角正軸圓柱投影，但它不是將地球模擬為橢球體，而是圓球體。采用墨卡托投影能夠保證南北（緯線）和東西（經線）都是平行直線，並且相互垂直。而且經線間隔是相同的，緯線間隔從標准緯線（此處是赤道，也可能是其他緯線）向兩級逐漸增大。所以能使Google在計算人們查詢地物的方向時不會出錯。
2.2 Google的影像分割
Google Map的圖片組織方式是地圖瓦片金字塔（Tile Map Image），首先預生成規矩的瓦片地圖存儲於硬盤目錄下，地圖以鏈接圖片的方式快速定制。傳統的WebGIS是實時請求地圖服務器傳輸地圖的，反應了地圖的現勢性。TMI方式的地圖響應要比傳統的具有更加明顯的優勢，不僅表現在響應速度方面，還有地圖服務器的負載方面。[7]
Google的地圖分為三大類，即普通地圖、衛星地圖以及合成地圖，其中合成地圖有由衛星地圖和底色透明的普通地圖疊加而成。每塊地圖的URL格式為[8]:
普通地圖
mt1.google.com/mt?n=40...y=?&zoom=?
衛星地圖
kh.google.com/kh?n=404&v=13&t=?
合成地圖
mt1.google.com/mt?n=40...&y=?zoom=?
其中x表示經度方向圖片編號，y表示緯度方向圖片編號，x、y的取值范圍0-217-zoom。
Zoom為縮放因子，其范圍大於等於0小於等於17，這是由Google公司所確定的影像層級。
2.3 Google的數據管理
Google地圖采用兩種不同的算法對影像塊的位置進行編碼[10][11]。對地圖數據而言，獲取摸個地圖塊URL的例子為：
mt1.google.com/mt?n=40...&y=93&zoom 。當zoom等於17時，整個地球的影像將會顯示在一個地圖塊內，此時x=y=0，每當縮放因子減少1時，每個地圖塊將再次被分割成4小塊。
對影像數據而言，URL具有一定的差別,如
kh0.google.com/kh?n=40...8&t=trtqtt 。其中參數t用來表示編碼影像塊的位置，而次參數的長度則表示縮放因子的級別。在觀察全球影像時，參數t的值為t，此時只有一個影像塊。在下一級縮放因子處，全球影像被分成4個象限，按順時鍾方向從左上開始，其編碼分別為tq、tr、ts、tt。
無論對地圖數據還是影像數據，Google各使用4台服務器來進行負載平衡。對地圖數據而言，4台地圖服務器的名稱分別為mt0、mt1、mt2和mt3；而對影像數據而言，4台地圖服務器的名稱分別為kh0、kh1、kh2和kh3。可以打開http://ditu.google.cn/谷歌中國地圖的源代碼看看，可以看到http://mt0.gmaptiles.co.kr/mt/v=kr1.11\x26hl=zh-CN\x26gl=cn\x26 這樣的uris。
但是Google的大量的圖形數據是如何存儲的呢？一直讓人感覺很神秘。Google的存儲為GFS(Google file system)分布式存儲文件系統[12]，多讀少寫的數據如大索引文件，Google Map地圖文件，靜態網頁等采用分布式表（bigtable）來存儲，bigtable是一種弱關系型存儲系統，建立在GFS之上，字段並不滿足關系數據庫范式中的原子性等，而是根據時間戳來存儲單個數據的多版本，分為列簇(column family)，可把一系列相關的列定義為一個列簇。GFS的數據存儲是分塊(block) 存儲的，一個文件被分成64M/block的若幹塊，可同時往多個數據服務器插入，而下載時，可同時從多個數據服務器拿一個文件的不同部分，這就提高了數據的吞吐效率。
此外GFS的文件采用分段壓縮機制，即若幹block作為一個壓縮單元進行壓縮，而非整個文件進行全壓縮，這樣可以在讀取文件時邊讀邊解壓縮。bigtable中也可以建立列的索引，理想情況下一次I/O預先加載索引，然後再一次I/O定位磁盤中的數據，然後作順序讀來載入數據。這樣比一般關系數據庫的載入速度要快。