[무역|3|Plotly] 자전거 수출입과 일상의 데이터 - 공간데이터 시각화 Plotly (1부)

[무역|3|Plotly] 자전거 수출입과 일상의 데이터 - 공간데이터 시각화 Plotly (1부)

 

 

이번에는 matplotlib이 아닌 Plotly를 사용한 시각화를 해보겠습니다.

 

 

 

Plotly 엿보기에 앞서.

 

 

먼저 Plotly의 Graphing Libraries 페이지 링크를 걸어 놓겠습니다.

 

링크 : Plotly Python Open Source Graphing Library

 

 

 

 Plotly도 matplotlib과 같은 시각화 도구의 일종입니다. 

 

 다른 포스팅들을 통해서 matplotlib 뿐만 아니라, 이번과 같이 plotly, seaborn과 같은 여타 시각화 도구도 함께 다뤄 보고자 합니다. 

 표현하고자 하는 plot의 형태가 각 시각화 도구마다 특징을 조금씩 달리 하고 있는 점이 있기 때문에, 사용자의 취향의 차이를 여러 시각화 도구를 함께 사용해 봄으로서 만족시켜 줄 수 있으리라 생각 됩니다.

 

 제 주분야인 무역/통관분야 데이터를 살펴 보는데 있어서, 이러한 다양한 시각화 도구가 반드시 필요한 것은 아닙니다. 하지만, 여러 도구를 익혀 두면 제 주분야에서 응용해 사용 가능하겠다 싶은 다양한 프로그램에 대한 아이디어가 절로 샘 솟는 것이 느껴 집니다. 

 

 이미 빅데이터 분석 등 개발자의 길을 걷고 계신 독자분께서 제 글을 보신다면 아마추어의 취미글 정도로 보이시리라 생각 됩니다. 저도 그렇게 생각 합니다. 

 

 하지만, IT전공이 아니고 IT 관련 학원 한번 다닌 적 없는 저 같이 전혀 다른 분야에서 직업을 가지고 있는 사람에겐 파이썬이라는 도구는 마치 하늘을 날 수 있도록 해주는 날개와 같이 느껴집니다. 파이썬이 갖고 있는 초보자 친화적인 문법과 개발 확장이 쉬운 방대한 라이브러리를 지원하는 특징들을 잘 활용한다면 IT가 본업이 아닌 별도의 자기 분야를 가진 독자분들에게는 자기 분야에서의 매우 좋은 활용 도구가 된다고 생각합니다.

 

 각 분야의 이해도가 높은 분들이 직접 개발하는 프로그램은 그 업무 효율성과 개발논리가 이미 높은 수준으로 알고리즘에 녹여져 들어갈 수밖에 없겠지요. 저 또한 제 주분야인 무역/통관분야에서의 파이썬 활용이 현재도 많은 도움을 주고 있기 때문에, 파이썬과 관련한 공부라면 게을리 할 수가 없게 됨을 느낍니다.   :-)   

 

 

 저도 Plotly는 새롭게 익혀가야 하기 때문에, Plotly의 Graphing libraries에서 제공하는 예제문을 자주 인용해서 사용하게 될 것 같습니다. 하지만, 우리는 공공데이터포털의 실용예제를 데이터로 사용할 것이기 때문에, 때때로 예제문을 응용하는 과정도 있으리라 봅니다. 독자님들과 그 과정을 함께 하며, 배워나가도록 하겠습니다.

 

 

 그럼 우리의 주제 데이터를 취해 보겠습니다.

 

 

 

 

 

 

 

공공데이터포털 표준데이터 수집 (Data Mining & Refining) - 자전거 

 

 

 공공데이터포털에서 데이터찾기 카테고리로 이동합니다. 검색어는 '자전거'로 하여 검색해 보겠습니다.

 

 

 

 

 다양한 데이터가 있는데, 이번에는 표준데이터로 분류된 카테고리의 데이터를 활용해 보겠습니다.

 

 표준데이터탭으로 이동하시면 아래의 검색결과가 보이실 겁니다.

 

 

 

클릭해서 들어가 보시겠습니다. 이 표준데이터의 설명을 좀 보시겠습니다.

 

전국 자전거대여소 정보(자전거이용요금, 운영시간, 대여소위치 등)를 제공합니다. 공공데이터 개방 표준데이터 속성정보(표현형식/단위 등)는 [공공데이터 개방 표준]고시를 참고하시기 바랍니다.(게시판>자료실>법령&지침) 전국표준데이터는 각 기관에서 등록한 표준데이터를 취합하여 제공합니다. 표준데이터의 갱신주기는 개별 파일마다 다릅니다.(기관에서 등록한 데이터를 취합한 것으로 개별 파일별 갱신시점이 다름) 전국표준데이터의 취합시점은 월말 일괄 취합됩니다.

 표준데이터라고 따로 용어를 주어 데이터를 제공하고 있습니다. '자전거 대여소'에 대한 데이터이지만, 그 지역의 데이터를 취합하는 사람은 각 자치단체/기관별로 다 다릅니다. 그 분들께서 수집하는 데이터항목이나 데이터표시형식이 상이하면 전국데이터를 활용코자 이 raw data에 접근하는 분들은 각 자치단체/기관별로 항목의 상이함이나 데이터표시형식을 수정한 후 데이터 가공을 시작해야 합니다. 굉장히 소모적인 작업이 되겠지요. 따라서, 항목이나 표시형식의 표준화를 하여 각 지역 담당자가 데이터를 수집하여 제출하면 중앙의 관리자가 이 데이터를 전국표준데이터라 칭하여 이 카테고리에 집어 넣고 있다는 설명입니다. 갱신 주기는 각 지역 담당자의 갱신주기에 따르지만 전국표준데이터의 취합시점은 월말로 하고 있다는 것입니다.

 

 

 

 

 

 

 조금 더 스크롤 하여 그 아래로 이동해 보겠습니다.
 

 데이터목록이 보이시는데요. 파일데이터들이 각 자치단체별로 올라와 있는 것이 확인됩니다. 이 파일들을 공공데이터포털의 관리자이든 누구든 월말에 정보를 취합하는데, 각 파일들의 갱신주기는 각 기관의 주기를 따르기 때문에, 각 지역별로 자전거대여소 정보에 대한 데이터 취합시기가 조금 상이하게 나타날 수 있는 점은 감안할 부분입니다. 하지만, 자전거 대여소가 하루아침에 만들어지거나 없어지는게 아니니 월에 한번 취합이라면 꽤나 신뢰도 높은 데이터는 될 것입니다.

  이제 더 아래를 보시겠습니다.
 

 그리드탭이 보입니다. 
 이 그리드탭을 통해 전국 취합 데이터를 한번에 받으실 수 있게 되어 있네요. 다운로드할 때 확장자명도 선택할 수 있도록 되어 있습니다.

 우리는 다른 조회조건 선택 없이 전국의 자전거대여소 정보를 CSV형식으로 다운로드 받아보도록 하겠습니다.

 단순히 CSV 버튼만 누르시면 다운로드가 바로 시작됩니다. 

 이 파일을 우리가 데이터를 가공하는 폴더에 저장해서 사용할 것입니다.

 

 그 옆 API 탭도 보이네요.
 API를 활용하면 별도의 다운로드 과정 없이 가장 최신의 데이터를 개발한 알고리즘을 돌릴 때 바로 데이터 갱신을 할 수 있습니다. API를 사용한 방법은 다른 포스팅을 통해 살펴 보도록 하고 넘어 가겠습니다.


 이제 다운로드 받은 파일을 열어 보실까요.
 총 21개 데이터항목이 있고, 행의 개수는 총 1048개인 CSV파일이 다운로드 되었습니다.

 표준데이터는 이미 항목의 표시형식등을 통일시켜 놓았기 때문에, 실질적으로 Data Refining 과정이 필요 없어집니다. 우리의 목적에 맞추어 데이터를 다시 걸러야 할 경우 또는 데이터 표시에 오류가 확인된 경우에만 실행하시면 되겠습니다.
  이제 raw data가 확보 되었습니다. 
 2부에서는 이 raw data를 가지고 plotly 코드를 통해 지도에 시각화를 이어 진행하도록 하겠습니다.



 (2부에 계속..)

 

 

NPU(엔피유) 관세사무소

대표관세사 고장주

Tel) 031-986-7190

E-mail) sales@npucus.com

[NPU관세사무소 프로모션 페이지] https://www.tradenpu.com/npu_cus/

[무역비지니스 인텔리전스 서비스 | TradeNPU] https://www.tradenpu.com​

[파이썬 실용 예제. 무역과 공공데이터] https://pdatinmylife.tistory.com

​

Certified Customs Broker JangJu Goh

Executive Customs Broker @ NPU Customs Consulting

CEO @ JG TradePlus

​

sales@npucus.com

Trade Compliance / Customs clearance management at foreign company

Working experience of Air export freight forwarding

Data Visualization / Independent development of business automation application – copyright of JGPO_Manager, JG Data Center, AutoCC and etc.

B2B consignment & direct export/import, B2C Overseas Buying Office consulting

Alibaba.com B2B trade / taobao B2C trade / Amazon.com global selling etc. Online trade regulation consulting.

Import license / Quarantine

English communication available

​

[TradeNPU for partnership proposal - JGTP] https://www.tradenpu.com/jgtp/