[무역|5|API] 니트릴장갑 수출입 - 공공데이터포털 API 활용 (1부)

[무역|5|API] 니트릴장갑 수출입 - 공공데이터포털 API 활용 (1부)

 

 

 그 동안의 주제를 통해서 Data Mining & Refining - Data processing - Data Visualization의 단계별로 활용가능한 python 라이브러리들과 도구, 링크들을 몇가지씩 살펴 보았습니다. 간단히 정리하면 다음과 같습니다. 

 

 1) Data Mining & Refining - 공공데이터포털, pandas, python 기본문법

 2) Data processing - pandas, python 기본문법

 3) Data Visualization - matplotlib, plotly(공간데이터 시각화 포함)

 

 pandas는 자주 사용되는 메소드들의 대부분을 다루었습니다. 이 전 포스팅에서 다룬 정도만 숙달하셔도 실제 data refining 이나 data processing을 진행하시는데 무리가 없게 활용이 가능하십니다. 실무에서 데이터 가공은 대부분 그 정도 연산 안에서 일어나는 수준이니까요. 수학적, 통계적, 학문적 접근이 필요하신 분들은 여전히 다양한 종류의 수학공식을 다루실 수 있겠지만 그건 학문의 영역입니다. 기업 실무선에서 당장 활용하기에는 이 정도도 충분하리라 봅니다.

 

 마찬가지로 matplotlib이나 plotly같은 경우엔 이제 수박 겉핡기 정도 한 수준입니다. 하지만, 이 정도만 숙달하셔도 다른 무수한 plot활용법들은 공식문서를 참조해 충분히 활용 가능하시리라 생각합니다.

 

 

 이미 접해본 위와 같은 라이브러리들이야 계속해서 다른 주제를 다루면서 추가적인 활용법들을 계속 소개해 나갈 것입니다. 하지만, 지금껏 가장 취약하게 처리하고 넘어 갔던 영역이 있습니다. 

 

 

 바로, 데이터 수집(Data Mining)인데요. 

 

 

 공공데이터포털에서는 다루어 볼만한 다양한 예제가 포맷까지 우리에게 익숙한 엑셀과 같은 형태로 다운로드 되기 때문에 파이썬의 학습 차원에서는 충분하였습니다. 그러나, 이제 파이썬이 이미 익숙해지신 분들 입장에서는 '나만의 프로그램을 개발하고 싶다'는 욕구가 생겨나실 겁니다. 왜냐면, 제가 그러한 욕구를 이 정도 즈음에서 느꼈었기 때문입니다. 게다가, 여러 라이브러리의 사용법과 python 문법에 익숙해 지면 질수록 그러한 욕구가 더욱 강해지는게 느껴집니다. 

 

 그런 욕구를 충족시키기 위해서는 취약한 부분에 대한 보강작업이 필요합니다. 하여, 금번 '니트릴장갑의 수출입'주제를 통해서 데이터가공과 시각화는 기존 코드를 이용하여 간단히 보는 것으로 하고, 공공데이터포털 API 활용을 통한 Data Mining에 대해서 좀 더 중점적으로 다루어 보겠습니다. 

  

 

공공데이터포털 API 활용의 장점

 

 

 그럼 공공데이터포털로 이동해 보겠습니다.

 

 링크 클릭으로 이동하신 후 '이용안내-공공데이터 이용가이드' 카테고리로 이동하시겠습니다.

 

 그리고 '공공데이터 활용방법' 탭을 눌러 보시겠습니다.

 

 

 

 

 오픈API 소개가 나오네요.

 

 해당 사이트의 오픈API 소개에 대해 아래와 같이 인용해 보겠습니다.

 

오픈API 소개

오픈API란 누구나 사용할 수 있도록 공개된 API를 말합니다. 데이터를 표준화하고 프로그래밍해 외부 소프트웨어 개발자나 사용자들과 공유하는 프로그램입니다. 개방된 오픈API를 이용해 다양하고 재미있는 서비스나 애플리케이션, 다양한 형태의 플랫폼을 개발할 수 있습니다.
*API란? Application Programming Interface의 약자로 응용 프로그램 프로그래밍 인터페이스를 말합니다. 다양한 응용 프로그램에 사용할 수 있는 운영 체제, 혹은 프로그래밍 언어가 제공하는 기능을 제어할 수 있게 만든 인터페이스입니다.

TIP! 유용하게 사용하는 법!

• 업데이트가 빈번하고 이용자가 많은 대용량 데이터를 제공해야 할 때, 공공데이터 포털을 통한 계정 발급 필요할 때 사용할 수 있어요.
• 날씨나 교통 정보 등 실시간 업데이트되는 데이터를 제공 받을 수 있고, 소프트웨어 개발자나 사용자들이 쉽게 활용할 수 있어 개발 비용 절감, 개발 기간 단축 등 다양한 장점이 있어요.

 정말 간단하게 잘 요약되어 있습니다. 

 

 제가 구글링을 통해 전문적인 글을 요약하는 것보다 소개의 이 정도 내용만 이해하고 넘어가도 좋을 것 같습니다. 

 

 이 요약을 통해 본다면 오픈API는 데이터를 표준화하고 프로그래밍 전처리를 하여 두어서, 이러한 데이터나 프로그래밍을 활용해 2차적인 프로그래밍에 의한 서비스, 애플리케이션 개발을 할 수 있도록 라이선스상 큰 제약없이 대중에 공개한 기능제어 인터페이스 라는 것입니다.

 

 그렇다면 오픈API를 쓰면 좋은 것이 무엇이 있을까요? 

 

 Tip에서 언급된 것처럼, 업데이트가 빈번한 데이터나 대용량 데이터를 다룰 때 유용합니다. 

 

 기존의 다운로드 방식은 1) 다운로드를 위한 수작업을 요하고, 2) 로컬컴퓨터의 저장공간 리소스 사용이 필요합니다. 

 

 

 '빅데이터'라는 용어는 슈퍼컴퓨터 한대로도 처리하기 어려운 수준의 방대한 데이터를 칭할 때 쓰입니다. 우리가 그런 데이터를 일상 생활에 사용할 일은 매우 흔치 않습니다. 대부분 로컬컴퓨터의 리소스로도 감당이 됩니다. 

 

 하지만, 실생활에서 500 mb 짜리 엑셀파일 같은 걸 다루어야 한다면 어떨까요? MS 엑셀의 한계성 때문에 엑셀파일이 500메가 짜리가 생성되는 것 자체가 거의 있을 수 없는 일입니다. 용량이 큰 사진파일들을 잔뜩 담아두었다면 모를까 데이터만으로는 채우기가 힘든 용량이지요. 상당히 큰 파일을 자료 보존의 정책이 있을 경우 지속 보관해야 하는 부담이 있습니다.

 

 용량은 차치하고라도 대용량 엑셀파일을 다루어야 하는데, 업데이트는 1시간에 한번씩 되는 파일이라면 어떨까요? 실시간 정보가 중요한 사용자 요구를 충족시켜야하는 데이터라면 다운로드를 1시간에 한번씩 수작업으로 받아야 합니다. 다운 받는데도 시간이 걸립니다.

 

 

 그런데, 오픈API를 활용하면 그러한 제약이 해결됩니다. 

 

 실시간으로 업데이트되는 자료를 우리의 로컬컴퓨터에 저장할 필요 없이, 일정 코드를 통해 언제든지 수집할 수 있습니다. 공공데이터는 통상 공공기관의 관측장비, 공공기물 등을 통해 자동으로 또는 유관부서 담당자를 통해 수동으로 수집되기 때문에 업데이트 주기가 매우 잦거나 예측할 수 없는 때에 일어납니다. 이러한 부분을 보완하여 줄 수 있는 것이 API입니다.

 

 필자도 다운로드의 과정이 어렵다는 생각은 하지 않습니다. 

 

 하지만, 오픈API를 쓰면 1) 현재 보는 데이터가 최신이라는 부분을 사용자에게 보장할 수 있고, 2) 다운로드의 수작업마저도 생략할 수 있어 유지관리가 쉽다는 점 때문에 앞으로 적극 사용하려고 합니다. 

 

 한번 짜둔 parsing 코드면 자료의 특성에 맞추어 일부만 수정하고 다시 재활용할 수 있습니다.

 

 이 점을 감안하여 오픈API를 활용신청할 거구요. 독자님들께서도 다소 생소하지만 여러사람이 이용할 프로그램을 개발할 계획을 갖고 계시다면 활용해 해보시길 권장 드립니다.

 

 

 그럼 다음 포스팅에서 공공데이터포털 활용신청의 단계별 설명을 이어가도록 하겠습니다.

 

 

 (2부에서 계속..)

 

 

 

NPU(엔피유) 관세사무소

대표관세사 고장주

Tel) 031-986-7190

E-mail) sales@npucus.com

[NPU관세사무소 프로모션 페이지] https://www.tradenpu.com/npu_cus/

[무역비지니스 인텔리전스 서비스 | TradeNPU] https://www.tradenpu.com​

[파이썬 실용 예제. 무역과 공공데이터] https://pdatinmylife.tistory.com

​

Certified Customs Broker JangJu Goh

Executive Customs Broker @ NPU Customs Consulting

CEO @ JG TradePlus

​

sales@npucus.com

Trade Compliance / Customs clearance management at foreign company

Working experience of Air export freight forwarding

Data Visualization / Independent development of business automation application – copyright of JGPO_Manager, JG Data Center, AutoCC and etc.

B2B consignment & direct export/import, B2C Overseas Buying Office consulting

Alibaba.com B2B trade / taobao B2C trade / Amazon.com global selling etc. Online trade regulation consulting.

Import license / Quarantine

English communication available

​

[TradeNPU for partnership proposal - JGTP] https://www.tradenpu.com/jgtp/