초고속 웹스크래핑 서비스 해시스크래퍼

많은 기업들은 디지털 환경에 파편화된 데이터를 수집·분석하는데 집중하고 있다. 저마다의 사업에 관련된 의사결정을 위해, 혹은 고객군의 니즈를 파악하기 위해서 등 목적는 다양하다. 이와 같은 현상은 코로나19 팬데믹을 거치며 화두가 된 디지털 전환의 큰 물결 속에서 가속화되고 있다.하지만 데이터 확보는 여전히 쉬운 문제가 아니다. 수많은 이용자를 확보하고 있는 소셜네트워크서비스를 비롯해 무수히 많은 사이트들은 개인정보보호 강화를 요구 받고 있고, 이전까지 자유롭게 공유됐던 서드파티쿠키 지원 중단을 정책으로 내세우고 있다.결과적으로 이러한 환경 변화는 디지털 환경 속 개인화된 마케팅이 중요해지는 상황에서 기업들에게 적잖은 걸림돌로 작용하고 있다. 고객의 성향을 파악하는 첫 단계인 데이터 획득에서부터 벽을 만나게 되는 것이다. 이에 각 기업 및 마케팅 에이전시 등은 다양한 방식으로 자체 데이터와 고객의 성향을 간접적으로 파악할 수 있는 부가 데이터 등을 결합해 타깃팅의 정확도를 높이고자 노력하고 있다. 하지만 역시 기본적으로 정밀한 타깃팅을 위해 필요한 것은 충분한 데이터 확보라는 사실은 변함이 없다.그러한 상황에서 해시스크래퍼는 사명과 동일한 솔루션을 선보이며 기업들의 니즈에 부응하고 있다. 해시스크래퍼는 웹페이지에서 한 번의 클릭만으로 데이터를 수집할 수 있다. IP차단 회피, 프록시, 캡챠(보안문자) 우회를 비롯해 대량의 클라우드 서버를 통해 빅데이터 수집이 가능한 모든 솔루션을 제공한다.이러한 해시스크래퍼의 기술은 AI 기반 자연어처리 및 이미지 분석을 통해 국내외 5000여개가 넘는 사이트에서 데이터를 수집하고, 이를 다시 고객 기업이 원하는 방식으로 커스텀해주는 유지보수까지 포함된다. 한마디로 해시스크래퍼는 정제된 데이터를 안정적으로 공급해주는 솔루션인 셈이다.이를 통해 기업들은 시장 내 제품 및 서비스와 관련된 데이터를 수집은 물론 이슈 키워드 및 콘텐츠 레퍼런스, 마케팅 결과 및 여론·평판, 자사 및 브랜드의 VOC(Voice Of Customer) 등을 수집·분석할 수 있다. 이는 경쟁사 데이터도 예외가 아니다.창업 5년여의 스타트업이 이와 같이 막강한 기술력을 쌓고 이제 국내를 넘어 이제 일본과 미국, 유럽 시장 공략을 준비할 수 있었던 비결은 무엇일까? 서울핀테크랩에 위치한 해시스크래퍼 사무실에서 진행된 김경호 대표와의 인터뷰는 그런 호기심으로 시작됐다.2018년 해시스크래퍼를 창업한 김경호 대표는 데이터수집 분야에서 20년 이상 노하우를 쌓아온 전문가다. 그 중 7년가량은 1인 기업으로 삼성, 렉서스, 현대카드, 두산로보틱스 등 다양한 기업의 대형 개발 프로젝트에 참여하기도 했다. 그렇게 여러 기업에서 성과를 내던 그는 토종 OTT 기업인 왓챠의 초기 멤버로서 활약하기도 했다. 그런 김 대표에게 처음 개발에 관심을 가졌던 순간을 물었다. 기억을 더듬던 김 대표가 꺼낸 첫 마디는 애플의 ‘알파벳e’ 컴퓨터였다.“열 살 무렵에 100권 정도의 컴퓨터 잡지와 아주 오래된 애플 컴퓨터인 ‘알파벳e’를 받게 됐어요. 그걸 가지고 그 안에 있는 게임 소스코드를 따라 치면서 무심결에 처음 코딩을 접했죠. 이후에는 학원을 다니며 대회 수상을 하기도 했고 자연스레 컴퓨터공학을 전공하게 됐어요. 그러다 보니 코딩이나 프로그램이 어느새 제 천직이 됐네요.”업계에서 다양한 경험을 쌓은 김 대표가 변화를 감지한 것은 O2O(online to offline) 플랫폼 서비스들이 등장할 즈음이었다. 플랫폼 서비스의 등장과 함께 기업들로부터 데이터 수집 요구가 급증했기 때문이다. 당시에는 디지털화된 데이터가 많지 않아 기업들이 자체적으로 투자를 해 데이터를 확보하던 시기이기도 했다. 김 대표는 이러한 흐름을 경험하며 ‘데이터 수집과 분석의 시스템화’를 떠올렸다.“데이터 수집과 분석을 하는 솔루션을 만들어야겠다고 생각했는데, 1인 기업으로는 한계가 있었어요. 대기업 등의 프로젝트를 맡기 위해서는 법인이 필요하기도 했고요. 이미 현대카드나 옐로모바일 등과 PoC(개념검증)까지 마친 상황에서 본격적으로 시작해도 되겠다 싶어 해시스크래퍼를 창업하게 된 거죠.”해시스크래퍼 기술의 핵심은 차별화된 ‘웹크롤링’이다. 웹크롤링은 이미 데이터를 수집하는 보편적인 기술로 알려져 있지만, 문제는 각 사이트들의 보안 시스템과 IP 차단으로 인해 안정적인 데이터 수집이 쉽지 않다는 점이다. 해시스크래퍼의 웹크롤링 서비스는 이 부분에 집중했다.“기업들은 안정적으로 꾸준히 데이터를 확보하기를 원해요. 또 정확성도 중요하죠. 그런 부분에서 있어서 저희는 클라우드 서버를 기반으로 IP차단을 회피하는 기술을 지속적으로 개발하며 서비스하고 있어요. 관건은 유지 보수죠. 경우에 따라 수십개 혹은 수백개의 사이트를 크롤링하기도 하는데, 이 부분이 꽤 까다롭고 각 기업 내부 개발자들이 모두 소화하기는 쉽지 않죠. 저희는 이런 유지보수에도 특화된 전문성을 보유하고 있다는 것이 경쟁력입니다.”즉 현재 SaaS(서비스형 소프트웨어) 형식으로 제공되고 있는 해시스크래퍼 솔루션은 기업 고객의 요청에 의해 경우에 따라 유지보수도 추가되는 방식으로 서비스되고 있다는 말이다. 문제는 이러한 커스텀 서비스의 비중이 커질수록 솔루션 기업으로서 스케일업은 어려워지게 된다는 점이다. 김 대표 역시 이를 해결하기 위해 자동화에 집중하고 있다. 목표는 10명이 필요한 일을 1명이 해결할 수 있는 수준의 자동화다.해시스크래퍼의 기술 분야는 AI도 아우르고 있다. 데이터 수집을 넘어 분석과 가공에도 기업들의 니즈가 적지 않기 때문이다. 김 대표는 “AI 기술을 적극적으로 활용해 크롤러를 만들고 유지·보수하는데 있어 자동화를 많이 이뤄내고 있다”며 말을 이어갔다.“AI기술을 도입해 자동화하면 할수록 저희 역시 비용을 줄일 수 있다는 것이 우선 장점입니다. 데이터 수집을 할 때는 서버를 각 고객사에게 할당하기도 하지만, 수집이 필요 없어질 때는 자동으로 제거가 되며 비용 절감이 되는 자동화 시스템이 구축돼 있어요. 또 고객사들이 요구하는 공통적인 메이저 채널들이 있어 한번 데이터를 수집하면 그 리소스를 다양하게 활용할 수 있다는 것도 장점이고요.”이러한 상황을 만들기까지 해시스크래퍼는 초기 3년간 베이스 프레임워크를 만들고 멀티 클라우드를 운영할 수 있는 기술을 개발을 병행했다. 김 대표의 표현을 빌리자면 ‘자동화 공장’ 같은 구조를 구축한 셈이다.“사람이 늘어날수록 더 손쉽게 물건을 만들고 이득을 창출할 수 있는 ‘자동화 공장’ 같은 구조를 만드는데 집중했어요. 그러다 보니 상장사 고객들도 늘어나고 저희가 처리할 수 있는 데이터 양도 점점 증가하고 있죠. 가변적이긴 하지만 이제는 하루에 수집하는 데이터가 50만건 정도 됩니다. 또 데이터를 확보하는데도 집중하고 있어요. 이제까지 쌓인 데이터는 대략 10억건 정도죠.”이를 기반으로 김 대표는 해시스크래퍼 외에도 ‘트렌드 패드’ 서비스를 선보이도 했다. 이른바 고객의 모든 소리를 듣는 ‘소셜 리스닝 서비스’를 표방하고 있는 트렌드 패드는 덱스트 기반 데이터 2억건을 바탕으로 다양한 트렌드 분석 서비스를 제공하고 있다.김 대표는 “생성 AI를 만드는 기업들이 생겨나고 있고, 그런 수요에 대비해 데이터를 판매할 수 있는 구조로 만들어 놓고 있다”며 장기적 관점의 데이터 비즈니스 계획을 언급하기도 했다.이제까지 해시스크래퍼는 중소벤처기업부 글로벌 API 마켓플레이스 대표기업, 신용보증기금 Start-up NEST 5기, 토스 스타트업 서바이벌 Found, 2020년 청년창업사관학교 10기 선정되는 등의 성과를 만들어 왔다. 올해의 경우 데이터 바우처 지원사업 공급기업으로 3년 연속 선정되기도 했다. 이러한 성과를 바탕으로 이제는 국내를 넘어 해외 시장 공략을 준비하는 중이다.“저희는 단순히 스크래핑을 핵심으로 하는 기업은 아니에요. 글로벌 시장을 보면 결국은 API를 통해 소프트웨어 간 연계하고 자동화되는 추세를 보이고 있어요. 이러한 상황에서 저희는 API를 강화해 데이터 스크래핑 전용 API와 같은 독보적인 위치를 만들려고 하고 있어요. 이는 국내 뿐 아니라 해외에서도 통하는 방식이라고 할 수 있습니다.”이러한 상황에서 해시스크래퍼가 개발자나 데이터사이언티스트 등의 전문가 그룹에게 인정받고 있다는 점은 남다른 경쟁력으로 지목되고 있다. 더구나 데이터 스크래핑 전용 API는 국내보다 해외에서 소규모 단체나 개인 등을 중심으로 이미 적잖은 규모의 시장이 형성돼 있다.이를 두고 김 대표는 “현재는 B2B 커스텀 개발을 통해 데이터 납품을 지속하고 있지만, 해외 시장에 초점을 두면서 장기적으로 B2B를 기반으로 B2C 확장을 추구하고 있다”고 말하기도 했다. 그렇다면 글로벌 시장에서 데이터 분석 솔루션을 내세우며 경쟁하고 있는 상황에서 해시스크래퍼의 경쟁력은 어느 정도일까? 김 대표는 “시장 전략이 다르다”며 말을 이어갔다.“데이터 분석 솔루션을 내 놓은 글로벌 기업들은 빵을 만드는 곳이라고 할 수 있어요. 저희는 빵을 만드는 원재료를 가공해 밀키트나 생지(반죽)을 만들어 제공하는 개념이예요. 저희는 제품의 기초가 되는 밀키트를 다양한 기업에 자동으로 납품하고, 기업들은 저희가 제공하는 밀키트를 가지고 각자 포지션에 맞는 제품을 만들어 고부가가치를 창출할 수 있는 거죠. 물론 저희 장기적인 목표는 밀키트를 넘어 제품도 만드는 겁니다. 그런 시도가 ‘트렌드 패드’ 서비스이기도 하고요.”김 대표의 말에 따르면 해시스크래퍼는 데이터 스크래핑 기술과 자동화가 바탕이 된 상황에서 버티컬 사업을 선정해 론칭 할 계획도 가지고 있다. 분야나 타깃에는 제한이 없다. 어떤 분야든 필수적인 데이터가 이미 확보돼 있기 때문이다. 이를테면 여느 스타트업이 특정 분야에 서비스나 플랫폼을 개발한 뒤 데이터를 쌓으며 후속 사업을 진행하는 반면, 해시스크래퍼의 경우는 이미 확보한 다양하고 막대한 데이터를 바탕으로 시장성 있는 사업을 선별해 공략하는 전략이 가능한셈이다. 인터뷰 말미, 김 대표는 ‘우선 목표는 국내 데이터 산업계에 스탠다드가 되는 것”이라며 남다른 각오를 내비쳤다.“아직 국내 데이터 산업계는 춘추전국 시대라고 할 만큼 명확한 툴이나 플랫폼이 없는 상황이예요. 무주공산인 상태라고 할 수 있죠. 이러한 상황에서 해시스크래퍼의 지향점은 데이터 산업에 스탠다드로서 자리잡는 겁니다. 이제까지 해 왔던 작업이 그런 목표를 위한 준비 과정이라고 할 수 있죠.”기사원문바로가기

㈜해시스크래퍼(대표이사 김경호)가 ‘2023 월드IT쇼 (2023 World IT Show)’에 참가하여 자사 의 AI기반 빅데이터 수집/분석 서비스 2종을 선보였으며, 전시 부스의 누적 방문객이 900명 이상으로 집계됐다고 밝혔다.‘월드IT쇼’는 2008년에 시작된 국내 최대 규모 ICT 전시회로, ICT 산업계 전반에 걸친 중소기업부터 대기업까지 참가하여 기술 교류, 제품 홍보, 고객 유치 등을 목적으로 진행된다. 금번 ‘2023 월드IT쇼’는 서울시 삼성역에 위치한 코엑스(COEX)에서 4월 19일부터 21일까지 3일간 진행되었다.올해는 ‘세계의 일상을 바꾸는 K-디지털’이라는 주제로 국내 및 해외의 460개 이상 기업이 참가했으며, 2022년도 월드IT쇼가 코엑스 A홀과 C홀에서 진행된 것과 달리, A홀, B홀, C홀 전체에서 진행된 만큼 보다 큰 규모로 개최됐다.해시스크래퍼는 2018년도 설립된 빅데이터 수집 분석 및 인공지능 개발 전문 벤처기업으로, 금번 전시회에 자사 대표 서비스 2종을 소개했다. AI기반 빅데이터 구축 자동화 SaaS, 해시스크래퍼(Hashscraper)와 AI기반 데이터 분석 및 시각화 SaaS, 트렌드패드(Trendspad)이다.개발 지식이 없는 비개발직군도 웹 데이터 수집(웹 크롤링)과 처리, 분석을 직접 할 수 있다는 것이 해시스크래퍼 서비스의 특징이라고 전했다. 해시스크래퍼는 현재 전 산업계에 걸친 고객사에게 본 서비스를 통해 빅데이터를 공급하고 있다. 현재 첫 번째 서비스 ‘해시스크래퍼’의 UI/UX를 대폭 개선한 리뉴얼 버전 론칭을 앞두고 있으며, 부스 방문객을 대상으로 먼저 선보였다.해시스크래퍼 관계자는 “다양한 산업 분야에서 디지털전환(Digital Transformation) 가속화로 데이터를 활용한 의사결정과 서비스 개발이 진행되는 추세이며, 데이터 분석 전문가 영입이 점진적으로 확대되는 것과는 반대로 SNS, 쇼핑몰, 커뮤니티 등 외부 데이터 수집에 어려움을 겪고 있다”며 “최근 안정적인 대규모 웹 스크래핑/크롤링 기술 도입에 관심이 많은 고객사의 문의가 증가하고 있어, 보다 넓은 범위의 의뢰에 대응할 수 있도록 더 빠른 수집 속도와 높은 안정성 향상 연구개발에 투자를 더욱 확대할 예정”이라고 밝혔다.기사원문바로가기

빅데이터 수집 및 인공지능 개발 전문 기업 ㈜해시스크래퍼(김경호 대표)가 ‘2023 데이터바우처 지원사업’에 참여할 수요기업 모집을 시작했다.데이터바우처 지원사업은 2019년도부터 시행된 정부 주도 사업으로, 과학기술정보통신부 산하 기관인 한국데이터산업진흥원이 주관하여 운영된다. 국내 데이터 산업시장 확대 및 거래 활성화를 목적으로 데이터 및 가공 기술 보유 기업을 서비스 공급기업으로 선정, 본 사업에 지원한 수요기업에게 공급기업의 서비스를 결제할 수 있는 정부 지원 상품권 바우처(Voucher)를 제공하여 다양한 기술과 서비스를 이용할 수 있도록 돕는 것이 주요 골자이다.‘2023 데이터바우처 지원사업'의 수요 대상은 △초기 중견기업 △중소기업 △소상공인 △예비 창업자 등이 있으며, 사회 현안 부문의 경우 △교육기관 △지방자치단체 △대학 △병원 등이 있다. 디지털 전환에 있어 상대적으로 어려움을 겪는 수요기업에게 빅데이터 도입 과정에서 발생하는 비용 부담을 완화하는 장점이 있다.㈜해시스크래퍼는 2018년에 설립된 빅데이터 수집 및 인공지능 개발 전문 기업으로 지난 2021년도부터 3년 째 공급기업으로 참여하고 있다. 기술 발전으로 고도화된 웹 구조가 데이터 수집을 더 어렵게 만드는 문제점이 있으나, 해시스크래퍼는 인공지능 기반 웹 데이터 수집(가공), 분석을 통해 하루 1억건 이상의 고품질 빅데이터를 구축할 수 있도록 해결했다.데이터바우처 지원사업은 오는 3월 28일까지 수요기업 모집을 진행하며, 그 이전에 사업자 서류를 비롯한 지원 기업 문서와 공급기업의 서비스를 사전에 협의하여 가용 예산을 지정된 양식의 신청서에 기재하여 제출, 심사과정을 거쳐 일반가공부문의 경우 최대 4,000만원, 판매부문은 최대 1,000만원의 바우처를 지원받게 된다.금번 ‘2023 데이터바우처’에서 해시스크래퍼가 공급하는 서비스는 ‘판매부문’에 △뉴스 데이터, △사업자 DB, △이커머스 상품 데이터가 있으며, ‘가공부문’에 △실시간 데이터 수집, △데이터 정제 및 검수, △데이터 시각화 △AI기반 텍스트 분석, △AI기반 이미지 분석이 있다. 자세한 내용은 해시스크래퍼 SNS 및 공식 홈페이지에서 확인할 수 있다.해시스크래퍼는 “지난 2년간의 경험상 준비해야 할 서류가 많아 신청준비 기간을 많이 확보할 수록 안정적인 지원과 수요기업 심사 선정에 유리할 것”이라며 “처음 데이터바우처를 신청하는 기업이나 빅데이터 운용 경험이 적은 기업이 시행착오를 줄이고 더 유용한 지원 성과를 위해 다양한 안내와 가이드북을 제공하기로 했다”고 밝혔다.기사원문바로가기

빅데이터 수집 및 분석 전문기업 해시스크래퍼(대표 김경호)와 디지털 전문 교육기관 알파코(대표 이윤성)가 ‘디지털 신기술 인재 양성을 위한 업무제휴협약’을 체결했다.㈜해시스크래퍼는 2018년도 설립된 웹데이터 크롤링 전문 법인으로, 인공지능 기술과 자동화 알고리즘을 통해 기존에 인력기반으로 운영되던 빅데이터 구축 사업을 혁신한 기업이다.기술 발전으로 인해 더욱 복잡하게 고도화된 현대 웹구조에서 필요한 데이터를 추출하기 위해서는 숙련된 개발자가 필요할 뿐만 아니라 이로 인한 비용적인 문제와 효율성 저하를 야기하는 문제점이 있다.㈜해시스크래퍼는 이를 SaaS(서비스형 소프트웨어)를 통해 비개발직군도 데이터를 쉽고 빠르게 수집하고 분석할 수 있고 데이터 전담 부서가 없는 기업도 비즈니스에 빅데이터 도입이 가능하도록 했다. 금번 ㈜해시스크래퍼와 협약을 진행한 ㈜알파코는 1999년 설립된 디지털전환(Digital Transformation, 이하 DT) 전문 교육기관으로, 대기업부터 중소기업까지 기업 전문 B2B 핵심인재 교육 서비스를 주력 사업분야로 전개해온 바 있다.DT추세에 맞춰 기업 실무자들의 디지털 직무역량 교육까지 제공 중이다. 최근 B2C 시장까지 사업을 확장하여 일반인을 대상으로 국비지원교육까지 운영하고 있으며, 지난 2월에 서울시 성수동에 신규 캠퍼스를 오픈했다.㈜해시스크래퍼는 ㈜알파코가 수행하고 있는 대한민국 고용노동부 주관 ‘K-디지털 트레이닝’의 실무자 특강, 신규 훈련과정의 기획과 심사를 지원하여 궁극적으로 ICT 인재 풀의 질적 향상을 통한 사회공헌 목표 달성과 데이터 산업계 성장 가속화를 목표로 업무제휴협약을 체결한 것으로 알려졌다. 교육훈련용 데이터 제공, 우수 수료생을 대상으로 채용 지원을 약조했다.㈜해시스크래퍼 관계자는 “실무 중심의 커리큘럼을 통해 기업과 훈련생 양측에 큰 도움을 볼 수 있는 기회라고 생각하며, 훈련생에게 투자를 아끼지 않는 오랜 역사의 교육기관과 함께하게 되어 무척 뜻깊다”며 “기술 중심 벤처기업으로서 이러한 사회적 역할에 기여할 수 있는 것에 최선을 다하겠다”고 말했다.기사원문바로가기