유지보수 0원 가능하게 한 크롤링 기술

2. 정기적인 데이터 수집 시 관리해야할 요소 4 CRAWLING TECHNOLOGY IP차단 서버사용비 사이트 장애 사이트 업데이트 평균 업데이트 주기 : 3개월 월 평균 5백만원 발생 1백만개 데이터 수집 시 발생하는 유지보수비용 데이터 수가 많아지거나 빠른 속도를 원할 시 더 많은 비용 발생 4가지 크롤링 기술로 유지보수 0원 크롤링 기술로 별도 개발비/관리비 없이 유지보수관리 가능 번거롭고 많은 비용이 소요되는 유지보수관리를 0원으로 만드는 크롤링 기술 4가지 일반 크롤링 업체 해시스크래퍼

3. 지능형 패턴분석 알고리즘 웹을 모니터링하여 사이트 장애/업데이트를 실시간으로 관리해주는 지능형 봇 클라우드의 가상화 서로 다른 종류의 컴퓨팅 자원에 가상화기술을 적용시켜 통합관리하는 기술 HASHSCRAPER CRAWLING TECH 지능형 패스툴 & 자동코드생성기 간단한 조작으로 자동으로 코드를 생성하여 시간과 비용을 줄이는 개발 툴 머신러닝 기술 자연어처리, 이미지분석 기술 통한 데이터 분석 기술 4 CRAWLING TECHNOLOGY

4. 크롤링 기술1 : 지능형 패턴 분석 알고리즘 지능형 봇이 실시간으로 웹을 분석하고 패턴을 추출하는 지능형 패턴분석 알고리즘 웹 사이트 데이터 수집 구간 봇에 의해 분석된 사이트 구조

5. 크롤링 기술1 : 지능형 패턴 분석 알고리즘 < 지능형 패턴분석 알고리즘 작동 구조 > 모니터링/수집 실시간 모니터링 및 데이터 수집 문제점 파악 사이트 장애 발생 or 업데이트 사이트 재분석 HASHSCRSPER Server Management System 데이터 수집 요청

6. 크롤링 기술2 : 지능형 패스툴 & 자동코드생성기 지능형 패스툴 클릭&드래그 만으로 수집 대상을 자동 설정할 수 있는 지능형 툴. 간단한 조작만으로도 데이터 수집 설정이 가능하여   개발시간을 단축시킬 수 있다. 자동코드생성기 지능형 패스툴에 의해 개발 코드가 자동으로 생성되는개발 툴. 초급 개발자도 빠르고 쉽게 개발할 수 있으며, 높은 데이터 품질과 안정적인 수집이 가능 비용절약, 퀄리티 향상 2가지 모두를 잡게 한 지능형 패스툴 & 자동코드생성기

7. 크롤링 기술2 : 지능형 패스툴 & 자동코드생성기 ① 알고리즘 적용 전 기본 코드 ② 타겟 데이터를 클릭&드래그 하여 손 쉽게 선택 ③ ‘지능형 패스툴’이 페이지 내 동일 패 턴 데이터를 검색/설정 ④ 2,3번 작업이 소스코드로 자동 생성. 3초 만에 개발 완료 2 3 4 1 < 지능형패스툴 & 자동코드생성기 동작 순서 >

8. 크롤링 기술2 : 지능형 패스툴 & 자동코드생성기 < 지능형패스툴 & 자동코드생성기 장점 > 시간 단축 프로그램 개발 시간을 크게 단축시켜 빠르게 수집 가능 비용 절약 개발 인건비가 절약되 어 저렴한 비용에 서비스 제공 안정적인 수집 개발자에 따른 의존도를 줄여 데이터 품질은 높이 고 안정적 수집 가능 빠른 니즈 반영 고객의 추가적인 요구사 항을 빠르고 정확하게 반영/대처 가능

9. 크롤링 기술3 : 클라우드의 가상화 다양한 컴퓨팅 자원에 가상화 기술이 적용시켜 통합관리하여 효율적으로 작업 수행 HASHSCRSPER Server Management System CLOUD IDC HASHSCRAPER HW 가상화 기술 적용 클라우드, IDC, 물리적인 HW 등 서로 다른 종류의 컴퓨팅 자원이 해시스크래퍼의 서버관리시스템에 의해 가상화 기술이 적용되어 다수의 가상머신들이 수집 목적과 상황에 따라 통합관리되어 작업 수행

10. 크롤링 기술3 : 클라우드의 가상화 특정 컴퓨팅 자원의 IP가 차단되 어 수집이 불가능할 시, 프록시 서 버를 사용하여 IP차단을 해결 수집 목적과 상황, 데이터의 양에 따라 컴퓨팅 자원을 신속히 전환 하거나 동시 진행 가능 < 컴퓨팅 자원 가상화 구조 > 2 1 2 1

11. 크롤링 기술4 : 머신러닝 기술 자연어처리 통한 감성분석 : 제품에 대한 긍/부정률, 제품의 강점/특성 확인 상품 구매 댓글, SNS 댓글 분석 통해 상품/서비스에 대한 고객의 긍/부정률을 확인하고 분석하여 고객 반응 분석 통한 판매예측모델 구축 가능

12. 크롤링 기술4 : 머신러닝 기술 이미지 분석 기술 : 유사/특정 이미지 수집 수천 개 카테고리 내 이미지를 빠르게 분류하고 검색하여 유사/특정 이미지 수집 유사 스타일의 제품을 추천하거나 불쾌감을 주는 콘텐츠 검토 가능

유지보수 0원 가능하게 한 크롤링 기술

HashScraper Inc.

유지보수 0원 가능하게 한 크롤링 기술