너무 보안이 많이 막히는 사이트의 대체방법

웹크롤링은 근본적으로 웹사이트의 정보를 소프트웨어 로봇이

접근해서 가져오는 방식입니다.

웹사이트가 API를 제공하는 경우도 있지만

API키를 받기 위해서는 해외사이트와의 제휴신청이 필요합니다.

예를 들어서 zappos.com 과 API 정보 제휴를 하려면

쿠팡과 같은 대기업도 쉽지 않는 것이 일반적인 경우입니다.

물론 메일을 보내고 적극적으로 시도를 하면 안되는 것은

아니지만 실제적으로 쉽지 않습니다.

예를 들면 개인이 노력을 하면 삼성전자 같은 대기업에 사원이 될 수도 있고

의사나 변호사, 회계사 등도 얼마든지 될 수 있습니다. 그러나 실제로 그렇게 되는 것은 현실적으로 많은 시간과 노력이 필요합니다.

이와 같은 상황을 현실적으로 어렵다고 말할 수 있습니다.

해외사이트가 크롤링을 허용할 수도 있고