웹 크롤링 수집 프로그램(web crolling) - CURL 기반

개발언어 : java, php, javascript, jquery

라이브러리 : snoopy, curl

개발동기 : 아는 지인분이 토렌트 사이트 데이터를 자동으로 가져와달라는 의뢰를 하셔서(개인용으로 사용하실려고 의뢰하신 거임. 상업용 노노해~)

개발기간 : 1개월 정도?

 

주요기능

1. 수집하려는 사이트를 페이지별로 등록가능하다.

2. 페이지별로 등록된 사이트의 이미지 + 토렌트 씨드 + 토렌트 마그넷 + 텍스트 + 동영상링크 모두 내 서버로 땡겨올수 있다.

3. 이미지나 동영상의 경우 워터마크를 설정할 수 있게 개발.

 

정말 굉장한 프로그램입니다...

제가 만든 프로그램중에 애정과 클라스가 탑클라스에 속하는 작품중에 하나입니다.

수집은 카페24의 java 서버를 구축후 데이터를 가져오는 식의 방식과, 자체 로컬서버에서 데이터를 가져오는 방식, 2가지 방식으로 개발되었습니다.

 

수집 프로그램중에는 이만한 프로그램이 있을까 싶을정도로 나름 자부심이 큰 작품입니다.

 

참고로 토렌트 수집이 가능한 프로그램이긴 하지만, 토렌트 사이트 개발 의뢰는 받지 않습니다...

 

---

 

 

 

---

 

 

---

 

 

 

---

이 게시글은
https://webschool.kr/?v=board_view&board_key=8&idx=739
에서 작성한 글입니다. 소스코드의 경우 해당 블로그에서 이뿌게 노출이 되지 않을 수 있사오니, 위 링크로 들어오셔서 보시길 바랍니다.

---