本站木有非理性广告和有害内容,请大度地将本站加入广告屏蔽白名单吧~~~

Java采集引擎

:: 代码生涯 泥塘塘主 313℃ 0评论

此采集引擎利用HttpClient实现,支持http与https,支持自定义UserAgent,自定义Header,支持Proxy,支持HTML抓取,也支持图片抓取。此框架分三个部分:WebClient,Webquest以及ResponseResult,其中WebClient为引擎最核心部分,实现了资源下载,而Webquest为请求部分,自定义UserAgent,自定义Header,设置Proxy全部是针对Webquest,ResponseResult为响应部分,包括响应头,响应流,以及响应cookie等。

html抓取测试

    // 网页抓取测试
    private static  void testHTMLSeek(){

        String token = "";
        try {
            String status = "";

            do {

                // 通过appkey 和 seckey 获取token
                String appkey = "youappkey";
                String seckey = "youseckey";
                WebRequest wb = new WebRequest();
                //wb.setProxy("122.4.45.43:3937"); // 设置代理
                wb.setMethod("GET");
                wb.setUserAgent("Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36");
                wb.setUrl("https://api.qianzhan.com/OpenPlatformService/GetToken?type=JSON&appkey=" + appkey + "&seckey="
                        + seckey);
                ResponseResult sr = WebClient.download(wb);
                String tokenJson = sr.getResponseHtmlStr();
                token = ParseJson(ParseJson(tokenJson, "result"), "token");
                System.out.println("token:" + token);

                // 测试【多条件联合搜索】这个接口
                JSONObject json = new JSONObject();
                json.put("token", token);
                json.put("type", "JSON");
                json.put("companyName","腾讯");
                json.put("areaCode", "");
                json.put("faRen", "");
                json.put("bussinessDes", "");
                json.put("address", "");
                json.put("gd", "");
                json.put("page", "1");
                json.put("pagesize", "10");

                wb.setMethod("POST");
                wb.setUrl("https://api.qianzhan.com/OpenPlatformService/CombineIndexSearch");
                wb.setForm(json.toString());
                wb.setContentType("application/json");
                sr = WebClient.download(wb);
                String result = sr.getResponseHtmlStr();
                System.out.println(result);

                status = ParseJson(result, "status");

            } while (status == "101" || status == "102");

        } catch (Exception e1) {

            e1.printStackTrace();
        }

    }

图片下载测试

    // 图片抓取测试
    private static void testImageSeek(){
        WebRequest req = new WebRequest();
        req.setUrl("https://img3.qianzhan.com/news/201803/30/20180330-40fe3e684227ed76_250x150.jpg");
        req.setMethod("GET");
        ResponseResult rsp = WebClient.download(req);
        byte[] imageBytes = rsp.getResponseContent();
        try {
            String fileName = "测试图片.png";
            String userprofile = System.getenv().get("USERPROFILE");
            File file = new File(userprofile + "\\Desktop\\" + fileName);
            FileOutputStream fops = new FileOutputStream(file);
            fops.write(imageBytes);
            fops.flush();
            fops.close();
            System.out.println("图片已经写入到" + file.getAbsolutePath());
        } catch (Exception e) {
            e.printStackTrace();
        }
    }

框架源代码jar

 

转载请注明:泥塘·物语 » Java采集引擎

喜欢 (3)
发表我的评论
取消评论

表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址