八爪魚采集器

八爪魚采集器是任何一個需要從網頁獲取信息的孩紙必備的一款神器，這個是一款可以讓你的信息采集可以變得很簡單的工具。八爪魚轉變了傳統對于網絡上的數據思維方法，它讓用戶在網上抓取資料編的更加簡單和容易了。

八爪魚采集器是任何一個需要從網頁獲取信息的孩紙必備的一款神器，這個是一款可以讓你的信息采集可以變得很簡單的工具。八爪魚轉變了傳統對于網絡上的數據思維方法，它讓用戶在網上抓取資料編的更加簡單和容易了

軟件特色

　　滿足多種業務場景

　　適合產品、運營、銷售、數據分析、政府機關、電商從業者、學術研究等多種身份職業

　　輿情監控

　　全方位監測公開信息，搶先獲取輿論趨勢

　　市場分析

　　獲取用戶真實行為數據，全面把握顧客真實需求

　　產品研發

　　強力支撐用戶調研，準確獲取用戶反饋和偏好

　　風險預測

　　高效信息采集和數據清洗，及時應對系統風險

功能介紹

　　簡易采集

　　簡易采集模式內置上百種主流網站數據源，如京東、天貓、大眾點評等熱門采集網站，只需參照模板簡單設置參數，就可以快速獲取網站公開數據。

　　智能采集

　　八爪魚采集可根據不同網站，提供多種網頁采集策略與配套資源，可自定義配置，組合運用，自動化處理。從而幫助整個采集過程實現數據的完整性與穩定性。

　　云采集

　　由5000多臺云服務器支撐的云采集，7*24小時不間斷運行，可實現定時采集，無需人員值守，靈活契合業務場景，幫你提升采集效率，保障數據時效性。

　　API接口

　　通過八爪魚API，可以輕松獲取八爪魚任務信息和采集到的數據，靈活調度任務，比如遠程控制任務啟動與停止，高效實現數據采集與歸檔。基于強大的API體系，還可以無縫對接公司內部各類管理平臺，實現各類業務自動化。

　　自定義采集

　　針對不同用戶的采集需求，八爪魚可提供自動生成爬蟲的自定義模式，可準確批量識別各種網頁元素，還有翻頁、下拉、ajax、頁面滾動、條件判斷等多種功能，支持不同網頁結構的復雜網站采集，滿足多種采集應用場景。

　　便捷定時功能

　　簡單幾步點擊設置，即可實現采集任務的定時控制，不論是單次采集的定時設置，還是預設某一天或是每周每月的定時采集，都可以同時對多個任務自由進行設置，根據需要對選擇時間進行多重組合，靈活調配自己的采集任務。

　　全自動數據格式化

　　八爪魚內置了強大的數據格式化引擎，支持字符串替換、正則表達式替換或匹配、去除空格、添加前綴或后綴、日期時間格式化、HTML轉碼等多項功能，采集過程中全自動處理，無需人工干預，即可得到所需格式數據。

　　多層級采集

　　很多主流新聞、電商類的網站，里面包含一級商品列表頁，也包含二級商品詳情頁，還有三級評論詳情頁面；不論網站有多少層級，八爪魚都可以不限制層級的采集數據，滿足各類業務采集需求。

　　支持網站登錄后采集

　　八爪魚內置了采集登錄模塊，只需配置目標網站的賬號密碼，即可用該模塊采集到登錄后的數據；同時八爪魚還具備采集Cookie自定義功能，首次登錄以后，可以自動記住cookie，免去多次輸入密碼的繁瑣，支持更多網站的采集。

使用方法

　　先我們新建一個任務-->進入流程設計頁面-->添加一個循環步驟到流程中-->選中循環步驟-->勾選上軟件右方的URL 列表勾選框-->打開URL列表文本框-->將準備好的URL列表填寫到文本框中

　　接下來往循環中拖入一個打開網頁的步驟-->選中打開網頁步驟-->勾選上使用當前循環里的URL作為導航地址-->點擊保存。系統會在界面下方的瀏覽器中打開循環中選中的URL對應的網頁

　　到這里，循環打開網頁的流程就配置完成了，運行流程的時候，系統會逐個的打開循環中設置的URL。最后我們不需要配置一個采集數據的步驟，這里就不在多講，大家可以參考從入門到精通系列1：采集單個網頁 這篇文章。下圖就是最終和流程

　　下面是流程最終的運行結果

更新日志

　　8.2.4（beta） 2020-12-08

　　迭代功能

　　更新了新增字段、修改字段、格式化數據的交互方式，將數據操作集中在數據預覽區域

　　針對不同類型的字段，區分操作項，點擊可展開不同的菜單項

　　優化了配置XPath的操作，即時顯示XPath在頁面中的識別結果

　　Bug修復

　　修復自定義下拉框類型網頁無法正常獲取問題

　　修復同名的自定義任務無法正常保存問題

　　修復對修改去重數據配置后應用未保存直接采集出現的報錯問題

　　修復部分采集產生錯誤報告無法正常采集數據問題

　　修復網址欄修改網址出現丟失其他步驟相關場景問題