首頁 > AI工具 > CleverSee的網頁解析怎麼用?靜態頁和動態頁兩版

CleverSee的網頁解析怎麼用?靜態頁和動態頁兩版

更新時間:2026-10-21 23:14:47 發布時間:3小時前 閱讀:11 views次

CleverSee的網頁解析怎麼用?向 /readpage/scrape 發一個 POST,請求體裡放 url 和想要的格式,返回就是清洗過的正文。靜態頁用普通版,動態渲染的頁面換增強版,它在瀏覽器沙箱裡真的把頁面打開一遍。

CleverSee的網頁解析怎麼用?靜態頁和動態頁兩版

CleverSee的網頁解析只認一個地址

網頁解析 ReadPage 的入口是 https://cloud-iqs.aliyuncs.com/readpage/scrape,POST 方法,認證頭同樣是 X-API-Key 或 Bearer 令牌。

參數清單在解析文件裡列全了。請求體裡必填的是 url,另外三個參數決定行為和時長:formats 指定返回格式,timeout 是整體超時,pageTimeout 是單頁載入超時,maxAge 控制快取的可用時長。四個湊齊,一個解析請求就完整了。

formats 可以一次要多種,Markdown、純文字、HTML、rawHtml 都能取,還能要求截圖。要多種格式時返回體按格式分別給,下游按需取用,不用調兩次。

它替掉的是一整條鏈路:頁面載入、正文識別、HTML 清洗、Markdown 轉換、連結和媒體資源梳理。這些原本每個項目都要自己寫一遍,現在一次調用拿到。

CleverSee的普通版處理靜態頁面

普通版面向靜態網頁、內容頁和結構相對穩定的站點。它不發瀏覽器、不做渲染,直接取 HTML 再抽正文,速度快、成本低,是預設該先試的一版。

可讀性處理是這個版本的核心。它會過濾頁頭、頁腳、導航欄這些重複區域,只留主體內容,還能按規則保留或排除圖片、連結和指定標籤。輸出從 rawHtml 到 Markdown 都支援,也能請求頁面截圖。

判斷該不該用普通版,先手動打開那個頁面看一眼:內容是不是一打開就在,滾動時才載入的部分多不多。純靜態的文章頁、公告頁、文件頁,普通版都能處理。

CleverSee的增強版會真的打開瀏覽器

增強版走的是瀏覽器沙箱,在頁面資源載入完成之後再執行解析。適合動態載入、複雜渲染、需要互動才能出內容的站點。

它有幾個普通版沒有的能力:預設啓用隱身模式,支援最多 20 步等待,可以在解析前執行自定義 JavaScript。20 步等待意味著能處理「等某個元素出現再取」這類場景,彈窗確認、展開更多、點開摺疊區,都在這個範圍內。

代價是慢和貴。真開瀏覽器必然比直接取 HTML 耗時長,計費頁裡對兩個版本分別定價,增強版的單價更高。能用普通版跑通就不要上增強版,把增強版留給確實需要渲染的那批 URL。

工程上建議做一次自動降級:先用普通版,正文長度低於閾值再換增強版重試一次。這樣既省成本,又不會因為個別動態頁把整批任務判失敗。

CleverSee的輸出格式可以指定

輸出形態有四種,加截圖:rawHtml 給原始 HTML,HTML 給清洗後的 HTML,Markdown 給帶結構的文字,純文字只留字。

元資料會一起返回,包括標題、發佈時間、作者、規範 URL、連結列表、圖片和音影片清單。做知識庫入庫時這些欄位別丟,後面做時效判斷和去重全靠它們。

CleverSee的解析結果能提搜尋時效

官方給了一個組合用法:搜尋加解析,把搜尋結果的時效性補上。原因是搜尋引擎自身有更新頻率和快取機制,返回的摘要有時滯後於頁面現狀。

做法是拿到搜尋結果的連結後,對時延不敏感的場景再調一次網頁解析,取當前頁面正文替換掉搜尋返回的摘要。官方文件裡給了 LangChain 的實現:一個工具負責搜尋,一個工具負責逐條解析,兩個串起來用。

這個組合的代價要提前知道:解析介面本身的延遲明顯高於搜尋,串上之後整體耗時上升。所以只對少數幾條關鍵結果做增強,不要把前五十條全解析一遍,那樣一次問答的回包時間會成倍拉長。

常見問題

CleverSee的網頁解析支援登入頁嗎

不支援。解析服務訪問的是公開可訪問的 URL,沒有帳號態、不帶 Cookie,需要登入才能看的內容取不到。增強版能執行自定義 JavaScript,但登入涉及帳號憑據,不在範圍內。要解析內部頁面,先把頁面變成可公開訪問的地址。

CleverSee的網頁解析按什麼計費

按次計費,普通版和增強版兩個價格,增強版更貴。計量口徑是目標地址的 HTTP 響應碼小於 400 時算一次有效請求,取不到頁面不計。做批次抓取前先小規模跑一輪,統計失敗率,把重試次數和成本一起算進預算,別按理想成功率估。

CleverSee的網頁解析能處理PDF嗎

能返迴文檔類內容,具體支援範圍看解析文件裡的格式說明。用之前先測幾個樣本,把解析出的文字長度和原文件比對,頁眉頁腳、表格、公式這幾處差別最大。排版複雜的 PDF,拿來做檢索可以,做精確引用要人工核一遍。

CleverSee的網頁解析要多長時間

普通版快,增強版慢,具體取決於目標頁面的資源和腳本。介面裡有兩個超時參數:pageTimeout 管單頁載入,timeout 管整個請求,兩個都要設,且 timeout 要更大。批次任務時把併發壓住,解析比搜尋吃資源。