分类 搜索 下的文章

项目地址:https://github.com/zhegexiaohuozi/seimi-render | 欢迎 Star

它到底是什么

SeimiRender 是一个基于 Chromium 的网页渲染服务。它的更原始前身是开源项目 SeimiAgent,SeimiRender 是其现代化升级版。

你只需要提交一个 URL,它就会用真实浏览器行为去渲染页面——执行 JS、等待异步内容加载、跑完 SPA 路由——然后把渲染后的完整结果交还给你:HTML、Markdown 正文、PDF、截图,甚至是结构化的搜索引擎结果 JSON。

它默认以 offscreen 无头模式运行,不需要显示器。这意味着:

  • ✅ 它不会抢占你的鼠标和键盘焦点
  • ✅ 它不会在任务栏闪烁打扰你
  • ✅ 你本地浏览器的操作不会干扰它的渲染结果
  • ✅ 它的渲染也不会干扰你正在看的页面

- 阅读剩余部分 -

项目地址:https://github.com/zhegexiaohuozi/seimi-render(Apache 2.0 开源)

从一个老问题说起

做爬虫、做数据采集、做内容聚合的同学,大概都绕不开一个场景:拿到一个 URL,我要的不是它 curl 出来的那段 HTML,而是「人在浏览器里看到的那一页」——JS 跑完之后的内容、登录态后面才能看到的页面、搜索结果里去掉广告的结构化结果。

这条路传统上有几个老掉牙的方案:

  • requests + BeautifulSoup:对 SPA 和动态页面直接歇菜,拿到的是空壳。
  • Selenium / Playwright:能跑,但每个任务要拉起一个完整浏览器进程,重、慢、不稳定,并发起来资源开销惊人。
  • 直接复用日常浏览器:有人图省事,挂个插件或用 puppeteer 连到自己平时用的 Chrome 上跑自动化。但这玩意儿是双向干扰的——自动化跑起来窗口一直在跳、标签页乱切,严重打扰你正常上网;反过来,你随手点个标签、关个页面、甚至切去别的网站,也会干扰甚至直接搞崩正在跑的采集流程。人和机器抢同一个浏览器,谁都别想舒服。
  • 商业渲染 API:能用,但贵、有限额、cookie 登录态完全没法自己掌控。
  • 搜索 API:贵,很贵。

而 2026 年大家又多了一个新需求:AI Agent 要读网页怎么办? Claude Code、Cursor、ZCode 这些 coding agent,本身没有「真实浏览器」这个能力,遇到「帮我看一下这个链接讲了什么」「帮我搜一下这个关键词」就卡住了——它们要么没有联网工具,要么只能用简陋的 fetch,拿不到 JS 渲染后的真实内容。

seimi-render 就是冲着这两个老痛点 + 一个新需求来的。

- 阅读剩余部分 -

简介

JsoupXpath 是一款纯Java开发的使用xpath解析提取html数据的解析器,针对html解析完全重新实现了W3C XPATH 1.0标准语法,xpath的Lexer和Parser基于Antlr4构建,html的DOM树生成采用Jsoup,故命名为JsoupXpath.
为了在java里也享受xpath的强大与方便但又苦于找不到一款足够好用的xpath解析器,故开发了JsoupXpath。JsoupXpath的实现逻辑清晰,扩展方便,
支持完备的W3C XPATH 1.0标准语法,W3C规范:http://www.w3.org/TR/1999/REC-xpath-19991116 ,JsoupXpath语法描述文件Xpath.g4

更新

- 阅读剩余部分 -

前言

向量检索的方案库里图一多,存储和计算成本还是实打实的,有没有更极致的压缩?有,就是把图片直接压成一串二进制指纹,检索变成数比特位的事。这就是图像哈希检索,从去重到以图搜图都有它的一席之地。

先从最土的感知哈希说起

有个非常经典的小玩意叫感知哈希(pHash),思路简单到令人发指:

- 阅读剩余部分 -

文本检索那套为什么直接搬不过来

文本搜索有现成的成熟套路:分词、倒排索引、BM25打分。核心前提是文本天然带着"词"这个离散单元,词相同就能命中。图片没有这个运气,一张jpg在计算机眼里就是几百万个像素值,两张内容一样的图,只要分辨率差一档或者jpeg质量参数不同,像素层面对不上号。所以图像检索的第一步,也是灵魂一步,是把图片压成一个能代表它内容的特征向量,让"看起来像"变成"向量距离近"。

特征向量的两代方案

- 阅读剩余部分 -