crawling
本分类共 60 个项目。
| 项目 | Stars | 简介 |
|---|---|---|
| camofox-browser |  | AI 代理的反检测浏览器服务，基于 Camoufox 绕过主流网站 Bot 防护 |
| TrendRadar |  | 聚合多平台热点新闻，按关键词筛选推送，支持AI智能分析与多渠道通知。 |
| wechat-article-exporter |  | 一款微信公众号文章批量下载工具，支持多种格式导出及评论阅读数据。 |
| CloakBrowser |  | 通过 C++ 源码级指纹修改绕过反爬虫检测的隐身 Chromium 浏览器。 |
| Crack-JS-Spider |  | 破解Python爬虫遇到的JS加密问题，提供AST混淆还原和Chrome调试逆向教程 |
| CrawlerTutorial |  | 面向自媒体平台的爬虫教程仓库，涵盖从入门到高级的静态/动态数据抓取、反检测与自动化采集实战。 |
| DouyinLiveWebFetcher |  | 抖音网页版弹幕抓取工具，可实时采集直播间进房、评论、礼物、点赞等互动数据。 |
| DrissionPage |  | DrissionPage是Python网页自动化工具，兼具浏览器控制与数据包收发能力，语法简洁高效。 |
| ECommerceCrawlers |  | Python电商爬虫实战项目，涵盖淘宝、点评、招聘等主流网站数据爬取，提供从零到进阶的完整爬虫解决方案。 |
| EasySpider |  | 易采集是免费可视化爬虫软件，无代码图形化设计网页数据采集任务，自动提取并保存数据。 |
| Gerapy |  | 基于Scrapy和Django的分布式爬虫管理框架，提供可视化Web界面实现爬虫项目的创建、配置、部署与任务监控。 |
| GoogleScraper |  | GoogleScraper是一个开源搜索引擎爬虫工具，支持HTTP和Selenium两种抓取模式，可从多个搜索引擎批量提取搜索结果链接、标题及描述。 |
| IPProxyPool |  | IP代理池系统，自动爬取多源代理IP，经评分筛选后通过API接口提供服务。 |
| IPProxyTool |  | 自动抓取免费代理IP，验证有效性后存入数据库，并提供HTTP接口供调用。 |
| MediaCrawler |  | 多平台自媒体数据采集爬虫，支持搜索、帖子及评论抓取，无需JS逆向，降低技术门槛。 |
| ProxyPool |  | 定时抓取免费代理并通过测试验证可用性，提供API随机获取可用代理。 |
| Scraperr |  | 这是一个自托管网页爬取工具，无需编写代码即可精准抓取网页内容并导出结果。 |
| Scrapling |  | 自适应网页抓取框架，智能应对网站变化，内置反爬绕过与并发爬虫能力。 |
| SeleniumBase |  | Python 浏览器自动化与 E2E 测试框架，内置反检测模式。 |
| browser |  | Lightpanda 是从零构建的无头浏览器，专为 AI 代理和自动化设计，比 Chromium 轻 16 倍、快 9 倍。 |
| carbonyl |  | 基于 Chromium 的终端浏览器，支持完整 Web API，无需图形界面即可快速高效浏览网页。 |
| colly |  | Colly是Go语言的快速优雅爬虫框架，用于从网站提取结构化数据，支持数据爬取与挖掘。 |
| crawl4ai |  | Crawl4AI 是开源 Web 爬虫，将网页转为 LLM 可用的 Markdown，支持数据提取、搜索和结构化输出。 |
| crawlab |  | 分布式爬虫管理平台，支持多语言多框架，解决爬虫统一部署、调度与管理问题。 |
| crawlee-python |  | Crawlee是Python网页爬取库，帮助快速构建可靠爬虫，自动处理反爬机制和浏览器自动化。 |
| dateparser |  | 支持自然语言日期解析，兼容200+语言，可处理绝对/相对日期及时区。 |
| donutbrowser |  | 开源反检测浏览器，在一台设备创建多个独立配置，每个显示不同设备指纹，防止账户关联封号。 |
| douyinLive |  | 抖音直播弹幕抓取工具，基于 WebSocket 实时接收弹幕、礼物、点赞等消息，支持多直播间监听。 |
| facebook-scraper |  | 无需API密钥即可爬取Facebook公开页面、帖子、评论及个人资料信息的Python工具。 |
| fake-useragent |  | 生成真实 User-Agent 字符串，支持按浏览器和平台筛选 |
| feaplat |  | Feaplat是分布式爬虫管理系统，支持多框架任务部署、弹性伸缩与集群管理。 |
| frida |  | 动态插桩工具包，支持运行时代码注入、监控和分析，用于软件开发、逆向工程和安全研究。 |
| geetest-crack |  | 无需Selenium，直接解密JS参数破解极验滑动验证码。 |
| google-maps-scraper |  | 开源Google Maps批量抓取工具，支持提取企业邮箱、电话、网站、评价等信息。 |
| hetty |  | 开源HTTP安全研究工具，提供MITM代理、请求拦截与重放功能。 |
| katana |  | Katana 是一款下一代网络爬虫框架，支持标准与无头模式爬取，提供 JavaScript 解析、自动表单填写及范围控制等核心能力。 |
| ladder |  | HTTP 代理工具，用于测试付费墙、修改响应头、注入自定义代码。 |
| lxBook |  | 提供爬虫逆向工程实战案例与工具，涵盖APK/JS/小程序逆向、反调试及加密破解技术。 |
| lxSpider |  | lxSpider是爬虫案例合集，提供淘宝、抖音、微博等多平台的反爬逆向与数据采集解决方案。 |
| mimic |  | 拦截 App 流量，自动生成 Python 客户端以调用其 API。 |
| newsnow |  | 实时热点新闻聚合阅读平台，支持 GitHub 登录、自适应抓取与 MCP 集成 |
| proxy-list |  | 免费公开代理服务器列表，每日更新，提供 API 查询和格式下载。 |
| proxypool |  | Go实现的IP代理池，自动采集验证免费代理，为爬虫提供可用IP |
| puppeteer |  | Puppeteer是JavaScript库，提供高级API控制Chrome/Firefox浏览器，实现网页自动化与测试。 |
| pydoll |  | Pydoll是Python浏览器自动化工具，通过CDP直接控制Chrome/Edge，无需WebDriver，支持人类化交互、指纹注入和Playwright兼容。 |
| reverse-skill |  | 逆向技能路由包，帮助AI代理自动匹配工具链并执行标准化逆向分析流程。 |
| rod |  | 基于 Chrome DevTools Protocol 的 Go 浏览器自动化库，支持网页爬取与自动化操作。 |
| scrapy |  | Scrapy是一个跨平台网页爬虫框架，用于从网站高效提取结构化数据。 |
| scrapydweb |  | ScrapydWeb 是 Scrapyd 集群管理的 Web 应用，支持 Scrapy 日志分析、进度可视化与任务自动化。 |
| scylla |  | 智能代理池，自动爬取验证IP，辅助AI时代的大模型数据抓取。 |
| skills |  | AI 浏览器自动化框架，可绕过反爬检测、抓取数据、解决验证码，支持多账号并行与 AI Agent 集成。 |
| social-analyzer |  | 社交分析器是一款开源情报工具，可通过API、命令行和Web跨1000多个社交媒体网站检索分析用户资料。 |
| spiderfoot |  | 开源OSINT自动化工具，集成200+数据源，支持网络侦察与信息收集。 |
| stagehand |  | 浏览器 AI 代理 SDK，通过自然语言驱动页面操作与结构化数据提取。 |
| undetected-chromedriver |  | 优化版Selenium驱动，自动修补ChromeDriver，绕过Distill、DataDome等反爬虫检测。 |
| weiboSpider |  | 连续爬取新浪微博用户资料与微博内容、图片视频等数据，并保存至文件或数据库。 |
| mitmproxy2swagger |  | 从抓包流量自动逆向生成 REST API 的 OpenAPI 文档 |
| mitmproxy |  | mitmproxy 是支持 SSL/TLS 的交互式代理工具，可拦截调试 HTTP 和 WebSocket 流量 |
| proxypin |  | 开源 HTTP(S) 流量抓包工具，支持拦截、检查与重写网络请求。 |
| selenium-wire |  | Selenium Wire 扩展 Selenium，可捕获并拦截浏览器发出的 HTTP/HTTPS 请求，支持动态修改请求和响应。 |