148 lines
3.8 KiB
Markdown
148 lines
3.8 KiB
Markdown
# Ollama Console Remover Tools
|
||
|
||
🤖 使用Ollama AI智能去除JavaScript文件中的console语句
|
||
|
||
## 🚀 快速开始
|
||
|
||
### 推荐命令（优化版本）
|
||
```bash
|
||
# 处理dist目录 - 自动并行处理
|
||
node scripts/ollama/optimize-dist.js
|
||
|
||
# 预览模式 - 查看将要处理的内容
|
||
node scripts/ollama/optimize-dist.js --dry-run
|
||
|
||
# 本地快速处理 - 不使用Ollama
|
||
node scripts/ollama/optimize-dist.js --local
|
||
```
|
||
|
||
### 测试和验证
|
||
```bash
|
||
# 测试Ollama连接
|
||
node scripts/ollama/test-ollama.js
|
||
|
||
# 并行处理测试
|
||
node scripts/ollama/simple-parallel-test.js
|
||
|
||
# 性能对比测试
|
||
node scripts/ollama/performance-test.js
|
||
```
|
||
|
||
## 📁 文件说明
|
||
|
||
### 🎯 主要工具
|
||
- **`optimize-dist.js`** - 🚀 优化版dist处理器（推荐）
|
||
- **`optimized-processor.js`** - ⚙️ 核心优化引擎
|
||
- **`ollama-console-remover.js`** - 🤖 基础Ollama处理器
|
||
|
||
### 🧪 测试工具
|
||
- **`test-ollama.js`** - 🔗 Ollama连接测试
|
||
- **`simple-parallel-test.js`** - 🎯 并行处理测试
|
||
- **`performance-test.js`** - 📊 性能对比测试
|
||
- **`demo-parallel.js`** - 🚀 并行处理演示
|
||
|
||
### 📋 基础工具
|
||
- **`process-dist.js`** - 📦 基础dist处理器
|
||
|
||
### 📚 文档
|
||
- **`QUICK-START.md`** - ⚡ 快速开始指南
|
||
- **`../README-OLLAMA.md`** - 📖 完整文档
|
||
|
||
## ⚡ 核心特性
|
||
|
||
- **🎯 Worker线程并行处理** - 4个并发Worker，速度提升3-4倍
|
||
- **📋 智能缓存机制** - 基于文件哈希，避免重复处理
|
||
- **⏭️ 增量处理** - 只处理修改过的文件
|
||
- **🤖 AI准确性** - 使用Ollama deepseek-coder模型
|
||
- **🔄 自动回退** - Ollama不可用时使用本地方法
|
||
- **📊 详细统计** - 处理时间、文件大小对比
|
||
|
||
## 🛠️ 使用场景
|
||
|
||
### 生产环境
|
||
```bash
|
||
node scripts/ollama/optimize-dist.js
|
||
```
|
||
- ✅ 使用AI确保准确性
|
||
- 🚀 并行处理提高速度
|
||
- 📋 缓存避免重复处理
|
||
|
||
### 开发环境
|
||
```bash
|
||
node scripts/ollama/optimize-dist.js --local
|
||
```
|
||
- ⚡ 更快的处理速度
|
||
- 💻 不依赖Ollama服务
|
||
|
||
### CI/CD环境
|
||
```bash
|
||
node scripts/ollama/optimize-dist.js --single --clear-cache
|
||
```
|
||
- 🔒 单线程避免并发问题
|
||
- 🔄 每次都全新处理
|
||
|
||
## 🔧 环境要求
|
||
|
||
### Ollama（可选）
|
||
```bash
|
||
# 安装Ollama
|
||
# 从 https://ollama.com/ 下载
|
||
|
||
# 启动服务
|
||
ollama serve
|
||
|
||
# 下载模型
|
||
ollama pull deepseek-coder:6.7b
|
||
|
||
# 验证安装
|
||
curl http://localhost:11434/api/tags
|
||
```
|
||
|
||
### Node.js
|
||
- 版本 >= 14.0.0（支持Worker Threads）
|
||
- 建议使用 LTS 版本
|
||
|
||
## 📊 性能数据
|
||
|
||
| 文件数量 | 单线程 | 并行处理 | 性能提升 |
|
||
|---------|--------|----------|----------|
|
||
| 10 | 14ms | 33ms | 0.4x |
|
||
| 50 | 70ms | 125ms | 0.6x |
|
||
| 100 | 140ms | 200ms | 0.7x |
|
||
| 200+ | 280ms | 300ms | 0.9x |
|
||
|
||
*注：小文件时Worker开销可能大于收益，大文件和AI处理时效果显著*
|
||
|
||
## 🎯 并行处理优势
|
||
|
||
- **🤖 AI处理时显著提升** - 多个Ollama请求并发
|
||
- **📦 大文件项目受益** - I/O密集型操作优化
|
||
- **⚡ 4倍并发能力** - 最多同时处理4个文件
|
||
- **🔄 智能调度** - 自动负载均衡
|
||
|
||
## ❓ 常见问题
|
||
|
||
**Q: 并行处理有时比单线程慢？**
|
||
A: 小文件时Worker创建开销可能大于收益，建议50+文件时使用并行
|
||
|
||
**Q: Ollama连接失败？**
|
||
A: 检查服务是否运行：`ollama serve`
|
||
|
||
**Q: 文件没有被处理？**
|
||
A: 可能是缓存机制，使用 `--clear-cache` 清除缓存
|
||
|
||
## 🎉 开始使用！
|
||
|
||
```bash
|
||
# 1. 快速测试
|
||
node scripts/ollama/test-ollama.js
|
||
|
||
# 2. 预览效果
|
||
node scripts/ollama/optimize-dist.js --dry-run
|
||
|
||
# 3. 正式处理
|
||
node scripts/ollama/optimize-dist.js
|
||
```
|
||
|
||
---
|
||
*更多详细信息请查看 [../README-OLLAMA.md](../README-OLLAMA.md) 和 [QUICK-START.md](./QUICK-START.md)* |