GitHub - SureScaleAI/cleverbee: CleverBee - The Open Source Deep Researcher Tool

https://github.com/SureScaleAI/cleverbee • May 4, 2025 19:46

Extracto

CleverBee - The Open Source Deep Researcher Tool. Contribute to SureScaleAI/cleverbee development by creating an account on GitHub.

Resumen

Resumen Principal

CleverBee emerge como una potente herramienta basada en Python diseñada para funcionar como un asistente de investigación que sintetiza información de la web, impulsado por Grandes Modelos de Lenguaje (LLMs) de vanguardia como Claude y Gemini. Su funcionalidad central radica en automatizar el proceso de investigación: navega por la web mediante Playwright, extrae el contenido HTML, lo limpia y procesa a Markdown, y finalmente sintetiza hallazgos detallados basados en los temas de investigación proporcionados por el usuario. La arquitectura de CleverBee es notablemente sofisticada, empleando una estrategia de multi-LLM donde modelos específicos (Gemini 2.5 Pro para planificación y reportes finales, Gemini 2.5 Flash para análisis de progreso, y Gemini 2.0 Flash para resúmenes intermedios) se asignan a distintas etapas del flujo de trabajo, optimizando tanto la precisión como la eficiencia. Ofrece una interfaz de usuario interactiva a través de Chainlit, lo que facilita su uso y gestión.

Elementos Clave

Arquitectura Multi-LLM Estratégica: CleverBee distingue su enfoque al integrar múltiples LLMs configurables, como Gemini 2.5 Pro para tareas de alto nivel como la planificación general y la generación de informes finales, y Gemini 2.5 Flash para el análisis ágil del progreso y la determinación de los próximos pasos. Además, utiliza Gemini 2.0 Flash específicamente para la resumir contenido web intermedio, lo que permite una toma de decisiones más rápida y eficiente en cada fase del proceso de investigación.
Navegación Web Automatizada y Procesamiento de Contenido Inteligente: La herramienta se apoya en Playwright para la navegación web, permitiéndole buscar y extraer dinámicamente contenido HTML de las páginas. Crucialmente, antes de cualquier proceso de resumen, CleverBee limpia y convierte este HTML a formato **

Contenido

CleverBee: AI-Powered Online Data Information Synthesis Assistant

Website • Documentation • GitHub

CleverBee is a powerful Python-based research assistant agent using Large Language Models (LLMs) like Claude and Gemini, Playwright for web browsing, and Chainlit for an interactive UI. It performs research assistance by browsing the web, extracting content (HTML), cleaning it, and synthesizing findings based on user research topics.

✨ Features

🌐 Interactive web UI via Chainlit
🔧 MCP Tool Support: Integrates external tools via the Model Context Protocol (MCP)
🧠 Multi-LLM Research: Uses distinct, configurable LLMs for different tasks:
- Primary LLM: Gemini 2.5 Pro for planning and final report generation
- Next Step LLM: Gemini 2.5 Flash for analyzing research progress and deciding next actions
- Summarizer LLM: Gemini 2.0 Flash for intermediate web content summarization for next step planning
🌍 Automated Web Browsing: Utilizes Playwright for searching the web and extracting HTML content
📊 Content Processing: Cleans HTML to Markdown before summarization
📈 Integrated Token Tracking: Monitors token usage and estimates costs for LLM calls
⚙️ Highly Configurable: Settings managed via config.yaml
🚀 Modular LLM Clients: Supports different providers (Gemini, Claude, Local GGUF via llama-cpp-python)
💾 LLM Caching: Employs NormalizingCache (SQLite-based) for improved performance and cost reduction

What cleverb.ee is not

Cleverb.ee is not a replacement for deep domain expertise. Despite explicit instructions and low temperature settings, AI can still hallucinate. Always check the sources.

🖥️ System Compatibility

macOS: Fully tested and supported, including both Intel and Apple Silicon (via Rosetta 2)
Linux: Fully supported, with NVIDIA GPU detection and optimization for local models
Windows: Limited support via Windows Subsystem for Linux (WSL)

🚀 Quick Start

# Clone the repository
git clone https://github.com/SureScaleAI/cleverbee.git
cd cleverbee

# Run the setup script
bash setup.sh

# Start the application
bash run.sh

📚 Documentation

For full documentation, visit our website: https://cleverb.ee/docs

📝 Configuration

All major configuration is handled in config.yaml. See the documentation for detailed configuration options.

📄 License

This project is licensed under the GNU Affero General Public License, Version 3.0. See the LICENSE file for the full text.

By contributing to this project, you agree that your contributions will be licensed under its AGPLv3 license, and you grant a copyright license to your contributions according to the terms of the Contributor License Agreement (CLA).