🌟 DeepSearcher: ИИ-комбайн для ваших данных.

Проект объединяет использование LLM, векторные базы данных для выполнения задач поиска, оценки, ризонинга на основе предоставленных данных (файлы, текст, источники).

Позиционируется разработчиками как инструмент для управления знаниями предприятия, интеллектуальных QA-систем и сценариев поиска информации.

DeepSearcher умеет использовать при необходимости информацию из интернета, совместим с векторными базами Milvus и их сервис-провайдером Zilliz Cloud, эмбедингами Pymilvus, OpenAI и VoyageAI. Есть возможность подключения LLM DeepSeek и OpenAI по API напрямую или через TogetherAI и SiliconFlow.
Поддерживается локальная загрузка файлов, подключение веб-краулеров FireCrawl, Crawl4AI и Jina Reader.

В ближайших планах - добавление возможности веб-клиппера, расширение списка поддерживаемых векторных баз, создание RESTful API интерфейса.

▶️ Локальная установка и запуск:

# Clone the repository
git clone https://github.com/zilliztech/deep-searcher.git

# Create a Python venv
python3 -m venv .venv
source .venv/bin/activate

# Install dependencies
cd deep-searcher 
pip install -e .

# Quick start demo
from deepsearcher.configuration import Configuration, init_config
from deepsearcher.online_query import query

config = Configuration()

# Customize your config here
config.set_provider_config("llm", "OpenAI", {"model": "gpt-4o-mini"})
init_config(config = config)

# Load your local data
from deepsearcher.offline_loading import load_from_local_files
load_from_local_files(paths_or_directory=your_local_path)

# (Optional) Load from web crawling (`FIRECRAWL_API_KEY` env variable required)
from deepsearcher.offline_loading import load_from_website
load_from_website(urls=website_url)

# Query
result = query("Write a report about xxx.") # Your question here

📌Лицензирование: Apache 2.0 License.


🖥GitHub


@ai_machinelearning_big_data

#AI #ML #Agents #DeepSearcher

📌 Практическое руководство по "подводным камням" больших языковых моделей с примерами.

Открытый препринт книги Тарсиса Соуза (Tharsis Souza), PhD Лондонсого университета, в которой представлен критический анализ проблем и ограничений, возникающих у инженеров и руководителей технических проектов при разработке приложений на основе LLM.

Цель книги, по заявлению автора – помочь создавать надежные и безопасные системы на основе LLM, избегая распространенных ошибок.

Она ориентирована на разработчиков, технических менеджеров проектов и технических руководителей, стремящихся к углубленному пониманию и преодолению практических трудностей, связанных с внедрением LLM.

В отличие от преобладающего дискурса, акцентирующего возможности LLM, книга сосредоточена на практических сложностях и потенциальных ошибках реализации, предлагая подробное руководство по их преодолению.

В книге рассматриваются проблемы: структурной ненадежности, управления входными данными, тестирования, аспектов безопасности и элайнмента, зависимости от поставщиков и оптимизации затрат.

Книга сопровождается репозиторием с практическими примерами на Python, анализом реальных сценариев и решений.

▶️ Содержание:

🟢Предисловие
🟢О книге
🟢Глава 1: Пробелы в оценках
🟢Глава 2: Структурированный вывод
🟢Глава 3: Управление входными данными
🟢Глава 4: Безопасность
🟢Глава 5: Элайнмент на основе предпочтений
🟢Глава 6: Локальные модели на практике
🟠Глава 7: Парадокс снижения стоимости (не опубликовано)
🟠Глава 8: Границы (не опубликовано)
🟠Приложение: Инструменты и ресурсы (не опубликовано)

🟡Страница проекта
🖥Github.com


@ai_machinelearning_big_data

#AI #ML #LLM #Book #Tutorial