Dr. Sreedath Panat → Создание голосовых AI / Vizuara AI Labs - агентов с нуля

• Python-разработчиков, желающих перейти в сферу Voice AI;
• ML- и AI-инженеров, которые хотят работать с речевыми технологиями;
• Backend-разработчиков, создающих интеллектуальные сервисы;
• инженеров, изучающих LLM и агентные системы;
• исследователей и студентов, интересующихся современными технологиями обработки речи.

• проектировать архитектуру современных голосовых AI-агентов;
• создавать полный цикл обработки речи: от получения аудио до генерации голосового ответа;
• использовать Speech-to-Text (ASR), Large Language Models (LLM) и Text-to-Speech (TTS) в едином конвейере;
• разрабатывать системы с минимальной задержкой передачи данных в режиме реального времени;
• реализовывать память, вызов внешних инструментов (Tool Calling) и агентное поведение;
• работать с потоковой обработкой аудио через WebSockets;
• проектировать масштабируемые production-ready решения;
• развертывать голосовых ассистентов локально, в браузере и в облаке;
• создавать проекты уровня индустрии для собственного портфолио.

• отличие голосового агента от чат-бота;
• полный цикл обработки речи;
• потоковая архитектура;
• задержки, обработка прерываний и управление диалогом;
• создание первого рабочего голосового конвейера.

• основы автоматического распознавания речи;
• Whisper, Faster-Whisper и Distil-Whisper;
• запись аудио с микрофона;
• Voice Activity Detection (VAD);
• создание собственной системы транскрипции.

• современные технологии синтеза речи;
• сравнение Piper, Coqui TTS и ElevenLabs;
• генерация естественной речи;
• локальные и облачные решения;
• потоковое воспроизведение голоса.

• интеграция языковых моделей;
• построение диалога;
• управление контекстом;
• проектирование эффективных промптов для голосового общения;
• создание естественного взаимодействия с пользователем.

• Tool Calling;
• краткосрочная и долгосрочная память;
• подключение API;
• поиск информации;
• выполнение действий голосовым агентом.

• WebSockets;
• потоковая обработка речи;
• частичная транскрипция;
• обработка пользовательских прерываний (Barge-in);
• оптимизация скорости работы системы.

• проектирование надежных сервисов;
• масштабирование;
• логирование и мониторинг;
• отказоустойчивость;
• оптимизация стоимости использования моделей;
• сравнение популярных Voice AI-фреймворков.

• AI-рецепционист;
• голосовой помощник для встреч;
• исследовательский AI-ассистент;
• персональный Desktop Assistant;
• голосовой агент для управления календарем и задачами.

• Python;
• OpenAI Whisper;
• Faster-Whisper;
• Distil-Whisper;
• Piper TTS;
• Coqui TTS;
• Silero VAD;
• GPT и Claude;
• WebSockets;
• современные библиотеки для потоковой обработки аудио.

• персональную дорожную карту исследований на 8 недель;
• шаблон научной статьи по выбранной теме;
• подборку ключевых научных публикаций;
• готовую структуру проекта и стартовый код;
• рекомендации по экспериментам и развитию исследования.

Vizuara AI Labs - Dr. Rajat Dandekar → Master LLM Inference (Phase 1: Foundations & Optimization)

• Понимать архитектуру современных систем инференса LLM и ключевые этапы обработки запроса.
• Оптимизировать производительность больших языковых моделей по задержке, пропускной способности и использованию GPU.
• Работать с памятью GPU, KV cache, механизмами внимания и ограничениями аппаратных платформ.
• Применять квантизацию моделей для ускорения инференса и снижения потребления ресурсов.
• Использовать популярные фреймворки и инструменты: vLLM, SGLang, FlashAttention, TensorRT-LLM, Ray Serve и Megatron-LM.
• Развертывать LLM на локальном компьютере, сервере, Raspberry Pi 4, Android-устройстве и NVIDIA Jetson Orin Nano.
• Проектировать production-ready AI-сервисы с масштабируемой архитектурой.
• Готовиться к техническим собеседованиям, где проверяют понимание системного дизайна LLM-инференса.

• Основы инференса LLM и жизненный цикл запроса.
• Prefill, decode, batching и continuous batching.
• KV cache и оптимизация использования памяти.
• Механизмы внимания и FlashAttention.
• Квантизация моделей и компромиссы между скоростью, качеством и потреблением памяти.
• Профилирование производительности и поиск bottleneck-компонентов.
• Практическая работа с vLLM, SGLang, TensorRT-LLM и другими инструментами.

• Промышленное развертывание LLM-сервисов.
• Распределенные вычисления и масштабирование инференса.
• Ray Serve и подходы к обслуживанию большого числа запросов.
• Edge-инференс на компактных устройствах.
• Запуск моделей на Raspberry Pi 4, Android и NVIDIA Jetson Orin Nano.
• Сравнение аппаратных платформ и анализ производительности.
• Построение надежных production-ready AI-приложений.

• Локальный компьютер для базового запуска и тестирования моделей.
• Google Colab для лабораторных работ и экспериментов.
• Raspberry Pi 4 для изучения ограничений edge-инференса.
• Android-устройство для запуска LLM на мобильной платформе.
• NVIDIA Jetson Orin Nano для практики с компактным GPU-ускорителем.

• Загрузка и подготовка модели.
• Настройка сервера инференса.
• Оптимизация latency и throughput.
• Анализ производительности каждого компонента.
• Подготовка сервиса к production-сценариям.

• Интеграция LLM с чат-интерфейсом.
• Разработка логики AI-ассистента.
• Использование диалогов для улучшения качества ответов.
• Применение подходов reinforcement learning в прикладном сценарии.

• vLLM — высокопроизводительный inference engine для обслуживания LLM.
• SGLang — фреймворк для эффективного выполнения LLM-приложений.
• FlashAttention — оптимизированные механизмы внимания для ускорения работы трансформеров.
• TensorRT-LLM — инструменты NVIDIA для оптимизации инференса больших моделей.
• Ray Serve — решение для масштабируемого serving-а AI-моделей.
• Megatron-LM — фреймворк для работы с крупными языковыми моделями и распределенными вычислениями.
• Google Colab — среда для лабораторных работ и экспериментов.

• ML-инженерам, которые хотят глубже разобраться в оптимизации и развертывании LLM.
• Backend- и infrastructure-инженерам, работающим с AI-сервисами и высоконагруженными системами.
• Data scientists, которые хотят перейти от экспериментов с моделями к production-разработке.
• AI-разработчикам, создающим чат-ботов, ассистентов и LLM-приложения.
• Техническим специалистам, готовящимся к собеседованиям в AI-компании.
• Основателям и техническим лидерам, которым нужно понимать стоимость, ограничения и архитектуру LLM-инференса.

• Понимание внутренних механизмов работы LLM во время инференса.
• Навык оптимизации моделей под разные аппаратные платформы.
• Опыт работы с industry-standard инструментами для LLM serving.
• Умение проводить профилирование и принимать инженерные решения на основе метрик.
• Два практических проекта для портфолио.
• Более уверенная подготовка к техническим интервью по LLM-инфраструктуре.

Vizuara AI Labs - Dr. Sreedath Panat → Малые языковые модели (SLM): полный процесс создания и внедре

• Разработчиков, переходящих в сферу LLM Engineering, NLP и Enterprise AI.
• Инженеров, создающих чат-ботов, интеллектуальный поиск и системы анализа документов.
• Специалистов, которые хотят научиться самостоятельно обучать языковые модели, а не только использовать готовые API.
• Исследователей, которым необходимы практические навыки промышленной разработки AI.

• сбор и подготовка данных;
• обучение токенизатора;
• создание эмбеддингов;
• обучение Transformer-модели;
• предварительное обучение;
• Fine-Tuning и RLHF;
• реализация RAG;
• оптимизация инференса;
• развертывание модели в корпоративной инфраструктуре.