Smart Home IoT
Inteligentne oświetlenie sterowane głosem, gestami i przez Telegram
Zadanie
Typowe systemy inteligentnego oświetlenia obsługuje się przyciskami lub aplikacją mobilną o stałym zestawie komend. Zadanie: zbudować prototyp, w którym światłem steruje się na kilka naturalnych sposobów: przez bota w Telegramie tekstem i głosem, gestami przed kamerą, zależnie od emocji użytkownika oraz przez interfejs webowy, a komendy docierają do kontrolerów ESP32 i ESP8266 w czasie rzeczywistym.
Co zrobiliśmy
Wyniki
Co zrobiliśmy
Zaprojektowaliśmy architekturę i zbudowaliśmy prototyp z kilkoma kanałami wejścia. Bot w Telegramie przyjmuje tekst lub wiadomość głosową. Głos jest zamieniany na tekst przez Speech-to-Text, a następnie logika AI oparta na OpenAI ustala komendę dla światła. Komenda trafia do topicu MQTT, kontroler ESP32 lub ESP8266 odbiera ją, włącza lub wyłącza oświetlenie LED i odsyła status do zwrotnego topicu. Osobno działa serwer webowy ze sterowaniem przez HTTP: włączyć, wyłączyć, odświeżyć stan urządzenia. Moduł wizji komputerowej śledzi 32 punkty ciała i 21 punktów dłoni na modelach BlazePose i MediaPipe, więc uniesiona ręka lub określone ułożenie palców staje się komendą. Jest też warstwa emocjonalna: użytkownik wybiera emoji z emocją albo wysyła zdjęcie, a AI ją klasyfikuje.
Podejście i wyniki
Działający prototyp pokazuje, jak AI rozszerza zwykły system IoT: jedno rozwiązanie łączy bota w Telegramie, rozpoznawanie mowy, MQTT i HTTP, wbudowane kontrolery i wizję komputerową. Sterowanie oświetleniem wykracza poza przyciski i aplikacje mobilne i staje się naturalne: głosem, gestem lub z uwzględnieniem nastroju. Stack: Python, Telegram Bot API, logika AI na OpenAI, Speech-to-Text, protokoły MQTT i HTTP, ESP32 i ESP8266, rozpoznawanie póz i dłoni na BlazePose i MediaPipe, serwer webowy do sterowania urządzeniem.