AI로 로봇 제어 체험
자연어 지시가 DC·서보·IO 도구 호출로 바뀌는 장면을 봅니다.
수업 열기 →4-Lesson Roadmap
AI 제어를 먼저 보고, 블록과 비전으로 직접 설계합니다.
자연어 지시가 DC·서보·IO 도구 호출로 바뀌는 장면을 봅니다.
수업 열기 →Blockly 앱으로 순차·변수·센서 로직을 조립합니다.
수업 열기 →카메라가 본 것에 따라 엘리오가 반응하는 구조를 기획합니다.
수업 열기 →문제정의, 설계, 구현, 시연, 회고를 짧게 발표합니다.
수업 열기 →Final Mission
도구는 달라도 발표 기준은 같습니다. 설계하고, 시험하고, 설명합니다.
원하는 동작을 프롬프트로 말하고 실제 움직임을 비교합니다.
장애물을 감지하면 멈추거나 방향을 바꾸는 로직을 만듭니다.
무엇을 보면 어떻게 움직일지 카메라 시나리오를 기획합니다.
Teacher Detail
운영 전제, 차시별 지도안, 워크시트, 루브릭은 닫아 두었습니다. 필요할 때만 펼칩니다.
교육업체·제조사에 공급/이관 가능한 엘리오 교육 콘텐츠입니다.
자유학기제·동아리·방과후 심화반용 4차시 AI-Native 트랙입니다. 주 도구는 buddy-mcp(MCP AI 제어), Blockly 앱 코딩, ESP32 비전입니다.
트랙 X는 AI가 도구를 호출해 물리 로봇을 움직이는 흐름을 다룹니다. 세 도구를 순서대로 만납니다.
MCP(Model Context Protocol) 서버로 AI 에이전트(Claude Desktop·Cursor 등)가 ELIO의 DC·서보·IO·센서를 제어합니다. 스마트폰 앱 없이 USB 동글로 동작합니다.
Google Blockly를 ELIO 앱에 내장했습니다. 블록은 JS 코드로 변환되어 BLE로 전달됩니다.
ESP32-CAM을 UART로 직결합니다. 카메라 → AI 추론(TFLite/ESP-WHO) → ELIO 제어 + WiFi HTTP API 서버 흐름입니다.
buddy-mcp·ESP32 비전은 세팅 난이도가 높습니다. 교사가 사전 구축하고 학생은 사용·관찰 중심으로 운영합니다.
Blockly 앱의 음성·비전 AI 기능은 카탈로그 명시가 없어 확인필요로 표기합니다. 2차시는 확인된 블록코딩+센서 범위 중심입니다. buddy-mcp·ESP32 비전 전용 영상은 공개 채널에 없어 생략했습니다.
.venv는 run.py가 자동 생성) · 배터리. ⚠ 개발환경·동글 세팅은 교사가 사전 완료.buddy_list_ports → buddy_connect("auto") → "DC 모터를 앞으로 돌려줘" → AI가 buddy_send_dc 호출 시연. / 실습 25분 — 모둠별로 프롬프트 설계·입력, AI가 호출한 도구(buddy_send_dc/buddy_send_servo/buddy_send_io) 관찰·기록. / 정리 5분 — 흐름 발표, buddy_disconnect. ▶ 영상: buddy-mcp 전용 강좌는 인벤토리에 없음 → 생략.위 3편은 필수 영상, 마지막 음성 영상(20초)은 선택·동기부여용 — 상세 사양 확인필요.
/stream·/ml·/power)로 원격 제어·관찰하는 시스템 구조를 이해하고 간단한 비전 반응 프로젝트를 기획·시연할 수 있다.GET /stream(MJPEG) → POST /ml(AI 추론) → POST /power(ELIO 동작) 흐름 시연. / 실습 25분 — 모둠별 "무엇을 보면 → 어떻게 반응" 시나리오 기획, 가능 범위 내 HTTP 엔드포인트 조작·관찰. / 정리 5분 — 기획·관찰 공유. ▶ 영상: ESP32 비전 전용 강좌는 인벤토리에 없음 → 생략.두 편 모두 특정 차시 강좌가 아닌 프로젝트 아이디어 자극용 선택 영상입니다.
| 이름 | 모둠 | 날짜 |
|---|
직접 쓰고 그리는 활동지입니다. 빈칸·표·스케치란을 채웁니다.
오늘의 도구: AI 에이전트가 USB 동글로 ELIO를 제어합니다. 스마트폰 앱 없이 프롬프트로 지시합니다.
| # | 내가 원하는 로봇 동작 | AI에게 줄 프롬프트(자연어 지시문) |
|---|---|---|
| 1 | ||
| 2 | ||
| 3 |
| 내 프롬프트 | AI가 호출한 도구 | 실제 로봇 동작 | 예상과 같았나? (O/X) |
|---|---|---|---|
buddy_send_dc, buddy_send_servo, buddy_send_io, buddy_sensor_config오늘의 도구: ELIO 앱의 Blockly 블록으로 로직을 조립합니다. 블록 → JS 코드 → BLE 흐름을 확인합니다.
| 순서 | 조건/동작 (의사코드) |
|---|---|
| 1 | 예) 앞으로 전진 |
| 2 | 예) 만약 적외선 센서가 장애물 감지 → |
| 3 | 예) 정지 |
| 4 |
[카메라 영상] → [ ①______ 추론(분류/검출) ] → [ ELIO ②______ 제어 ]
WiFi HTTP: /stream, /ml, /power
| 항목 | 내용 |
|---|---|
| 프로젝트 이름 | |
| 카메라가 감지할 대상(색/물체/사람 등) | |
| 감지했을 때 로봇의 반응(전진/정지/회전 등) | |
| 사용할 HTTP 동작(/stream·/ml·/power 등) | |
| 이 프로젝트가 해결하는 문제/재미 요소 |
/ml AI 추론이 대상을 정확히 인식했는지, 헷갈린 경우는 무엇인지 기록합니다.| 항목 | 우리 팀 내용 |
|---|---|
| 문제 정의(무엇을 해결?) | |
| 사용한 도구(buddy-mcp / Blockly / ESP32 중)와 이유 | |
| 핵심 설계(프롬프트/블록/비전 시나리오) | |
| 라이브 시연 계획 | |
| 한계와 개선점 |
| 팀원 | 맡은 역할 |
|---|---|
| 발표 팀 | 창의성(상/중/하) | 기술 이해(상/중/하) | 가장 인상 깊은 점 |
|---|---|---|---|
| 구분 | 평가 요소 | 배점 | 우수(4~5) 기준 요약 |
|---|---|---|---|
| 개인 | 프롬프트/설계 능력 | 4 | 목표 동작을 명확·구체적 프롬프트(또는 블록/시나리오)로 설계, 실패 시 스스로 개선 |
| 개인 | 관찰·기록의 정확성 | 3 | AI 도구 호출·로봇 동작·비전 결과를 정확히 관찰·기록, 예상과 비교 |
| 개인 | 개념 이해(회고) | 3 | "자연어→도구호출→동작" 또는 비전 파이프라인을 자기 언어로 정확히 설명 |
| 모둠 | 창의성 | 5 | 문제 정의가 참신하고 AI/비전 활용 해결 아이디어가 독창적·확장 가능 |
| 모둠 | 기술 이해 | 5 | 사용 도구의 동작 원리를 정확히 이해·설명하고 시연이 안정적으로 성공 |
| 모둠 | 협업 | 5 | 역할 분담이 명확하고 팀원 모두 기여, 상호 피드백·발표 조율 원활 |
| 합계 | 25 |
운영 시간·장비 환경에 맞춰 buddy-mcp·Blockly·ESP32 비전을 조합합니다. 지도안·워크시트·루브릭·영상을 제공합니다.
트랙 X: 자유학기·동아리 대상 4차시 AI 로봇 제어 콘텐츠.