동차 Beating 모니터링에 따르면, OpenAI의 오픈소스 교육 프로젝트 Plant Talk는 Realtime API, 멀티모달 비전 모델 및 Arduino 마이크로컨트롤러를 결합하여 실내 식물이 환경을 인지하고 음성 대화를 할 수 있도록 지원합니다.
이 프로젝트는 컴퓨터 카메라와 마이크를 통해 식물과 저지연 전이중 음성 대화를 가능하게 하며, Arduino를 통해 정전식 토양 습도 센서 및 LM393 광센서에 연결할 수 있습니다. 식물의 AI 캐릭터(예: 기본 캐릭터 George)는 함수 호출(Function Calling)을 통해 하드웨어 데이터를 획득합니다. 사용자가 물 부족이나 조명 상태를 질문하면 AI는 도구를 호출하여 실시간 물리적 지표를 읽고, 카메라로 캡처한 이미지를 분석해 식물의 건조도, 가지 수 및 최대 폭(25센트 동전을 크기 기준으로 사용 가능)을 추정한 후, 의인화된 식물의 말투로 음성 응답을 제공합니다.
보안 및 인터페이스 설계 측면에서 백엔드 Express 서버는 임시 클라이언트 키(Ephemeral Token)를 발급하여 WebRTC 연결을 안전하게 프론트엔드에 위임함으로써 클라이언트에서 API 마스터 키가 유출되는 것을 방지합니다. 시각 인식 및 정기 관찰에는 Responses API와 Zod 스키마를 결합하여 구조화된 출력을 구현합니다. 코드베이스에는 AI 에이전트를 위한 운영 가이드 AGENTS.md가 내장되어 있어, AI 어시스턴트가 사용자를 단계별로 안내하여 소프트웨어 환경 설정 및 하드웨어 조립을 완료할 수 있도록 지원합니다.
