# ๐ ๅฎถๅบญๅๅ
จ่ฝไบบๅทฅๆบ่ฝๅฉๆ โโ ๅฎๆดๆถๆ่ฎพ่ฎกๆนๆก
---
## ไธใ็ณป็ปๆปไฝๆถๆๆฆ่ง
```
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ ๐ฑ ๅฎขๆท็ซฏๅฑ (Client Layer) โ
โ โโโโโโโโโโโโ โโโโโโโโโโโโ โโโโโโโโโโโโ โโโโโโโโโโโโ โโโโโโโโโโโโ โ
โ โ Web App โ โ iOS App โ โAndroid โ โ Desktop โ โ ๆบ่ฝ้ณ็ฎฑ โ โ
โ โ (React) โ โ(SwiftUI) โ โ(Kotlin) โ โ(Electron)โ โ (ๅตๅ
ฅๅผ) โ โ
โ โโโโโโฌโโโโโโ โโโโโโฌโโโโโโ โโโโโโฌโโโโโโ โโโโโโฌโโโโโโ โโโโโโฌโโโโโโ โ
โ โโโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโ โ
โ โ โ
โ โโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโโ โ
โ โ ๐ ็ปไธ้ไฟก็ฝๅ
ณ โ โ
โ โ (WebSocket + HTTP/2 + gRPC) โ โ
โ โโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ ๐ฅ๏ธ ๆๅก็ซฏๅฑ (Server Layer) โ
โ โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ ๐ช API ็ฝๅ
ณ (API Gateway) โ โ
โ โ ่ฎค่ฏ้ดๆ ยท ้ๆต ยท ่ทฏ็ฑ ยท ่ด่ฝฝๅ่กก ยท ๅ่ฎฎ่ฝฌๆข โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ โ
โ โโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโ โ
โ โ โ โ โ โ โ
โ โโโโผโโโ โโโโโโผโโโโโ โโโโโโโผโโโโโโ โโโโโโผโโโโโ โโโโโโผโโโโโ โ
โ โๅฏน่ฏ โ โ ่ฏญ้ณๅค็ โ โ ๐ง ๆ ธๅฟAI โ โ ๅทฅๅ
ท่ฐ็จ โ โ ่ฎฐๅฟ็ฎก็ โ โ
โ โ็ฎก็ โ โ ASR/TTS โ โ ๅผๆ โ โ &ๆไปถ โ โ ็ณป็ป โ โ
โ โๆจกๅ โ โ ๆจกๅ โ โ LLMๆจ็ โ โ ็ณป็ป โ โ โ โ
โ โโโโฌโโโ โโโโโโฌโโโโโ โโโโโโโฌโโโโโโ โโโโโโฌโโโโโ โโโโโโฌโโโโโ โ
โ โ โ โ โ โ โ
โ โโโโโโโโโโโโโโดโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโดโโโโโโโโโโโโโโ โ
โ โ โ
โ โโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโ โ
โ โ โ โ โ
โ โโโโโโผโโโโโ โโโโโโโผโโโโโโ โโโโโโโผโโโโโโ โ
โ โ PostgreSQLโ โ Redis โ โ MinIO/ โ โ
โ โ (็ปๆๅ) โ โ (็ผๅญ) โ โ S3(ๆไปถ) โ โ
โ โโโโโโโโโโโ โโโโโโโโโโโโโ โโโโโโโโโโโโโ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ ๐๏ธ ๅบ็ก่ฎพๆฝ & ๅค้จ้ๆๅฑ โ
โ โโโโโโโโโโโโ โโโโโโโโโโโโ โโโโโโโโโโโโ โโโโโโโโโโโโ โโโโโโโโโโโโ โ
โ โ LLM API โ โ TTS/ASR โ โIoT Platformโ โ ่ทจๅ่ฎพๅค โ โ็ฌฌไธๆนๆๅกโ โ
โ โ(ๅคๆจกๅ) โ โ ๆๅก โ โ(MQTT/CoAP)โ โ ไบ่API โ โ (ๅคฉๆฐ็ญ)โ โ
โ โโโโโโโโโโโโ โโโโโโโโโโโโ โโโโโโโโโโโโ โโโโโโโโโโโโ โโโโโโโโโโโโ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
```
---
## ไบใๅ็ซฏๆถๆ่ฏฆ่งฃ
### 2.1 ๆถๆ่ฎพ่ฎก็ๅฟต โโ ๅพฎๆๅก + ไบไปถ้ฉฑๅจ
```
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ ๐งญ ๅ็ซฏๆๆฏๆ ๅ
จๆฏ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโค
โ ่ฏญ่จ: Go (ๆ ธๅฟ้ซๆง่ฝๆๅก) + Python (AI/ML Pipeline) โ
โ ๆกๆถ: Gin/Fiber (Go) + FastAPI (Python) โ
โ ๆถๆฏ้ๅ: NATS / RabbitMQ (ไบไปถ้ฉฑๅจ) โ
โ ๅฎนๅจๅ: Docker + Kubernetes โ
โ ้
็ฝฎไธญๅฟ: Consul / etcd โ
โ ๆๅก็ฝๆ ผ: Istio (ๅฏ้) โ
โ ๅฏ่งๆตๆง: Prometheus + Grafana + Jaeger + ELK โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
```
### 2.2 ๆ ธๅฟๆจกๅ่ฏฆ็ป่ฎพ่ฎก
---
#### ๐น ๆจกๅA๏ผAPI็ฝๅ
ณ (Gateway Service)
```
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ API Gateway โ
โ โ
Client โโโโโโโโโโโบโ โโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ ่ทฏ็ฑๅๅ & ๅ่ฎฎ่ฝฌๆข โ โ
โ โ REST / WS / gRPC โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ JWT ่ฎค่ฏ & ไผ่ฏ็ฎก็ โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ ้ๆต & ็ๆญ & ้็บง โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ ่ฏทๆฑๆฅๅฟ & ้พ่ทฏ่ฟฝ่ธช โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
```
**่่ดฃ๏ผ**
- ็ปไธๅ
ฅๅฃ๏ผๆฏๆ REST APIใWebSocket๏ผๅฎๆถๅฏน่ฏ๏ผใgRPC๏ผๅ
้จ้ซๆง่ฝ่ฐ็จ๏ผ
- JWT ็ญพๅไธ้ช่ฏ๏ผๆฏๆๅค็ซฏ็ปๅฝ
- ๅบไบไปค็ๆกถ็้ๆต๏ผ้ฒๆญขๆปฅ็จ
- ่ฏทๆฑ/ๅๅบ็็ปไธๆฅๅฟ่ฎฐๅฝ๏ผๆณจๅ
ฅ TraceID
---
#### ๐น ๆจกๅB๏ผๆ ธๅฟAIๅผๆ (Core AI Engine) โญ ๆๆ ธๅฟ
```
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ ๐ง ๆ ธๅฟAIๅผๆๆถๆ โ
โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ ๅฏน่ฏ็ผๆๅจ (Orchestrator) โ โ
โ โ ยท ๆฅๆถ็จๆท่พๅ
ฅ โ ็ป่ฃ
ไธไธๆ โ ่ฐๅบฆๅๅญๆจกๅ โ ็ๆๅๅค โ โ
โ โโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโ โ
โ โ โ โ
โ โโโโโโโโโโโโผโโโโโโโโโโโ โโโโโโโโโโโโโผโโโโโโโโโโโโ โ
โ โ ๐ญ ไบบๆ ผๆณจๅ
ฅๆจกๅ โ โ ๐ ไธไธๆๆๅปบๆจกๅ โ โ
โ โ Persona Injector โ โ Context Builder โ โ
โ โ โ โ โ โ
โ โ ยท ๅ ่ฝฝ็ฅ่ฏๆๆกฃ โ โ ยท ่ฟๆๅฏน่ฏๅๅฒ(N) โ โ
โ โ ยท ่ง่ฒๅก่งฃๆ โ โ ยท ้ฟๆ่ฎฐๅฟๆ่ฆ(M) โ โ
โ โ ยท ็ณป็ปPromptๆๅปบ โ โ ยท ็จๆท็ปๅ โ โ
โ โ ยท ็งฐๅผ/่ฏญๆฐ่งๅ โ โ ยท ๆถ้ด/็ฏๅขไธไธๆ โ โ
โ โ ยท ๅๅคๆ ผๅผ็บฆๆ โ โ ยท Token้ข็ฎ็ฎก็ โ โ
โ โโโโโโโโโโโโฌโโโโโโโโโโโ โโโโโโโโโโโโโฌโโโโโโโโโโโโ โ
โ โ โ โ
โ โโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโ โ
โ โ LLM ้้
ๅฑ (LLM Adapter) โ โ
โ โ โ โ
โ โ โโโโโโโโโโโโ โโโโโโโโโโโโ โโโโโโโโโโโโ โโโโโโโโโโโโ โ โ
โ โ โ OpenAI โ โClaude โ โ ๆฌๅฐๆจกๅ โ โ ่ชๅฎไน โ โ โ
โ โ โ API โ โ API โ โ(Ollama/ โ โ ๆจกๅ โ โ โ
โ โ โ โ โ โ โ vLLM) โ โ โ โ โ
โ โ โโโโโโโโโโโโ โโโโโโโโโโโโ โโโโโโโโโโโโ โโโโโโโโโโโโ โ โ
โ โ โ โ
โ โ ยท ็ปไธๆฅๅฃๆฝ่ฑก (Chat Completion Interface) โ โ
โ โ ยท ๆตๅผ่พๅบๆฏๆ (SSE โ WS) โ โ
โ โ ยท ๅคๆจกๅ่ด่ฝฝๅ่กก & ๆ
้ๅๆข โ โ
โ โ ยท Function Calling / Tool Use ๅ่ฎฎ้้
โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ ๅๅค็ญ็ฅๅณ็ญๅจ (Response Strategist) โ โ
โ โ โ โ
โ โ ยท ๅคๆญๅๅคๅฝขๅผ๏ผ็บฏๆๅญ / ๆๅญ+TTS / ็บฏ่ฏญ้ณ โ โ
โ โ ยท ๅคๆญๆฏๅฆ้่ฆๆญๅฅ๏ผ่ฏญ้ณๅฉๆๆจกๅผ vs ่ๅคฉๆกๆจกๅผ๏ผ โ โ
โ โ ยท ๅคๆญๆฏๅฆ้่ฆ่ฐ็จๅทฅๅ
ท/API โ โ
โ โ ยท ่พๅบๆ ผๅผๆ ่ฎฐ๏ผๅธฆๆญๅฅๆ ่ฎฐ็ๆๆฌ๏ผ โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
```
**ไบบๆ ผๆณจๅ
ฅๆจกๅ่ฏฆ่งฃ๏ผ**
```
็ฅ่ฏๆๆกฃ็ปๆ (persona.yaml / persona.md):
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ ่ง่ฒๅฎไน (Character Definition) โ
โ โโ ๅ็งฐ: ๅฐๅช โ
โ โโ ่บซไปฝ: ๅฎถๅบญAI็ฎกๅฎถ / ็ซๅจ โ
โ โโ ๆงๆ ผ: ๆธฉๆใ็ปๅฟใๅถๅฐๅฒๅจ โ
โ โโ ่ฏด่ฏ้ฃๆ ผ: ๅฃ่ฏญๅใๅธฆ"ๅต~"ๅฃ็ โ
โ โโ ็งฐๅผ่งๅ: โ
โ โ โโ ๅฏนไธปไบบ: "ไธปไบบ"/"ๅฅๅฅ"/"ๅงๅง" โ
โ โ โโ ๅฏน้็ไบบ: "ๅฎขไบบ" โ
โ โโ ่ๆฏๆ
ไบ: (่ตไบ่ง่ฒๆทฑๅบฆ) โ
โ โโ ่กไธบๅๅ: (ๅฎๅ
จ่พน็ใไผฆ็็บฆๆ) โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโค
โ ่ฝๅๅฃฐๆ (Capability Declaration) โ
โ โโ ๅฏๆงๅถ่ฎพๅคๅ่กจ โ
โ โโ ๅฏ่ฐ็จAPIๅ่กจ โ
โ โโ ่ฝๅ่พน็่ฏดๆ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโค
โ ๅๅคๆ ผๅผๆจกๆฟ (Response Templates) โ
โ โโ ๆฅๅธธ้ฎๅๆจกๆฟ โ
โ โโ ไปปๅก็กฎ่ฎคๆจกๆฟ โ
โ โโ ้่ฏฏ/ๆ ๆณๅฎๆๆถ็ๆจกๆฟ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
```
---
#### ๐น ๆจกๅC๏ผ่ฏญ้ณๅค็ๆจกๅ (Voice Processing)
```
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ ๐๏ธ ่ฏญ้ณๅค็ๆตๆฐด็บฟ โ
โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ ่ฏญ้ณ่พๅ
ฅ (ASR Pipeline) โ โ
โ โ โ โ
โ โ ้ณ้ข่พๅ
ฅ โ VADๆฃๆต โ ้ๅช โ ASRๅผๆ โ ๆๆฌ่พๅบ โ โ
โ โ (Base64) (ๅๆฎต) (RNNoise) (Whisper/ (ๅธฆๆถ้ดๆณ) โ โ
โ โ Azure/่ฎฏ้ฃ) โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ ่ฏญ้ณ่พๅบ (TTS Pipeline) โ โ
โ โ โ โ
โ โ โโโโโโโโโโโโโโโโ โโโโโโโโโโโโโโโโ โ โ
โ โ โ ่ๅคฉๆกๆจกๅผ โ โ ่ฏญ้ณๅฉๆๆจกๅผ โ โ โ
โ โ โ โ โ โ โ โ
โ โ โ ๆดๆฎตๆๆฌ โ โ ๆญๅฅๅผๆ โ โ โ
โ โ โ โ โ โ ยท ๆๅฅๅทๅๅ โ โ โ
โ โ โ TTSๅผๆ โ โ ยท ็ๆๅฅๅญ้ๅโ โ โ
โ โ โ โ โ โ โ โ โ โ
โ โ โ ๅฎๆด้ณ้ข โ โ ้ๅฅTTS โ โ โ
โ โ โ โ โ โ โ โ โ โ
โ โ โ ่ฟๅURL/ๆต โ โ ๆตๅผๆจ้ๆญๆพ โ โ โ
โ โ โโโโโโโโโโโโโโโโ โโโโโโโโโโโโโโโโ โ โ
โ โ โ โ
โ โ TTSๅผๆ้้
: Edge-TTS / VITS / Bert-VITS2 / GPT-SoVITS โ โ
โ โ ยท ๆฏๆ่ง่ฒ้ณ่ฒๅฎๅถ (ๅฏๅพฎ่ฐ) โ โ
โ โ ยท ๆฏๆๆ
ๆๅๆฐ (่ฏญ้/้ณ่ฐ/้ณ้) โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
```
**่ฏญ้ณๅฉๆๆจกๅผๆญๅฅไธๆตๅผๆญๆพๆถๅบๅพ๏ผ**
```
ๆถ้ด่ฝด โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโบ
LLM่พๅบ: "ๅฅฝ็ไธปไบบใๆ่ฟๅฐฑๅธฎๆจๆๅผๅฎขๅ
็็ฏใ็ฐๅจๅฎคๆธฉๆฏ26ๅบฆใ้่ฆๆ่ฐไฝไธไบๅๅต~"
โ โ โ โ
โผ โผ โผ โผ
ๆญๅฅ้ๅ: [ๅฅๅญ1] [ๅฅๅญ2] [ๅฅๅญ3] [ๅฅๅญ4]
โ โ โ โ
โผ โผ โผ โผ
TTS็ๆ: ๐S1 ๐S2 ๐S3 ๐S4
โ โ โ โ
โผ โผ โผ โผ
ๅฎขๆท็ซฏ: ๆญๆพS1โโโโบๆญๆพS2โโโโโโโโโโโโโโโบๆญๆพS3โโโโโโโโโโโโบๆญๆพS4
โ
โผ
็จๆทไฝ้ช: ๅฌๅฐ"ๅฅฝ็ไธปไบบใ"ๆถ๏ผๅ็ปญๅฅๅญๅทฒๅจ็ๆไธญ...
(้ฆๅฅๅปถ่ฟ ~800ms๏ผๅ็ปญๅ ไนๆ ็ญๅพ
)
```
---
#### ๐น ๆจกๅD๏ผ่ฎฐๅฟ็ฎก็็ณป็ป (Memory Management) โญ ้ฟๆ่ฎฐๅฟๆ ธๅฟ
```
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ ๐ง ่ฎฐๅฟ็ฎก็็ณป็ปๆถๆ โ
โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ ่ฎฐๅฟๆๅๅจ (Memory Extractor) โ โ
โ โ โ โ
โ โ ๅฏน่ฏๆต โ ๅ
ณ้ฎไฟกๆฏ่ฏๅซ โ ๅฎไฝๆฝๅ โ ๅ
ณ็ณปๆฝๅ โ ๆ่ฆ โ โ
โ โ (ๅบไบLLM็ๅฐๆจกๅๆ่งๅ+LLMๆททๅ) โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ ่ฎฐๅฟๅ็ฑปๅจ & ๅ็บงๅจ โ โ
โ โ โ โ
โ โ โโโโโโโโโโโ โโโโโโโโโโโ โโโโโโโโโโโ โโโโโโโโโโโ โ โ
โ โ โ ็จๆท็ปๅ โ โ ไบๅฎ่ฎฐๅฟ โ โ ๅๅฅฝ่ฎฐๅฟ โ โ ไบไปถ่ฎฐๅฟ โ โ โ
โ โ โ โ โ โ โ โ โ โ โ โ
โ โ โยทๅงๅ โ โยทๅ็่ฟ โ โยทๅๆฌข็ โ โยทๆถ้ด็บฟ โ โ โ
โ โ โยทๅนด้พ โ โ ็ไบๅฎ โ โ ไบ็ฉ โ โ ็ธๅ
ณ โ โ โ
โ โ โยท่บซไปฝ โ โยทๅฎถๅบญๆ โ โยทไน ๆฏ โ โ ไบไปถ โ โ โ
โ โ โยทๅ
ณ็ณป โ โ ๅไฟกๆฏ โ โยท่ฎพ็ฝฎ โ โ ่ฎฐๅฝ โ โ โ
โ โ โโโโโโโโโโโ โโโโโโโโโโโ โโโโโโโโโโโ โโโโโโโโโโโ โ โ
โ โ โ โ
โ โ ้่ฆๆงๅ็บง: ๐ดๆ ธๅฟ(ๆฐธไน
) ๐ก้่ฆ(้ฟๆ) ๐ขๆฎ้(ไธญๆ) โ โ
โ โ โชไธดๆถ(ไผ่ฏ็บง) โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ ่ฎฐๅฟๅญๅจๅฑ (Memory Store) โ โ
โ โ โ โ
โ โ โโโโโโโโโโโโโโโโ โโโโโโโโโโโโโโโโ โโโโโโโโโโโโโโโโ โ โ
โ โ โ PostgreSQL โ โ ๅ้ๆฐๆฎๅบ โ โ ๆไปถๅญๅจ โ โ โ
โ โ โ (็ปๆๅ่ฎฐๅฟ) โ โ (Milvus/ โ โ (Markdown/ โ โ โ
โ โ โ โ โ Qdrant) โ โ JSON) โ โ โ
โ โ โ ยท ็จๆท่กจ โ โ ยท ่ฏญไนๆฃ็ดข โ โ ยท ๅๅง่ฎฐๅฝ โ โ โ
โ โ โ ยท ่ฎฐๅฟๆก็ฎ่กจ โ โ ยท ็ธไผผ่ฎฐๅฟ โ โ ยท ๅฝๆกฃๆไปถ โ โ โ
โ โ โ ยท ๅ
ณ็ณป่กจ โ โ ยท ๅ
ณ่ๆจ่ โ โ โ โ โ
โ โ โโโโโโโโโโโโโโโโ โโโโโโโโโโโโโโโโ โโโโโโโโโโโโโโโโ โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ ่ฎฐๅฟๆฃ็ดขๅจ (Memory Retriever) โ โ
โ โ โ โ
โ โ ็จๆท่พๅ
ฅ โ ๅ
ณ้ฎ่ฏๅน้
+ ่ฏญไนๅ้ๆฃ็ดข โ ๆททๅๆๅบ โ โ
โ โ โ ๆณจๅ
ฅๅฐLLMไธไธๆ (ๅธฆ่ฎฐๅฟๆฅๆบๆ ๆณจ) โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ ่ฎฐๅฟๆไปถ็ณป็ป็ปๆ (ๅฏ่ฟ็งป่ฎพ่ฎก) โ โ
โ โ โ โ
โ โ /data/memory/ โ โ
โ โ โโโ users/ # ๆ็จๆทๅ็ฎๅฝ โ โ
โ โ โ โโโ {user_id}/ โ โ
โ โ โ โโโ profile.json # ็จๆท็ปๅ โ โ
โ โ โ โโโ facts/ # ไบๅฎ่ฎฐๅฟ โ โ
โ โ โ โ โโโ core/ # ๐ด ๆ ธๅฟ่ฎฐๅฟ โ โ
โ โ โ โ โโโ important/ # ๐ก ้่ฆ่ฎฐๅฟ โ โ
โ โ โ โ โโโ normal/ # ๐ข ๆฎ้่ฎฐๅฟ โ โ
โ โ โ โโโ preferences.json # ๅๅฅฝ่ฎฐๅฟ โ โ
โ โ โ โโโ events/ # ไบไปถๆถ้ด็บฟ โ โ
โ โ โ โโโ conversation_log/ # ๅฏน่ฏๆฅๅฟ(ๅฏ้
็ฝฎไฟ็ๆ) โ โ
โ โ โโโ global/ # ๅ
จๅฑ่ฎฐๅฟ(่ทจ็จๆท) โ โ
โ โ โโโ index.db # SQLite็ดขๅผ(ๅฟซ้ๆฃ็ดข) โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
```
---
#### ๐น ๆจกๅE๏ผๅทฅๅ
ท่ฐ็จ & ๆไปถ็ณป็ป (Tool & Plugin System)
```
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ ๐ง ๅทฅๅ
ท่ฐ็จ & ๆไปถ็ณป็ป โ
โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ ๅทฅๅ
ทๆณจๅไธญๅฟ (Tool Registry) โ โ
โ โ โ โ
โ โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ โ
โ โ โ ๅ
็ฝฎๅทฅๅ
ท (Built-in Tools) โ โ โ
โ โ โ โ โ โ
โ โ โ ๐ ๅฎถๅบญ็ฉ่็ฝ (IoT) โ โ โ
โ โ โ โโ ็ฏๅ
ๆงๅถ (on/off/brightness/color) โ โ โ
โ โ โ โโ ็ฉบ่ฐ/ๆธฉๆง (mode/temp/fan) โ โ โ
โ โ โ โโ ็ชๅธ/็ชๆท (open/close/percentage) โ โ โ
โ โ โ โโ ๆบ่ฝ้จ้ (lock/unlock/status) โ โ โ
โ โ โ โโ ๆๅๅคด (snapshot/stream) โ โ โ
โ โ โ โโ ไผ ๆๅจๆฅ่ฏข (temp/humidity/motion) โ โ โ
โ โ โ โ โ โ
โ โ โ ๐ ่ทจๅ่ฎพๅคไบ่ โ โ โ
โ โ โ โโ ๆๆบ้็ฅๆจ้ โ โ โ
โ โ โ โโ ่ฝฆ่ฝฝ็ณป็ปไบคไบ โ โ โ
โ โ โ โโ ๅๅ
ฌ่ฎพๅคๆงๅถ โ โ โ
โ โ โ โโ ็ฉฟๆด่ฎพๅคๆฐๆฎ่ฏปๅ โ โ โ
โ โ โ โ โ โ
โ โ โ ๐ ๏ธ ็ณป็ปๆไฝ โ โ โ
โ โ โ โโ ๆไปถ่ฏปๅ โ โ โ
โ โ โ โโ ็จๅบ่ฐ็จ/่ๆฌๆง่ก โ โ โ
โ โ โ โโ ๅฎๆถไปปๅก่ฎพ็ฝฎ โ โ โ
โ โ โ โโ ็ฝ็ป่ฏทๆฑ โ โ โ
โ โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ โ
โ โ โ โ
โ โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ โ
โ โ โ ๆไปถๆฅๅฃ (Plugin Interface) โ โ โ
โ โ โ โ โ โ
โ โ โ ยท ็ญๅ ่ฝฝ/ๅธ่ฝฝ (ๅจๆ.so / WASM) โ โ โ
โ โ โ ยท ็ปไธTool Schema (ๅ
ผๅฎนOpenAI Function Call) โ โ โ
โ โ โ ยท ๆ้ๅฃฐๆ & ๆฒ็ฎฑ้็ฆป โ โ โ
โ โ โ ยท ็ๆฌ็ฎก็ โ โ โ
โ โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ ่ฐ็จๆง่กๅผๆ (Execution Engine) โ โ
โ โ โ โ
โ โ LLM่พๅบ โ ่งฃๆFunction Call โ ๅๆฐ้ช่ฏ โ ๆ้ๆฃๆฅ โ โ
โ โ โ ๆง่ก่ฐ็จ โ ็ปๆๅบๅๅ โ ๆณจๅ
ฅๅๅฏน่ฏไธไธๆ โ โ
โ โ โ โ
โ โ ๅฎๅ
จๆบๅถ: โ โ
โ โ ยท ๅฑ้ฉๆไฝ้็จๆทไบๆฌก็กฎ่ฎค โ โ
โ โ ยท ๆไฝๆฅๅฟๅ
จ่ฎฐๅฝ โ โ
โ โ ยท ่ฐ็จ้ข็้ๅถ โ โ
โ โ ยท ๅๆป/ๆค้ๆฏๆ โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
```
---
#### ๐น ๆจกๅF๏ผๅฏน่ฏไผ่ฏ็ฎก็ (Session Management)
```
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ ๅฏน่ฏไผ่ฏ็ฎก็ โ
โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ Session ็ๅฝๅจๆ โ โ
โ โ โ โ
โ โ ๅๅปบไผ่ฏ โ ็ปดๆคไธไธๆ็ชๅฃ โ ่ฟๆ/ๅฝๆกฃ โ ๆไน
ๅ โ โ
โ โ โ โ
โ โ ยท ไผ่ฏID: UUID, ๅ
ณ่็จๆท + ่ฎพๅค + ๅนณๅฐ โ โ
โ โ ยท ไธไธๆ็ชๅฃ: ๆปๅจ็ชๅฃ + ๆบ่ฝๅ็ผฉ(ๆ่ฆๅๆงๆถๆฏ) โ โ
โ โ ยท ๅค็ซฏๅๆญฅ: ๅไธ็จๆทไธๅ่ฎพๅคๅฏๆฅๅ
ฅๅไธไผ่ฏ โ โ
โ โ ยท ไผ่ฏๅๆข: ๆฏๆๅคไผ่ฏๅนถๅญ, ็จๆทๅฏๅๆข โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ ๅฏน่ฏๆจกๅผ่ฏๅซ & ๅๆข โ โ
โ โ โ โ
โ โ โโโโโโโโโโโโโโโโ โโโโโโโโโโโโโโโโ โโโโโโโโโโโโโโโโ โ โ
โ โ โ ๆๅญ่ๅคฉๆจกๅผ โ โ ่ฏญ้ณๆถๆฏๆจกๅผ โ โ่ฏญ้ณๅฉๆๆจกๅผ โ โ โ
โ โ โ โ โ โ โ โ โ โ
โ โ โ่พๅ
ฅ: ๆๅญ โ โ่พๅ
ฅ: ่ฏญ้ณ โ โ่พๅ
ฅ: ่ฏญ้ณๆต โ โ โ
โ โ โ่พๅบ: ๆๅญ โ โ่พๅบ: ๆๅญ โ โ่พๅบ: ่ฏญ้ณๆต โ โ โ
โ โ โ +ๅฏ้TTS โ โ +TTS้ณ้ข โ โ +ๆญๅฅๆตๅผ โ โ โ
โ โ โ โ โ โ โ +ๆๅญๅๆ โ โ โ
โ โ โโโโโโโโโโโโโโโโ โโโโโโโโโโโโโโโโ โโโโโโโโโโโโโโโโ โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
```
---
### 2.3 ๆฐๆฎๆตๅ
จๆฏๅพ
```
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ ๐ ๅฎๆดๆฐๆฎๆต โ
โ โ
โ ็จๆท่พๅ
ฅ โ
โ โ โ
โ โโโ ๆๅญ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ โ โ
โ โโโ ่ฏญ้ณ โโโบ ASR โโโบ ๆๆฌ โโโโโโโโโโโโโโโโโโโโโโโโโโค โ
โ โผ โ
โ โโโโโโโโโโโโโโโโโโโโ โ
โ โ ไธไธๆๆๅปบๅจ โ โ
โ โ โ โ
โ โ โ ไบบๆ ผ็ฅ่ฏๆๆกฃ โ โ
โ โ โ ้ฟๆ่ฎฐๅฟๆฃ็ดข โ โ
โ โ โ ่ฟๆๅฏน่ฏๅๅฒ โ โ
โ โ โ ็จๆท็ปๅ โ โ
โ โโโโโโโโโโฌโโโโโโโโโโ โ
โ โ โ
โ โผ โ
โ โโโโโโโโโโโโโโโโโโโโ โ
โ โ LLM ๆจ็ โ โ
โ โ โ โ
โ โ ้่ฆ่ฐ็จๅทฅๅ
ท? โ โ
โ โ โโโ ๆฏโโโบๅทฅๅ
ท่ฐ็จโ โ
โ โ โ ๅผๆ โ โ
โ โ โ โ โ โ
โ โ โ IoT/่ฎพๅคAPI โ โ
โ โ โ ็จๅบ่ฐ็จ โ โ
โ โ โ โ โ โ
โ โ โ ็ปๆ่ฟๅโโโโโโค โ
โ โ โโโโโโโโโโโโโโโโโโค โ
โ โ โ โ
โ โ ็ๆๆ็ปๅๅค โ โ
โ โโโโโโโโโโฌโโโโโโโโโโ โ
โ โ โ
โ โโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโ โ
โ โ โ โ โ
โ โผ โผ โผ โ
โ โโโโโโโโโโโโ โโโโโโโโโโโโ โโโโโโโโโโ โ
โ โ ่ฎฐๅฟๆๅ โ โ ๅๅค็ญ็ฅ โ โๆๆฌๅๅคโ โ
โ โ &ๅญๅจ โ โ ๅณ็ญ โ โ โ โ
โ โโโโโโโโโโโโ โโโโโโฌโโโโโโ โโโโโฌโโโโโ โ
โ โ โ โ
โ โโโโโโโโโโโโผโโโโโโโโโโโ โ โ
โ โ โ โ โ โ
โ โผ โผ โผ โผ โ
โ ็บฏๆๆฌ ๆๅญ+TTS ่ฏญ้ณๅฉๆ ๆๅญ โ
โ ๅๅค ๅๅค ๆจกๅผ ่พๅบ โ
โ โ โ โ โ
โ โ โผ โผ โ
โ โ ๆดๆฎตTTS ๆญๅฅๅผๆ โ
โ โ โ โ โ
โ โ โผ โผ โ
โ โ ้ณ้ขURL ๅฅๅญ้ๅ โ
โ โ โ (ๆตๅผๆจ้) โ
โ โผ โผ โผ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ ่ฟๅ็ปๅฎขๆท็ซฏ โ โ
โ โ { text, audio_url?, โ โ
โ โ segments?: [{text,audio}]}โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
```
---
## ไธใๅ็ซฏๆถๆ่ฎพ่ฎก
### 3.1 ่ทจ็ซฏๆถๆ็ญ็ฅ
```
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ ๐ฑ ่ทจ็ซฏๆถๆ๏ผๆธ่ฟๅผ้้
็ญ็ฅ โ
โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ ๅ
ฑไบซๅฑ (Shared Layer) โ โ
โ โ โ โ
โ โ ยท ไธๅก้ป่พ (TypeScript) ยท ็ถๆ็ฎก็ (Zustand/Pinia) โ โ
โ โ ยท API Client ยท WebSocket Manager โ โ
โ โ ยท ้ณ้ขๅค็ Pipeline ยท ๆฌๅฐ็ผๅญ็ญ็ฅ โ โ
โ โ ยท ็ฑปๅๅฎไน (Proto/TS) ยท ๅทฅๅ
ทๅฝๆฐๅบ โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ โ
โ โโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโ โ
โ โ โ โ โ
โ โโโโผโโโโโโโ โโโโโโผโโโโโโ โโโโโโโผโโโโโโ โ
โ โ Web App โ โMobile Appโ โDesktop Appโ โ
โ โ โ โ โ โ โ โ
โ โ React โ โReact โ โ Electron โ โ
โ โ + Vite โ โNative โ โ + Tauri โ โ
โ โ โ โ/Flutter โ โ โ โ
โ โ PWAๆฏๆ โ โ โ โ็ณป็ปๆ็ โ โ
โ โ โ โ โ โๅ
จๅฑๅฟซๆท้ฎ โ โ
โ โโโโโโโโโโโ โโโโโโโโโโโโ โโโโโโโโโโโโโ โ
โ โ
โ ็น่ฒ่ฝๅ: โ
โ ยท PWA: ็ฆป็บฟๅฏ็จ, ๆทปๅ ๅฐไธปๅฑๅน, ๆจ้้็ฅ โ
โ ยท React Native: ๅ็้ณ้ข, ๅๅฐ่ฟ่ก, Widget โ
โ ยท Electron/Tauri: ็ณป็ป็บง้ๆ, ๆฌๅฐๆไปถ่ฎฟ้ฎ, ็ณป็ป้็ฅ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
```
### 3.2 ๅ็ซฏๆ ธๅฟๅ่ฝๆจกๅ
```
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ ๐ฅ๏ธ ๅ็ซฏๅ่ฝๆจกๅๅ
จๆฏ โ
โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ ๐ ไธป็้ขๅธๅฑ โ โ
โ โ โ โ
โ โ โโโโโโโโโโโโ โโโโโโโโโโโโโโโโโโโโโโโโ โโโโโโโโโโโโ โ โ
โ โ โ โ โ โ โ โ โ โ
โ โ โ ไพง่พนๆ โ โ ๅฏน่ฏไธปๅบๅ โ โ ไธไธๆ โ โ โ
โ โ โ โ โ โ โ ้ขๆฟ โ โ โ
โ โ โยทไผ่ฏๅ่กจโ โ โโโโโโโโโโโโโโโโโโ โ โ โ โ โ
โ โ โยท่ง่ฒๅๆขโ โ โ ๆถๆฏๅ่กจ โ โ โยท่ฎพๅค็ถๆโ โ โ
โ โ โยท่ฎพๅค็ฎก็โ โ โ (ๆๅญ+่ฏญ้ณ โ โ โยทๅฝๅไปปๅกโ โ โ
โ โ โยท่ฎฐๅฟๆฅ็โ โ โ +ๅพ็+ๅก็) โ โ โยทๅฟซๆทๆไฝโ โ โ
โ โ โยท่ฎพ็ฝฎ โ โ โโโโโโโโโโโโโโโโโโ โ โยทๅคฉๆฐๆถ้ดโ โ โ
โ โ โ โ โ โโโโโโโโโโโโโโโโโโ โ โ โ โ โ
โ โ โ โ โ โ ่พๅ
ฅๅบๅ โ โ โ โ โ โ
โ โ โ โ โ โ [ๆๅญ/่ฏญ้ณ] โ โ โ โ โ โ
โ โ โ โ โ โ [ๅ้] โ โ โ โ โ โ
โ โ โ โ โ โโโโโโโโโโโโโโโโโโ โ โ โ โ โ
โ โ โโโโโโโโโโโโ โโโโโโโโโโโโโโโโโโโโโโโโ โโโโโโโโโโโโ โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ ๐๏ธ ่ฏญ้ณไบคไบๆจกๅ โ โ
โ โ โ โ
โ โ ่ฏญ้ณ่พๅ
ฅ: โ โ
โ โ ยท ๆไฝ่ฏด่ฏ (Push-to-Talk) โ โ
โ โ ยท ่ฏญ้ณๅฉๆๆจกๅผ (VAD่ชๅจๆฃๆต, ๆ็ปญๅฏน่ฏ) โ โ
โ โ ยท ๆณขๅฝขๅฏ่งๅๅ้ฆ โ โ
โ โ ยท ้ๅชๅค็ (WebAudio API / ๅ็้ณ้ขๆจกๅ) โ โ
โ โ โ โ
โ โ ่ฏญ้ณ่พๅบ: โ โ
โ โ ยท ๆตๅผ้ณ้ขๆญๆพ (้ๅฅๆญๆพ้ๅ) โ โ
โ โ ยท ๆญๆพ่ฟๅบฆๆ็คบ โ โ
โ โ ยท ๅฏๆๆญ/ๆๅ โ โ
โ โ ยท ๆๅญๅๆๅๆญฅๆพ็คบ (้ๅฅ้ซไบฎ) โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ ๐ IoT่ฎพๅคๆงๅถ้ขๆฟ โ โ
โ โ โ โ
โ โ โโโโโโ โโโโโโ โโโโโโ โโโโโโ โโโโโโ โ โ
โ โ โ็ฏๅ
โ โ็ฉบ่ฐโ โ็ชๅธโ โ้จ้โ โๆๅๅคดโ โ โ
โ โ โ๐ก โ โ๐ก๏ธ โ โ๐ช โ โ๐ โ โ๐ท โ โ โ
โ โ โ75% โ โ26ยฐ โ โๅ
ณ้ญโ โ้ๅฎโ โๅจ็บฟโ โ โ
โ โ โโโโโโ โโโโโโ โโโโโโ โโโโโโ โโโโโโ โ โ
โ โ โ โ
โ โ ยท ๅฎๆถ็ถๆ่ฝฎ่ฏข/WebSocketๆจ้ โ โ
โ โ ยท ๅฟซๆทๅบๆฏ (ๅๅฎถๆจกๅผ/็ฆปๅฎถๆจกๅผ/็ก็ ๆจกๅผ) โ โ
โ โ ยท ่ฎพๅคๅ็ป (ๆๆฟ้ด) โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
```
### 3.3 ๅ็ซฏๆๆฏๆ
```
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ ๐ ๏ธ ๅ็ซฏๆๆฏๆ ๆจ่ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโค
โ โ
โ ๆ ธๅฟๆกๆถ: โ
โ โโโ React 18+ / Vue 3+ โ
โ โโโ TypeScript (ไธฅๆ ผๆจกๅผ) โ
โ โโโ Vite (ๆๅปบๅทฅๅ
ท) โ
โ โ
โ UI ๆกๆถ: โ
โ โโโ TailwindCSS + shadcn/ui / Ant Design โ
โ โโโ ๅๅบๅผ่ฎพ่ฎก (Mobile First) โ
โ โโโ ๆ่ฒ/ไบฎ่ฒไธป้ขๅๆข โ
โ โ
โ ็ถๆ็ฎก็: โ
โ โโโ Zustand (่ฝป้) / Pinia (Vue) โ
โ โโโ TanStack Query (ๆๅก็ซฏ็ถๆ) โ
โ โ
โ ้ไฟกๅฑ: โ
โ โโโ WebSocket (ๅฎๆถๅฏน่ฏ + ๆตๅผ้ณ้ข) โ
โ โโโ HTTP/2 REST (ๆฎ้API) โ
โ โโโ Server-Sent Events (LLMๆตๅผ่พๅบ) โ
โ โ
โ ้ณ้ขๅค็: โ
โ โโโ Web Audio API (ๆต่งๅจ) โ
โ โโโ expo-av (React Native) โ
โ โโโ ้ณ้ขๆ ผๅผ: Opus (ไฝๅปถ่ฟ) / AAC / MP3 โ
โ โโโ AudioWorklet (ไฝๅปถ่ฟ้ณ้ขๅค็) โ
โ โ
โ ่ทจๅนณๅฐ: โ
โ โโโ PWA (Web โ ็งปๅจ็ซฏ/ๆก้ข็ซฏ) โ
โ โโโ React Native / Flutter (ๅ็็งปๅจ็ซฏ) โ
โ โโโ Electron / Tauri (ๆก้ข็ซฏ) โ
โ โโโ Capacitor (Web โ ๆททๅ็งปๅจ็ซฏ) โ
โ โ
โ ๅฝ้
ๅ: โ
โ โโโ i18next (ๅค่ฏญ่จๆฏๆ) โ
โ โ
โ ๆต่ฏ: โ
โ โโโ Vitest (ๅๅ
ๆต่ฏ) โ
โ โโโ Playwright (E2Eๆต่ฏ) โ
โ โโโ Storybook (็ปไปถๆๆกฃ) โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
```
---
## ๅใๆๅก็ซฏๅฏ่ฟ็งปๆง่ฎพ่ฎก
```
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ ๐ฆ ๆๅก็ซฏๅฏ่ฟ็งปๆง่ฎพ่ฎก โ
โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ Docker ๅฎนๅจๅ (ไธ็บงไฟ้) โ โ
โ โ โ โ
โ โ โโโโโโโโโโ โโโโโโโโโโ โโโโโโโโโโ โโโโโโโโโโ โโโโโโโโโ โ โ
โ โ โGateway โ โAI Core โ โTTS/ASR โ โMemory โ โTool โ โ โ
โ โ โ โ โ โ โ โ โ โ โEngine โ โ โ
โ โ โโโโโโโโโโ โโโโโโโโโโ โโโโโโโโโโ โโโโโโโโโโ โโโโโโโโโ โ โ
โ โ โฒ โฒ โฒ โฒ โฒ โ โ
โ โ โโโโโโโโโโโโดโโโโโโโโโโโดโโโโโโโโโโโดโโโโโโโโโโโ โ โ
โ โ docker-compose โ โ
โ โ โ โ
โ โ ๅๆบ้จ็ฝฒ: docker-compose up -d (ไธ่กๅฝไปคๅฏๅจๅ
จ้จๆๅก) โ โ
โ โ ้็พค้จ็ฝฒ: Kubernetes Helm Charts โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ ๆฐๆฎๆไน
ๅ็ญ็ฅ (ไบ็บงไฟ้) โ โ
โ โ โ โ
โ โ ยท ๆๆๆฐๆฎๆ่ฝฝๅค้จVolume โ โ
โ โ ยท ๆฐๆฎๅบ: ๅฎๆ่ชๅจๅคไปฝ + ๆๅจๅฏผๅบ โ โ
โ โ ยท ่ฎฐๅฟๆไปถ: /data/memory/ โ ็ดๆฅๆๅ
่ฟ็งป โ โ
โ โ ยท ้
็ฝฎๆไปถ: ็ฏๅขๅ้ + .env ๆไปถ โ โ
โ โ โ โ
โ โ ่ฟ็งปๆญฅ้ชค: โ โ
โ โ 1. ๅๆญขๆๅก โ โ
โ โ 2. ๅคๅถ /data/ ็ฎๅฝๅฐๆฐๆๅกๅจ โ โ
โ โ 3. ๅคๅถ docker-compose.yml + .env โ โ
โ โ 4. docker-compose up -d โ โ
โ โ โ
ๅฎๆ๏ผ โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ ้
็ฝฎๅณไปฃ็ (ไธ็บงไฟ้) โ โ
โ โ โ โ
โ โ ยท ๆๆ้
็ฝฎ็ๆฌๅ (Git) โ โ
โ โ ยท ็ฏๅขๅ้ๅๅฑ: .env.base / .env.prod / .env.dev โ โ
โ โ ยท ไธ้ฎ้จ็ฝฒ่ๆฌ (deploy.sh) โ โ
โ โ ยท CI/CD Pipeline (GitHub Actions) โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
```
---
## ไบใ้ไฟกๅ่ฎฎไธAPI่ฎพ่ฎก
```
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ ๐ก ้ไฟกๆถๆ่ฎพ่ฎก โ
โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ ๅ่ฎฎ้ๆฉไธ้็จๅบๆฏ โ โ
โ โ โ โ
โ โ WebSocket โโโโ ๆ ธๅฟๅฏน่ฏ้้ โ โ
โ โ โ ยท ๅฎๆถๅๅ้ไฟก โ โ
โ โ โ ยท LLMๆตๅผ่พๅบๆจ้ โ โ
โ โ โ ยท ่ฏญ้ณๅๅฅๆตๅผๆจ้ โ โ
โ โ โ ยท ่ฎพๅค็ถๆๅฎๆถๆจ้ โ โ
โ โ โ ยท ๅฟ่ทณไฟๆดป โ โ
โ โ โ โ โ
โ โ HTTP/2 REST โโ ้ๅฎๆถๆไฝ โ โ
โ โ โ ยท ๆไปถไธไผ (้ณ้ข/ๅพ็) โ โ
โ โ โ ยท ๅๅฒ่ฎฐๅฝๅ้กตๆฅ่ฏข โ โ
โ โ โ ยท ้
็ฝฎ็ฎก็ โ โ
โ โ โ ยท ็จๆท่ฎค่ฏ โ โ
โ โ โ โ โ
โ โ gRPC โโโโโโโโ ๅ
้จๆๅก้ด้ไฟก โ โ
โ โ ยท AIๅผๆ โ ่ฎฐๅฟ็ณป็ป โ โ
โ โ ยท AIๅผๆ โ ๅทฅๅ
ทๅผๆ โ โ
โ โ ยท ้ซๆง่ฝ + ๅผบ็ฑปๅ โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ WebSocket ๆถๆฏๅ่ฎฎ่ฎพ่ฎก (JSON) โ โ
โ โ โ โ
โ โ // ๅฎขๆท็ซฏ โ ๆๅก็ซฏ โ โ
โ โ { โ โ
โ โ "type": "message", // message | voice_input โ โ
โ โ "session_id": "uuid", // ไผ่ฏID โ โ
โ โ "mode": "text", // text | voice_msg | โ โ
โ โ // voice_assistant โ โ
โ โ "content": "ๆๅผๅฎขๅ
็็ฏ", // ๆๆฌๅ
ๅฎน โ โ
โ โ "audio_data": null, // Base64้ณ้ข(่ฏญ้ณ่พๅ
ฅๆถ) โ โ
โ โ "timestamp": 1715600000 โ โ
โ โ } โ โ
โ โ โ โ
โ โ // ๆๅก็ซฏ โ ๅฎขๆท็ซฏ โ โ
โ โ { โ โ
โ โ "type": "response", // response | segment | โ โ
โ โ // audio | device_update โ โ
โ โ "message_id": "uuid", โ โ
โ โ "text": "ๅฅฝ็ไธปไบบ๏ผๆ่ฟๅฐฑๅธฎๆจๆๅผๅฎขๅ
็็ฏๅต~", โ โ
โ โ "segments": [ // ๆญๅฅๆฐ็ป(่ฏญ้ณๅฉๆๆจกๅผ) โ โ
โ โ { โ โ
โ โ "index": 0, โ โ
โ โ "text": "ๅฅฝ็ไธปไบบใ", โ โ
โ โ "audio_url": "/audio/seg_001.opus", โ โ
โ โ "duration_ms": 1200 โ โ
โ โ }, โ โ
โ โ { โ โ
โ โ "index": 1, โ โ
โ โ "text": "ๆ่ฟๅฐฑๅธฎๆจๆๅผๅฎขๅ
็็ฏๅต~", โ โ
โ โ "audio_url": "/audio/seg_002.opus", โ โ
โ โ "duration_ms": 1800 โ โ
โ โ } โ โ
โ โ ], โ โ
โ โ "full_audio_url": "/audio/full_resp.opus", // ๅฎๆด้ณ้ข โ โ
โ โ "response_mode": "voice_assistant", // ๅๅคๆจกๅผ โ โ
โ โ "tool_calls": [], // ๅทฅๅ
ท่ฐ็จ่ฎฐๅฝ(ๅฆๆ) โ โ
โ โ "timestamp": 1715600001 โ โ
โ โ } โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
```
---
## ๅ
ญใๅฎขๆท็ซฏ่ทจ็ซฏ่ฝๅ่ฎพ่ฎก
```
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ ๐ ๅฎขๆท็ซฏ่ทจ็ซฏ็ญ็ฅ็ฉ้ต โ
โโโโโโโโโโโโโโโฌโโโโโโโโโโโฌโโโโโโโโโโโโฌโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโค
โ ่ฝๅ โ Web PWA โ React Nat โ Electron โ ๆบ่ฝ้ณ็ฎฑ โ
โ โ โ ive/Flutteโ /Tauri โ (ๅตๅ
ฅๅผ) โ
โ โ โ r โ โ โ
โโโโโโโโโโโโโโโผโโโโโโโโโโโผโโโโโโโโโโโโผโโโโโโโโโโโโผโโโโโโโโโโโโโโโโค
โ ๆๅญ่ๅคฉ โ โ
โ โ
โ โ
โ โ โ
โ ่ฏญ้ณ่พๅ
ฅ โ โ
โ โ
โ โ
โ โ
โ
โ ่ฏญ้ณ่พๅบ โ โ
โ โ
โ โ
โ โ
โ
โ ๆตๅผ้ณ้ข โ โ
โ โ
โ โ
โ โ
โ
โ ่ฎพๅค้ขๆฟ โ โ
โ โ
โ โ
โ โ โ
โ ๅๅฐ่ฟ่ก โ โ ๏ธๆ้ โ โ
โ โ
โ โ
โ
โ ็ณป็ป้็ฅ โ โ
โ โ
โ โ
โ โ
โ
โ ็ฆป็บฟ็ผๅญ โ โ
โ โ
โ โ
โ โ ๏ธๆ้ โ
โ ๆฌๅฐๅญๅจ โ โ ๏ธๆ้ โ โ
โ โ
โ โ ๏ธๆ้ โ
โ ๅ
จๅฑๅฟซๆท้ฎ โ โ โ โ โ โ
โ โ
(็กฌไปถ) โ
โ ๅค็ชๅฃ โ โ โ โ โ โ
โ โ โ
โโโโโโโโโโโโโโโผโโโโโโโโโโโผโโโโโโโโโโโโผโโโโโโโโโโโโผโโโโโโโโโโโโโโโโค
โ ้็จๅบๆฏ โๆฅๅธธ่ๅคฉ โ็งปๅจไธปๅ โไธไธๅทฅไฝ็ซ โๆ ๅฑไบคไบ โ
โ โๅฟซ้่ฎฟ้ฎ โๅ
จๅ่ฝ โๅ
จๅ่ฝ โ็บฏ่ฏญ้ณ โ
โโโโโโโโโโโโโโโดโโโโโโโโโโโดโโโโโโโโโโโโดโโโโโโโโโโโโดโโโโโโโโโโโโโโโโ
```
---
## ไธใๅฎๆด็ณป็ปๆถๅบๅพ (Mermaid)
ไปฅไธๆฏๆ ธๅฟไบคไบๆต็จ็ Mermaid ๅพ่กจ๏ผๅฏๅจๆฏๆ Mermaid ็ๅทฅๅ
ทไธญๆธฒๆ๏ผ
### 7.1 ่ฏญ้ณๅฉๆๆจกๅผๅฎๆดไบคไบๆต็จ
```mermaid
sequenceDiagram
participant U as ็จๆท
participant C as ๅฎขๆท็ซฏ
participant G as API็ฝๅ
ณ
participant A as AIๆ ธๅฟๅผๆ
participant M as ่ฎฐๅฟ็ณป็ป
participant T as TTSๆๅก
participant I as IoT่ฎพๅค
U->>C: ๐๏ธ ่ฏญ้ณ่พๅ
ฅ"ๆๅผๅฎขๅ
็็ฏ"
C->>C: VADๆฃๆต + ้ๅช
C->>G: WebSocket: {type:voice_input, audio:base64}
G->>A: ่ฝฌๅ้ณ้ข
A->>T: ASR่ฏทๆฑ
T-->>A: ๆๆฌ"ๆๅผๅฎขๅ
็็ฏ"
A->>M: ๆฃ็ดข็ธๅ
ณ่ฎฐๅฟ
M-->>A: ็จๆทๅๅฅฝ: ๅฎขๅ
็ฏๅ
ๅๅฅฝๆ่ฒ
A->>A: ็ป่ฃ
Context:
ไบบๆ ผ+่ฎฐๅฟ+ๅๅฒ+็จๆท่พๅ
ฅ
A->>A: LLMๆจ็
A-->>A: ๅณๅฎ่ฐ็จๅทฅๅ
ท: light_control
A->>I: ่ฐ็จIoT API: ๅฎขๅ
็ฏๅผ+ๆ่ฒ
I-->>A: ๆๅ, ไบฎๅบฆ75%, ่ฒๆธฉ3000K
A->>A: ็ๆๅๅค:
"ๅฅฝ็ไธปไบบใๅฎขๅ
็็ฏๅทฒ็ปๆๅผไบ,
่ฐๆไบๆจๅๆฌข็ๆ่ฒใ็ฐๅจไบฎๅบฆๆฏ75%ๅต~"
A->>A: ๆญๅฅๅผๆๅค็:
S1:"ๅฅฝ็ไธปไบบใ"
S2:"ๅฎขๅ
็็ฏๅทฒ็ปๆๅผไบ,่ฐๆไบๆจๅๆฌข็ๆ่ฒใ"
S3:"็ฐๅจไบฎๅบฆๆฏ75%ๅต~"
loop ้ๅฅTTS
A->>T: S1ๆๆฌ
T-->>A: S1้ณ้ขURL
A->>G: ๆจ้ segment {index:0, text, audio_url}
G->>C: WebSocketๆจ้
C->>C: ๅ ๅ
ฅๆญๆพ้ๅ, ็ซๅณๆญๆพ
C->>U: ๐ "ๅฅฝ็ไธปไบบใ" (ๅๆถๆพ็คบๆๅญ)
end
A->>M: ่ฎฐๅฝ: ็จๆทๆไฝไบๅฎขๅ
็ฏ
M->>M: ๆดๆฐ่ฎฐๅฟ็ดขๅผ
C->>U: ๆพ็คบๅฎๆดๅๆ
```
### 7.2 ้ฟๆ่ฎฐๅฟ็ๅฝๅจๆ
```mermaid
flowchart TD
A[ๅฏน่ฏ็ปๆ] --> B[่ฎฐๅฟๆๅๅจ]
B --> C{ไฟกๆฏๆฏๅฆๆไปทๅผ?}
C -->|ๆ ไปทๅผ| D[ไธขๅผ]
C -->|ๆไปทๅผ| E[ๅฎไฝๆฝๅ & ๅ
ณ็ณป่ฏๅซ]
E --> F{ไฟกๆฏๅ็ฑป}
F -->|็จๆท็ธๅ
ณ| G1[็จๆท็ปๅๆดๆฐ]
F -->|ไบๅฎไฟกๆฏ| G2[ไบๅฎ่ฎฐๅฟ]
F -->|ๅๅฅฝไน ๆฏ| G3[ๅๅฅฝ่ฎฐๅฟ]
F -->|ไบไปถ| G4[ไบไปถๆถ้ด็บฟ]
G1 --> H{้่ฆๆง่ฏไผฐ}
G2 --> H
G3 --> H
G4 --> H
H -->|๐ด ๆ ธๅฟ| I1[/data/memory/users/{id}/facts/core/]
H -->|๐ก ้่ฆ| I2[/data/memory/users/{id}/facts/important/]
H -->|๐ข ๆฎ้| I3[/data/memory/users/{id}/facts/normal/]
H -->|โช ไธดๆถ| I4[ไป
ไฟ็ๅจไผ่ฏไธไธๆ]
I1 --> J[(PostgreSQL)]
I1 --> K[(ๅ้ๆฐๆฎๅบ)]
I2 --> J
I2 --> K
I3 --> J
J --> L[ๅฎๆๅคไปฝๅฐMinIO/S3]
K --> L
L --> M{่ฟ็งป่งฆๅ?}
M -->|ๆฏ| N[ๅคๅถ/data/็ฎๅฝๅฐๆฐๆๅกๅจ]
N --> O[docker-compose up -d]
O --> P[โ
่ฟ็งปๅฎๆ,่ฎฐๅฟๆ ๆ]
```
### 7.3 ๆๅก้จ็ฝฒๆถๆ
```mermaid
graph TB
subgraph "็จๆท็ซฏ"
W[Web PWA]
M[iOS/Android App]
D[Desktop App]
S[ๆบ่ฝ้ณ็ฎฑ]
end
subgraph "่ด่ฝฝๅ่กก"
LB[Nginx / Traefik]
end
subgraph "ๆๅก้็พค"
GW1[Gateway-1]
GW2[Gateway-2]
AI1[AI Core-1]
AI2[AI Core-2]
TS1[TTS/ASR-1]
TS2[TTS/ASR-2]
MM[Memory Manager]
TE[Tool Engine]
end
subgraph "ๆฐๆฎๅฑ"
PG[(PostgreSQL)]
RD[(Redis)]
VD[(ๅ้ๆฐๆฎๅบ)]
FS[(MinIO ๆไปถๅญๅจ)]
end
subgraph "ๅค้จๆๅก"
LLM[LLM API
OpenAI/Claude/ๆฌๅฐ]
IOT[IoT Platform
MQTT Broker]
EXT[็ฌฌไธๆนAPI
ๅคฉๆฐ/ๆฐ้ป็ญ]
end
W & M & D & S --> LB
LB --> GW1 & GW2
GW1 & GW2 --> AI1 & AI2
AI1 & AI2 --> MM
AI1 & AI2 --> TE
AI1 & AI2 --> TS1 & TS2
AI1 & AI2 --> LLM
TE --> IOT
TE --> EXT
MM --> PG & VD & FS
AI1 & AI2 --> RD
```
---
## ๅ
ซใ้กน็ฎ็ฎๅฝ็ปๆๅปบ่ฎฎ
```
family-ai-assistant/
โ
โโโ backend/ # ๅ็ซฏๆๅก
โ โโโ gateway/ # API็ฝๅ
ณๆๅก
โ โ โโโ cmd/ # ๅ
ฅๅฃ
โ โ โโโ internal/
โ โ โ โโโ middleware/ # ่ฎค่ฏ/้ๆต/ๆฅๅฟ
โ โ โ โโโ handler/ # ่ทฏ็ฑๅค็
โ โ โ โโโ ws/ # WebSocket็ฎก็
โ โ โโโ Dockerfile
โ โ
โ โโโ ai-core/ # ๆ ธๅฟAIๅผๆ
โ โ โโโ cmd/
โ โ โโโ internal/
โ โ โ โโโ orchestrator/ # ๅฏน่ฏ็ผๆๅจ
โ โ โ โโโ persona/ # ไบบๆ ผๆณจๅ
ฅ
โ โ โ โโโ context/ # ไธไธๆๆๅปบ
โ โ โ โโโ llm/ # LLM้้
ๅฑ
โ โ โ โโโ strategist/ # ๅๅค็ญ็ฅ
โ โ โ โโโ sentence_splitter/ # ๆญๅฅๅผๆ
โ โ โโโ Dockerfile
โ โ
โ โโโ voice-service/ # ่ฏญ้ณๅค็ๆๅก
โ โ โโโ cmd/
โ โ โโโ internal/
โ โ โ โโโ asr/ # ่ฏญ้ณ่ฏๅซ
โ โ โ โโโ tts/ # ่ฏญ้ณๅๆ
โ โ โ โโโ vad/ # ่ฏญ้ณๆดปๅจๆฃๆต
โ โ โ โโโ pipeline/ # ้ณ้ขๆตๆฐด็บฟ
โ โ โโโ Dockerfile
โ โ
โ โโโ memory-service/ # ่ฎฐๅฟ็ฎก็ๆๅก
โ โ โโโ cmd/
โ โ โโโ internal/
โ โ โ โโโ extractor/ # ่ฎฐๅฟๆๅ
โ โ โ โโโ classifier/ # ๅ็ฑปๅ็บง
โ โ โ โโโ retriever/ # ่ฎฐๅฟๆฃ็ดข
โ โ โ โโโ store/ # ๅญๅจๅฑ
โ โ โโโ Dockerfile
โ โ
โ โโโ tool-engine/ # ๅทฅๅ
ท่ฐ็จๅผๆ
โ โ โโโ cmd/
โ โ โโโ internal/
โ โ โ โโโ registry/ # ๅทฅๅ
ทๆณจๅ
โ โ โ โโโ executor/ # ๆง่กๅผๆ
โ โ โ โโโ plugins/ # ๆไปถ็ณป็ป
โ โ โ โโโ adapters/ # IoT/่ฎพๅค้้
ๅจ
โ โ โโโ Dockerfile
โ โ
โ โโโ proto/ # gRPCๅ่ฎฎๅฎไน
โ โ โโโ ai_core.proto
โ โ โโโ memory.proto
โ โ โโโ voice.proto
โ โ โโโ tool.proto
โ โ
โ โโโ data/ # ๆฐๆฎๆไปถ(Volumeๆ่ฝฝ)
โ โ โโโ memory/ # ่ฎฐๅฟๆไปถ็ณป็ป
โ โ โโโ persona/ # ไบบๆ ผ็ฅ่ฏๆๆกฃ
โ โ โ โโโ default.yaml
โ โ โ โโโ custom/
โ โ โโโ plugins/ # ็ฌฌไธๆนๆไปถ
โ โ
โ โโโ docker-compose.yml # ไธ้ฎ้จ็ฝฒ
โ โโโ docker-compose.prod.yml # ็ไบง็ฏๅข
โ โโโ .env.example # ็ฏๅขๅ้ๆจกๆฟ
โ
โโโ frontend/ # ๅ็ซฏ้กน็ฎ
โ โโโ packages/
โ โ โโโ shared/ # ๅ
ฑไบซไปฃ็
โ โ โ โโโ src/
โ โ โ โ โโโ api/ # APIๅฎขๆท็ซฏ
โ โ โ โ โโโ ws/ # WebSocket็ฎก็
โ โ โ โ โโโ audio/ # ้ณ้ขๅค็
โ โ โ โ โโโ store/ # ็ถๆ็ฎก็
โ โ โ โ โโโ types/ # TypeScript็ฑปๅ
โ โ โ โ โโโ utils/ # ๅทฅๅ
ทๅฝๆฐ
โ โ โ โโโ package.json
โ โ โ
โ โ โโโ web/ # Web PWA
โ โ โ โโโ src/
โ โ โ โ โโโ components/ # UI็ปไปถ
โ โ โ โ โ โโโ chat/ # ่ๅคฉ็ปไปถ
โ โ โ โ โ โโโ voice/ # ่ฏญ้ณ็ปไปถ
โ โ โ โ โ โโโ device/ # ่ฎพๅคๆงๅถ
โ โ โ โ โ โโโ memory/ # ่ฎฐๅฟๆฅ็
โ โ โ โ โโโ pages/ # ้กต้ข
โ โ โ โ โโโ hooks/ # ่ชๅฎไนHook
โ โ โ โ โโโ workers/ # Web Workers
โ โ โ โโโ vite.config.ts
โ โ โ
โ โ โโโ mobile/ # React Native / Flutter
โ โ โ โโโ ...
โ โ โ
โ โ โโโ desktop/ # Electron / Tauri
โ โ โโโ ...
โ โ
โ โโโ turbo.json # Turborepo้
็ฝฎ
โ
โโโ docs/ # ๆๆกฃ
โ โโโ architecture.md # ๆถๆๆๆกฃ
โ โโโ api-reference.md # APIๆๆกฃ
โ โโโ deployment.md # ้จ็ฝฒๆๅ
โ โโโ persona-guide.md # ไบบๆ ผ่ฎพๅฎๆๅ
โ
โโโ scripts/ # ้จ็ฝฒ/่ฟ็ปด่ๆฌ
โ โโโ deploy.sh
โ โโโ backup.sh
โ โโโ migrate.sh
โ โโโ setup.sh
โ
โโโ .github/ # CI/CD
โ โโโ workflows/
โ โโโ backend-ci.yml
โ โโโ frontend-ci.yml
โ
โโโ README.md
```
---
## ไนใๅ
ณ้ฎๆๆฏๅณ็ญไธ่้
```
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ โ ๏ธ ๅ
ณ้ฎๆๆฏๅณ็ญ็ฉ้ต โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโค
โ โ
โ 1. ไธบไปไน้ๆฉ WebSocket ไฝไธบไธป้ไฟกๅ่ฎฎ๏ผ โ
โ โ
ๅๅๅฎๆถ้ไฟก๏ผ้ๅๆตๅผๅฏน่ฏ โ
โ โ
ไฝๅปถ่ฟ๏ผๆฏๆ้ณ้ขๆตๆจ้ โ
โ โ
ๆญ็บฟ้่ฟๆบๅถๆ็ โ
โ โ ๏ธ ้ๅค็่ฟๆฅ็ถๆ็ฎก็ๅๅฟ่ทณ โ
โ โ
โ 2. ่ฎฐๅฟ็ณป็ปไธบไปไน็จๆไปถ+ๆฐๆฎๅบๆททๅ๏ผ โ
โ โ
ๆไปถ็ณป็ป๏ผไบบ็ฑปๅฏ่ฏป๏ผ็ดๆฅ่ฟ็งป๏ผๅคไปฝ็ฎๅ โ
โ โ
PostgreSQL๏ผ็ปๆๅๆฅ่ฏข๏ผๅ
ณ็ณปๅๆฐๆฎ โ
โ โ
ๅ้ๆฐๆฎๅบ๏ผ่ฏญไนๆฃ็ดข๏ผ็ธไผผ่ฎฐๅฟๅน้
โ
โ โ
ไธๅฑไบ่กฅ๏ผ่ฆ็ๆๆๅบๆฏ โ
โ โ
โ 3. ไบบๆ ผ็ณป็ปไธบไปไน็จ YAML/ๆๆกฃ่้ไปฃ็ ็กฌ็ผ็ ๏ผ โ
โ โ
้ๆๆฏไบบๅๅฏ็ผ่พไฟฎๆน โ
โ โ
ๆฏๆๅค่ง่ฒๅฟซ้ๅๆข โ
โ โ
็ๆฌ็ฎก็ๅๅฅฝ โ
โ โ
ๅฏๅไบซ/ๅฏผๅ
ฅ็คพๅบ่ง่ฒ โ
โ โ
โ 4. ่ฏญ้ณๅฉๆๆจกๅผๆญๅฅ็ญ็ฅ โ
โ โ
ๆๅฅๅทๆญๅฅ๏ผๆ่ช็ถ็ๅ้็น โ
โ โ
้ฆๅฅไผๅ
๏ผ้ไฝ้ฆๆฌกๅๅบๅปถ่ฟ โ
โ โ
้ๅ้ข็ๆ๏ผ่พนๆญๆพ่พนๅๆ๏ผๆ ็ผ่กๆฅ โ
โ โ ๏ธ ้ๅค็ๆ ๅฅๅท็้ฟๅฅ๏ผ้็บง็ญ็ฅ๏ผๆ้ๅท/้ฟๅบฆๅๅ๏ผ โ
โ โ
โ 5. LLM ้ๆฉ็ญ็ฅ โ
โ โ
ไบ็ซฏๅคงๆจกๅ๏ผๅคๆๆจ็ใ็ฅ่ฏ้ฎ็ญ (GPT-4, Claude) โ
โ โ
ๆฌๅฐๅฐๆจกๅ๏ผๅฟซ้ๅๅบใ็ฆป็บฟๅฏ็จ (Qwen, DeepSeek) โ
โ โ
ๆททๅ่ทฏ็ฑ๏ผๆ นๆฎไปปๅกๅคๆๅบฆ่ชๅจ้ๆฉ โ
โ โ ๏ธ ้็ปดๆคๅคๆจกๅ้้
ๅฑ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
```
---
## ๅใๆป็ปไธๅ็ปญๆจ่ฟๅปบ่ฎฎ
| ้ถๆฎต | ๅ
ๅฎน | ไบงๅบ |
|------|------|------|
| **Phase 1: ๆๅฐๅฏ็จ** | ๆๅญๅฏน่ฏ + ไบบๆ ผๆณจๅ
ฅ + ๅบ็ก่ฎฐๅฟ + Web PWA | ๅฏ่ๅคฉ็AIๅฉๆ |
| **Phase 2: ่ฏญ้ณไบคไบ** | ASR/TTS้ๆ + ๆญๅฅๆตๅผ + ่ฏญ้ณๅฉๆๆจกๅผ | ๆฏๆ่ฏญ้ณๅฏน่ฏ |
| **Phase 3: ๅฎถๅบญIoT** | IoT้้
ๅจ + ่ฎพๅคๆงๅถ้ขๆฟ + ๅบๆฏ่ๅจ | ๅฎถๅบญ็ฎกๅฎถ่ฝๅ |
| **Phase 4: ๆทฑๅบฆ่ฎฐๅฟ** | ๅ้ๆฃ็ดข + ่ฎฐๅฟๅฏ่งๅ + ๆบ่ฝๆ่ฆ | ็ๆญฃ็"่ฎฐไฝไฝ " |
| **Phase 5: ๅค็ซฏ่ฆ็** | React Native + Electron + ๆบ่ฝ้ณ็ฎฑ | ๅ
จๅบๆฏ่ฆ็ |
| **Phase 6: ่ทจๅไบ่** | ่ฝฆๆบ/ๅๅ
ฌ/็ฉฟๆด่ฎพๅค้ๆ | ๅ
จ่ฝๅฉๆ |
---