โปรเจกต์วิจัยผู้ช่วยมองภาพบนอุปกรณ์

แสงเล็ก ๆ เพื่อโลกที่ชัดขึ้น

รู้จัก LunaV ผู้ช่วยบน iPhone ที่ให้คุณถามจากภาพ อ่านข้อความ และฟังคำตอบ เพื่อเข้าใจสิ่งรอบตัว ด้วย AI ที่ประมวลผลในเครื่อง

LunaV 3.0.0 · ต้นแบบงานวิจัยสำหรับ iPhone · SCiUS Forums 17

AI บน iPhoneเสียงถาม–ตอบไทยและอังกฤษเลื่อนเพื่อรู้จักกัน
มองใกล้อีกนิด

โลกของคุณ คำถามของคุณ

LunaV 3.0.0 เพิ่มหน้าจอภาษาไทย–อังกฤษและหน้าเกี่ยวกับ เลือกภาษาหน้าจอแยกจากภาษารับเสียงและเสียงอ่านคำตอบ พร้อมธีมดวงจันทร์และหน้ากล้องสองปุ่มเช่นเดิม

ภาพหนึ่งใบ บทสนทนาหนึ่งเรื่อง

กดค้างแล้วพูด ปล่อยเพื่อส่งคำถาม

กดปุ่มกลางค้างแล้วพูดด้วยภาษาที่เลือก ไทยหรืออังกฤษ แอปถ่ายภาพพร้อมรับเสียง ปล่อยเพื่อส่ง แล้วอ่านและฟังคำตอบเมื่อประมวลผลเสร็จ

  • ถามเกี่ยวกับสิ่งของ สี และรายละเอียดที่มองเห็น
  • ถามต่อในภาพเดิมผ่านเครื่องมือทดสอบ โดยเก็บบริบทข้อความล่าสุดแบบใช้หน่วยความจำน้อย
  • คำตอบเริ่มต้นเป็นภาษาไทย ขอให้ตอบภาษาอังกฤษได้
อ่านคำตอบออกเสียงอัตโนมัติด้วยเสียง Apple ที่มีในเครื่อง ปิดหรือเลือกเสียงได้ในตั้งค่า
บทสนทนา LunaV 3.0.0 หน้าจออังกฤษ แสดงคำถามไทยเดิมและข้อความ OCR ทดสอบ
LunaV 3.0.0 · หน้าจออังกฤษ / ภาพ OCR ทดสอบ · Simulator
ข้อความที่อยู่รอบตัว

อ่านข้อความ ทีละสิ่งที่คุณสนใจ

อ่านป้าย เมนู ฉลาก หรือเอกสารด้วย OCR บนเครื่อง เลือกกรอบหรือกลุ่มข้อความ เพื่ออ่านและสรุปเฉพาะส่วนที่ต้องการ

  • แยกข้อความตามป้าย เมนู และฉลาก
  • ดูข้อความ OCR ต้นฉบับประกอบกับสรุป
  • เลือกกรอบเล็กลงเมื่อข้อความแน่นหรือยาวเกินไป
ตัวเล็ก ภาพเอียง และลายมืออาจอ่านผิด ควรตรวจข้อความต้นฉบับ
เครื่องมือ LunaV แยกข้อความจากป้าย เมนู และฉลากเป็นกลุ่ม
ตัวอย่างกลุ่มข้อความ · Simulator · 29 ต.ค. 2026
รู้ที่มาของระยะที่ได้รับ

สำรวจระยะ รู้ที่มาของคำตอบ

ถามถึงวัตถุในภาพใหม่ LiDAR ใช้ความลึกจากเซ็นเซอร์ ส่วนเครื่องไม่มี LiDAR จะให้ DA3 ประมาณระยะด้วยข้อมูลเลนส์เมื่อถามระยะหรือเปิดเลือกจุดเท่านั้น

  • เก็บภาพคู่กับข้อมูลกล้องของการถ่ายครั้งนั้น
  • แยกค่าประมาณ DA3 ชัดเจนและปัดเป็น 0.1 เมตร
  • เมื่อไม่มี depth ที่ใช้ได้หรือข้อมูลเลนส์ที่จำเป็น ระบบไม่ให้ตัวเลขระยะ
ค่า DA3 เป็นค่าประมาณ เทียบสเกลแยกตามกล้องได้ ยังไม่ได้ยืนยันกับระยะอ้างอิงจริงบน iPhone ส่วนภาพนำเข้าที่ไม่มีคู่ depth จะไม่ให้ระยะเป็นตัวเลข
หน้ากล้อง LunaV 3.0.0 ภาษาอังกฤษในโหมดภาพทดสอบบน Simulator
กล้อง LunaV 3.0.0 · ภาษาอังกฤษ · Simulator · ไม่ใช่ LiDAR สด
จากภาพตรงหน้า สู่ความเข้าใจ

กดค้างแล้วพูด ปล่อยปุ่มเพื่อส่ง

แต่ละคำถามถ่ายภาพใหม่พร้อมรับเสียง ปล่อยปุ่มเพื่อส่ง ความเงียบระหว่างกดค้างไม่ทำให้ส่งเอง

  1. 01

    กดค้างแล้วพูด

    กดปุ่มกลางค้างเพื่อถ่ายภาพและรับเสียงพร้อมกัน พูดขณะถือปุ่มได้ ครั้งแรกต้องอนุญาตกล้องและไมโครโฟน

  2. 02

    ปล่อยเพื่อส่ง

    ปล่อยปุ่มเพื่อหยุดเสียงและส่งเมื่อภาพพร้อม รับเสียงได้ไม่เกิน 2 นาที หากยาวเกินกำหนด ระบบจะแจ้งให้พูดสั้นลง

  3. 03

    ประมวลผลในเครื่อง

    Apple Dictation ถอดเสียงตามภาษาที่เลือกก่อน Qwen ตอบจากภาพ มีสถานะขั้นตอน และใช้ปุ่มเดิมเพื่อยกเลิกระหว่างทำงาน

  4. 04

    อ่านและฟังคำตอบ

    ดูคำถามกับคำตอบบนหน้าจอ พร้อมเสียง Apple อ่านคำตอบที่เสร็จแล้ว เลือกเสียง อ่าน OCR หรือเลือกพื้นที่เพิ่มเติมได้ในตั้งค่า

เบื้องหลัง LunaV

ความสามารถที่พกได้ อยู่ใน iPhone ของคุณ

อุ่นโมเดลที่จำเป็นในครั้งแรก เครื่องหน่วยความจำจำกัดคืนโมเดลระหว่างคำถาม การโหลดใหม่อาจเพิ่มเวลารอ โดยยังใช้โมเดลและความละเอียดภาพเดิม

อ่านสถานะและขอบเขตโปรเจกต์

Qwen3-VL-2B-Instruct

4-bit · MLX / Metal

วิเคราะห์ภาพบน GPU ในเครื่อง รุ่นหน่วยความจำจำกัดโหลดเมื่อต้องใช้ และคืนโมเดลก่อนถ่ายใหม่กับหลังประมวลผล

Apple Dictation

DictationTranscriber · SpeechAnalyzer

เลือกไทยหรืออังกฤษในตั้งค่า ถอดเสียงด้วยโมเดล iOS ที่ติดตั้งแล้ว หากยังไม่มีภาษานั้นอาจต้องดาวน์โหลดจาก Apple ครั้งแรก

Apple Vision

OCR บนอุปกรณ์

อ่านข้อความพร้อมตำแหน่ง ถามต่อในภาพเดิมใช้ผล OCR ที่เตรียมไว้ซ้ำ เลือกพื้นที่หรือกลุ่มเพื่อเก็บบริบทต้นฉบับ

LiDAR + AVFoundation

สำหรับกล้องหลังที่รองรับ

จับคู่ภาพถ่ายกับความลึกจากเซ็นเซอร์ ระยะอ้างอิง ณ เวลาที่ถ่ายภาพ

DA3METRIC-LARGE

Core ML FP16 · เครื่องไม่มี LiDAR

เครื่องไม่มี LiDAR คำนวณจากภาพและข้อมูลเลนส์ที่เก็บไว้เมื่อต้องใช้ระยะ แล้วใช้แผนที่เดิมซ้ำ เครื่องมี LiDAR ข้าม DA3 รวมถึงเมื่อจับ depth ไม่สำเร็จ

เสียงอ่านของ Apple

AVSpeechSynthesizer

อ่านคำตอบที่เสร็จแล้วด้วยเสียงไทยหรืออังกฤษของ Apple ที่มีในเครื่อง เลือกหรือปิดเสียงในตั้งค่า เป็นเสียงระบบที่ API รองรับ ไม่ใช่ Siri

เรื่องราวของคุณ อยู่ใกล้ตัวคุณ

คำถามของคุณ iPhone ของคุณ

วิเคราะห์ภาพ ถอดเสียง และอ่านคำตอบบน iPhone ไม่ต้องใช้บริการ AI บนคลาวด์หรือ API key

ประมวลผลออฟไลน์หลังเตรียมภาษา
โมเดลภาพและ DA3 บรรจุในแอป Apple Dictation อาจดาวน์โหลดภาษาที่ยังไม่มีระหว่างเตรียมครั้งแรก จากนั้นถอดคำถามด้วยโมเดลที่ติดตั้งแล้วเท่านั้น
จัดการไฟล์ชั่วคราวอย่างชัดเจน
ภาพอาจเก็บชั่วคราวใน sandbox เก็บแคชในหน่วยความจำเฉพาะข้อความและตำแหน่ง OCR ของภาพล่าสุด ล้างเมื่อเปลี่ยนภาพหรือล้างบริบท ส่วนเสียงลบเมื่องานถอดเสียงจบจริง
สิทธิ์กล้องและไมโครโฟน
ใช้กล้องเมื่อถ่ายภาพ และใช้ไมโครโฟนเมื่อถามคำถามด้วยเสียง
ทบทวนข้อมูลโปรเจกต์ · 29 ต.ค. 2026

พัฒนาอย่างใส่ใจ บอกผลทดสอบตามจริง

LunaV เป็นแอปต้นแบบงานวิจัย ผลด้านล่างเป็นการตรวจระหว่างพัฒนา ยังไม่ใช่การรับรองความแม่นยำในการใช้งานจริง

269/269

การทดสอบ regression บน Simulator ผ่าน

เวอร์ชัน 3.0.0 ผ่าน unit 253 และ UI 16 รวม About สองภาษา การจำภาษาหน้าจอ และขั้นตอนกล้อง/OCR เดิม ไม่มี fail หรือ skip ผลบน Simulator ยังไม่ยืนยันความแม่นยำ AI หรือเซ็นเซอร์จริง

iPhone

เวอร์ชัน 3 ยังรอตรวจบนเครื่องจริง

Release 3.0.0 (บิลด์ 3) ตรวจลายเซ็นผ่าน แต่ยกเลิกการติดตั้งบน iPhone 14 หลังรอเกินสามนาทีโดยไม่มีความคืบหน้าการเชื่อมต่อหรือโอนข้อมูล ผลตรวจเครื่องจริงวันที่ 24 ตุลาคมเป็นของรุ่นก่อนหน้า

iOS 27

ระบบที่โปรเจกต์ปัจจุบันใช้

ใช้ Xcode 27 ขึ้นไปในการ build การรันโมเดลยังขึ้นกับหน่วยความจำที่อุปกรณ์มีให้

ดูรายละเอียดผลตรวจและข้อจำกัด
ก่อนเริ่มทำความรู้จัก

คำถามที่อาจสงสัย

ดาวน์โหลด LunaV จาก App Store ได้หรือยัง?

LunaV ยังเป็นแอปต้นแบบงานวิจัย เว็บไซต์นี้ยังไม่มีรุ่น App Store ให้ดาวน์โหลด ไปที่ GitHub ของโปรเจกต์เพื่อดูโค้ดเว็บไซต์และข้อมูลโครงการ โดย repo นี้ยังไม่รวมซอร์สแอป iPhone หรือน้ำหนักโมเดล

ดูโปรเจกต์บน GitHub
เปลี่ยนภาษาหน้าจอแอปได้ไหม?

ได้ ที่ตั้งค่า → ภาษาแอพ เลือกไทยหรือ English หน้าจอเปลี่ยนทันทีและจำค่าหลังเปิดแอปใหม่ โดยเปลี่ยนเฉพาะข้อความหน้าจอ ภาษารับเสียง ภาษาคำตอบ เสียงอ่าน และคำถาม คำตอบ หรือ OCR เดิมยังคงเดิม ส่วนหน้าต่างระบบ iOS ใช้ภาษาตามการตั้งค่าของระบบ

ดูตัวอย่างตั้งค่าภาษาอังกฤษ
ดูเวอร์ชันแอปได้ที่ไหน?

เปิดตั้งค่า → เกี่ยวกับ → เกี่ยวกับ LunaV รุ่นปัจจุบันคือ 3.0.0 (บิลด์ 3) หน้านี้อ่านเวอร์ชันจากแอปที่ติดตั้งจริง พร้อมแสดงผู้จัดทำและลิงก์เว็บไซต์โครงการ

ดูหน้าเกี่ยวกับภาษาไทย

ดูหน้าเกี่ยวกับภาษาอังกฤษ

ถามด้วยเสียงแบบออฟไลน์ได้ไหม?

ได้ เมื่อมีภาษา Apple Dictation ที่เลือกติดตั้งแล้ว ค่าเริ่มต้นเป็นไทย เปลี่ยนเป็น English ได้ในตั้งค่า ภาษาที่ยังไม่มีอาจดาวน์โหลดจาก Apple ระหว่างเตรียม ส่วนการถอดคำถามทำบนเครื่องและไม่ได้สลับภาษาให้อัตโนมัติ

LunaV พูดคำตอบออกเสียงหรือไม่?

อ่านคำตอบ AI, OCR, สรุป และระยะออกเสียงอัตโนมัติเมื่อเสร็จ ใช้เสียง Apple ที่มีในเครื่อง เลือกเสียงไทย/อังกฤษหรือปิดได้ในตั้งค่า เมื่อเริ่มถ่ายใหม่เสียงจะหยุด เสียงที่ API นี้รองรับไม่ใช่ Siri

ทำไมบางคำถามใช้เวลาประมวลผล?

เครื่องหน่วยความจำจำกัดคืนโมเดลเมื่อว่าง เพื่อให้มี RAM ระหว่างคำถามมากขึ้น การโหลดใหม่อาจเพิ่มเวลารอ โดยคงโมเดลและความละเอียดภาพเดิม แอปแสดงสถานะและยกเลิกได้ หากเสียงไม่พร้อม ยังพิมพ์ถามและใช้ OCR ได้เมื่อโมเดลภาพพร้อม

ต้องมี LiDAR จึงจะใช้ได้หรือไม่?

ไม่จำเป็น เครื่องไม่มี LiDAR ที่รองรับโมเดลใช้ DA3METRIC-LARGE เมื่อถามระยะหรือเปิดเลือกจุด โดยใช้ภาพและข้อมูลเลนส์ที่เก็บไว้ ถามต่อใช้แผนที่เดิม กล้อง LiDAR ที่รองรับใช้เซ็นเซอร์ ค่าประมาณไม่ใช่ค่าที่เซ็นเซอร์วัด และภาพนำเข้าไม่มีคู่ depth จะไม่ให้ตัวเลขระยะ

เทียบสเกลระยะ DA3 ได้ไหม?

ในตั้งค่า กรอกระยะจริง 0.3–8 เมตรของพื้นผิวทึบกลางภาพ ระบบบันทึกสเกลแยกตามกล้อง ช่วยลดความคลาดเคลื่อนเชิงระบบได้ แต่ไม่ได้ทำให้ทุกฉากแม่นยำหรือรับรองว่าแม่นเท่า LiDAR

ใช้เป็นระบบนำทางขณะเดินได้ไหม?

LunaV ตอบจากภาพที่ถ่ายไว้ ทั้งระยะ LiDAR และค่าประมาณ DA3 อ้างอิงตอนถ่าย ไม่ได้เปลี่ยนตามการเดิน แอปยังไม่ใช่ระบบนำทางต่อเนื่องหรือสิ่งทดแทนอุปกรณ์ช่วยเดินทาง

นำไปใช้เชิงพาณิชย์ได้หรือไม่?

AGPL อนุญาตให้ใช้เชิงพาณิชย์เมื่อปฏิบัติตามเงื่อนไข หากต้องการสิทธิ์เพิ่มเติม สามารถสอบถามข้อตกลง commercial license แยกต่างหาก โมเดลและ dependency บุคคลที่สามยังใช้ไลเซนส์ของเจ้าของเดิม

อ่านประกาศ commercial license
ไอเดียที่อยากแบ่งปัน

แบ่งปันแสงเล็ก ๆ ต่อยอดความเป็นไปได้

ศึกษาแนวคิด สำรวจโค้ด และร่วมต่อยอดสิ่งที่จะเกิดขึ้น โค้ดต้นฉบับใน repo นี้เผยแพร่ภายใต้ AGPL-3.0-or-later

AGPL-3.0-or-later

ใช้ ศึกษา แก้ไข และแบ่งปันภายใต้ GNU Affero General Public License รวมถึงใช้เชิงพาณิชย์ได้ตามเงื่อนไข พร้อมข้อกำหนดการให้ซอร์สโค้ดที่เกี่ยวข้อง

อ่านไลเซนส์ฉบับเต็ม

Commercial license แยกต่างหาก

หากต้องการสิทธิ์เพิ่มเติมจาก AGPL ติดต่อผู้ดูแลเพื่อหารือข้อตกลงเป็นลายลักษณ์อักษร ประกาศนี้ยังไม่ใช่การให้สิทธิ์เชิงพาณิชย์เพิ่มเติม

อ่านเงื่อนไขและช่องทางติดต่อ

Repo นี้เก็บเว็บไซต์ ไม่รวมซอร์สแอป iPhone หรือน้ำหนักโมเดล ซอฟต์แวร์ ฟอนต์ และภาพจากบุคคลที่สามยังใช้เงื่อนไขเดิม ดูเครดิตและรายละเอียดในเอกสารโปรเจกต์