Llamafile server ไม่ได้รวมโมเดลไว้ในตัวเหมือนไฟล์ .llamafile ทำให้ไม่ติดข้อจำกัด 4 GB บนวินโดว์ นอกจากนี้สามารถเปลี่ยนไปใช้โมเดลฟอร์แม็ต GGUF แบบต่างๆได้มากมายตามต้องการ ในวีดีโอจะแสดงการใช้
– LLaVA v1.5-7B บนวินโดว์ ที่ข้ามข้อจำกัด 4GB และ ความสามารถ multimodal
– ตัวอย่างการรันบน Linux แบบ .llamafile และแบบเซิร์ฟเวอร์ รันบน เครื่อง Dell PowerEdge T350 ที่ทำวีดีโอติดตั้ง Proxmox ไว้ก่อนหน้านี้
-WizardCoder-Python-34B-V1.0 ที่ว่าดีกว่า GPT4 (2023/03/15),
– OpenThaiGPT ที่ตอบภาษาไทยได้ค่อนข้างดีกว่าตัวอื่นๆ
Note:
บางโมเดลไม่ได้เอามาจากต้นฉบับเพราะไม่มีฟอร์แม็ต GUFF และไม่ได้เลือกเฉพาะรุ่นขนาดเล็กมาทดสอบ อาจจะมีการปรับแต่งในแบบต่างๆมาแล้วผลที่ได้อาจจะไม่เหมือนทางต้นฉบับนัก
ข้อมูลเพิ่มเติมดูใน github ได้ครับ
[ad_2]
source
