TomYumAi กำลังโหลด…

TomYum Ai

~1B พารามิเตอร์ · เทรนจากศูนย์

–token ที่เรียนแล้ว
110,080เซลล์ประสาทจริง
–คะแนนรวมล่าสุด
คลังคำ 65,536 ชั้นทำนาย
ทั้งหมด

ความคืบหน้า

เรียนไปแล้ว
–
–
–
คะแนนรวม
–
–
bits/ตัวอักษร · ยิ่งต่ำยิ่งเก่ง
ความเร็วเรียน
–
token/วินาที

คะแนนตลอดการเทรน

คะแนนรวม (bits/ตัวอักษร)ยิ่งต่ำยิ่งเก่ง · จุด = จบแต่ละช่วง
ดูเป็นตาราง
ช่วงtokenคะแนนรวม

โครงสร้างจริง

พารามิเตอร์ทั้งหมด
1,020,350,976
20ชั้น
640หัวความสนใจ (32 ต่อชั้น)
5,504เซลล์ MLP ต่อชั้น
2,048มิติกระแสหลัก
65,536คำในคลังคำ
4,096token ต่อบริบท
ทุกชั้น
–

ภาพบนสุดคือโครงสร้างจริงของ TomYum Ai: ทุกจุดในแต่ละแผ่นคือเซลล์ประสาท MLP หนึ่งตัว (รวม 110,080 ตัว) เรียงตามหมายเลขเซลล์จริง จุดใหญ่วงในคือหัวความสนใจ แกนกลางคือกระแสหลักที่ทุกชั้นอ่านและเขียนกลับ · ความสว่างของเซลล์ = ขนาดน้ำหนักขาออกจริงจากจุดพักล่าสุด · แสงที่วิ่งขึ้นตามความเร็วเรียนจริง (หยุดเมื่อพักเครื่อง) · ตัวเลขการเทรนอัปเดตทุก ~1 นาที · เทคนิคการเทรน: Muon + AdamW · BF16