LICAI

Life and Inspiration and Creation. 一个从零自研的 256M 参数级语言模型—— 分词器、架构、训练管线、推理引擎与 API 服务全部自行实现,无任何预训练权重。 Muse 主攻艺术、哲学、文学与审美,兼顾数学,支持中英双语与对话。

阅读文档 打开控制台
256,410,624 参数 32,768 词表 16 层 · 上下文 1024 纯 CPU 训练 3 小时 loss 10.6 → 5.72 OpenAI 兼容 API

为什么是 LIC-Muse

不是套壳,不是微调——从字节到权重的完整自研管线。

🧩

全链路自研

byte-level BPE 分词器(含训练器)、RMSNorm + RoPE + SwiGLU 架构、训练循环、KV-cache 推理引擎、OpenAI 兼容 API,每一行都自己写。

🎨

艺术与哲学的血统

训练语料以中国古典诗词与哲学(216 万行)为骨架,辅以英文公版文学与合成美学/数学语料——Muse 主攻艺术、哲理、文学、审美与数学。

⚙️

极端约束下的工程

纯 CPU(i5-1240P)、约 3.5GB 可用内存下完成 256M 模型训练:bf16 优化器状态、梯度检查点、向量化 BPE 训练器,全部为此而生。

🔌

OpenAI 兼容 API

/v1/chat/completions、/v1/completions、/v1/models、/health 开箱即用,支持 SSE 流式输出;任何 OpenAI SDK 改一行 base_url 即可接入。

🖥️

CLI 与控制台

命令行对话带 "LIC / muse" 字符商标横幅;网页控制台提供对话与补全演练场,可连接任意可达的 API 端点。

📦

可复现发行版

release 目录包含 safetensors 权重、分词器、代码与示例;三条命令即可从零复现整个训练。

30 秒开始

下载发行版,安装依赖,启动 API。

# 1. 解压发行版并进入目录
unzip LIC-Muse-1.1.zip && cd LIC-Muse-1.1

# 2. 安装依赖(仅 PyTorch)
pip install -r requirements.txt

# 3. 启动 OpenAI 兼容 API
python scripts/serve.py --port 8610

# 4. 调用(任意 OpenAI SDK 改 base_url 即可)
curl http://127.0.0.1:8610/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"lic-muse-1.1","messages":[{"role":"user","content":"请用一句诗形容秋天"}]}'

它现在能做什么

诚实的能力边界:演示级模型,不是云端大模型。

✅ 已经做到

  • 生成带真实词语与平仄韵律的古典诗词风格片段
  • 中英双语文本续写;chat 格式正常往返(system/user/assistant)
  • 完整的 OpenAI 兼容 API(流式 / 非流式)
  • 分词器编解码往返一致(中英 + 特殊标记)

⚠️ 暂不具备

  • 稳定的知识问答与长程语义连贯
  • 指令遵循(未做 SFT,chat 为续写风格)
  • 长上下文(训练长度 1024)