做了6年ML，创办过3家AI/LLM初创公司，搭过几十个项目。从RAG、Agent框架到带CI/CD和可观测性的LLM服务，踩了不少坑。下面是我现在常用的工具组合，覆盖LLM应用从开发到上线的完整链路。
选型主要看易用性。比如你可以用Azure这类大云厂商，扩展性和开箱服务更好，但学习成本高，也容易被绑定。用VPS加Coolify，10分钟就能跑起来，数据库、前后端部署、CI/CD、备份全有，UI也直观。
LLM API与自托管
两条路：
– 自托管：Ollama。隐私要求高时用。缺点也明显——更贵、更难配、效果差些。
– API调用：Openrouter。它聚合了多家提供商，接口统一。换模型只改请求里几个字符串，不用换库、不用换供应商。自动记录、模型对比、自动选型、免费试用都有。
其他家如together.ai、Mistral也能用，但Openrouter的简洁界面和附加功能更省事。
RAG数据库
LLM的通病：信息过时、缺领域知识、幻觉、无引用、有偏见。RAG能解决大部分。向量库选型：
– ChromaDB：原型和PoC首选。基于SQLite，数据库就是一个文件，设置简单，文档全。
– Supabase + PGVector：正式项目用。基于PostgreSQL，UI好用，自带备份、角色管理、API和Python包。开源，可自托管。
RAG管道有时用LangChain辅助，但多数情况我写定制方案。
Agent框架
复杂流程或难题需要Agent——给LLM一组工具和完全自由，让它逐步推理。Python库两个选择：
– LangChain：最流行，文档好，社区大。建议用`initialize_agent`，别用`create_react_agent`或`create_json_agent`这些新方法——指南少，容易懵。
– LlamaIndex：LangChain的主要对手，索引和检索优化更好。纯RAG管道可能更快更好；复杂项目还是LangChain合适。
入门建议从LangChain开始，功能全，上手快。
可观测性
部署后要测答案质量、准确性和速度。两个开源平台：
– LangSmith：更好用，输入输出追踪清晰，评估开发快。适合PoC和原型。
– Arize Phoenix：免费额度更大，能追踪更多数据。
刚开始做可观测性，推荐LangSmith。
后端
固定组合：Python + FastAPI + Pydantic。
– FastAPI快，文档好，ORM、认证、CORS、多线程部署全有。
– Pydantic加严格类型，变量类型有保障，应用更防错。
配合Gunicorn + Uvicorn worker处理并发。Flask、Django也能用，功能都够，生产就绪。
部署
Docker容器化，三个原因：
1. 可重复——镜像在任何系统、任何CPU架构上都能跑。
2. 可扩展——多实例或集群部署容易。
3. 部署简单——Docker Compose把数据库、反向代理、后端写进`docker-compose.yml`，一次全起。
部署平台用Coolify，开源自托管，功能：
– 自动SSL证书，后端直接支持HTTPS。
– 无供应商锁定，任何VPS或云厂商都能装。
– 反向代理简单，填个域名就行。
– 自动数据库备份，PostgreSQL、MySQL、Redis等常见镜像点几下就配好。
– CI/CD管道，连上GitHub自动部署。
– 协作功能，团队共享，权限可控。
– 监控通知，Telegram/Discord等接收部署问题。
总结
这套栈能给你：可靠的向量数据库、隐私可控的LLM、无供应商锁定、完整的日志监控、可扩展的部署方式。
ID:4638
