做了6年ML，创办过3家AI/LLM初创公司，搭过几十个项目。从RAG、Agent框架到带CI/CD和可观测性的LLM服务，踩了不少坑。下面是我常用的工具组合，按LLM应用开发生命周期来梳理——从数据库、代理，到API端点和自动部署。
选型主要看易用性。比如你可以用Azure这类大云厂商，扩展性和开箱服务更好，但上手慢，还容易被供应商锁定。用VPS加Coolify，10分钟就能跑起来，数据库、前后端部署、CI/CD、备份全有，UI也直观。
LLM API与自托管
两条路：
– 自托管：选Ollama。有人问自托管又贵又难，质量还差，图啥？隐私。
– API调用：首选Openrouter。它聚合多家提供商，接口统一。换模型只改请求里几个字符串，不用换库、不用换供应商。自动记录、模型对比、自动选择、免费试用都有。
其他家如together.ai、Mistral也行，但Openrouter的简洁界面和附加功能更省事。
RAG数据库LLM的通病：信息过时、缺领域知识、幻觉、无引用、有偏见。RAG能解决，但都需要向量数据库。
– ChromaDB：适合原型和PoC。基于SQLite，数据库就是一个文件，设置简单，文档直观。
– Supabase + PGVector：正式项目用。基于PostgreSQL，UI好用，备份、角色管理、API、Python包齐全。开源，可自托管。
RAG管道有时用LangChain辅助，但多数时候我写定制方案。
代理复杂LLM流程或难题，得上代理。代理就是让LLM用逐步推理，给它工具和自由去解决问题，而不是死板指令。
Python库两个选择：
– LangChain：最流行，文档好，社区大。建议用`initialize_agent`，别用`create_react_agent`或`create_json_agent`这些新方法——指南少，容易懵。
– LlamaIndex：LangChain的主要对手，索引和检索优化好。纯RAG管道可能更快更好；复杂项目还是LangChain。
新手建议从LangChain入手，功能全，上手快。
可观测性部署后要测答案质量、准确性和速度。两个开源平台：
– LangSmith：更好用，跟踪输入输出清晰，评估开发快。适合PoC和原型。
– Arize Phoenix：免费额度更大，能跟踪更多数据。
刚开始做可观测性，推荐LangSmith。
后端我一直用Python + FastAPI + Pydantic：
– FastAPI快，文档好，ORM、认证、CORS、多线程部署全有。
– Pydantic加严格类型，防错。
配合Gunicorn + Uvicorn worker处理并发。Flask、Django也行，功能都够生产用。
部署Docker容器化，为了：
– 可重复：镜像在任何系统、CPU架构上跑。
– 可扩展：多实例、集群部署容易。
– 部署简单：Docker Compose把数据库、反向代理、后端写进`docker-compose.yml`，一次搞定。
部署镜像用Coolify，开源自托管，功能：
– 自动SSL证书，不用管HTTPS。
– 无供应商锁定，任何VPS或云都能部署。
– 反向代理简单，填域名就行。
– 自动数据库备份，PostgreSQL、MySQL、Redis点几下就行。
– CI/CD：连GitHub，自动部署。
– 协作：团队共享，权限控制。
– 监控通知：Telegram/Discord告警。
总结
这套栈能给你：可靠的向量数据库、隐私合适的LLM、无供应商锁定、管道记录监控、可扩展的部署方式。
ID:4606
