爱意满满的作品展示区。
vtwoextb

基于 tornado 写一个调用 Ollama 中的大模型的框架,供参考

  •  
  •   vtwoextb ·
    hizdm · Dec 27, 2024 · 2678 views
    This topic created in 514 days ago, the information mentioned may be changed or developed.

    github: https://github.com/hizdm/ollama-llm-api

    [目录]

    .
    ├── app.py               # 项目入口文件
    ├── conf                 # 配置文件目录
    │ └── global.ini         # 基础配置文件
    ├── controller           # 控制层
    │ ├── base.py            # 控制层基类
    │ ├── auth.py            # 认证类
    │ ├── chat.py            # LLM 对话类
    │ ├── embeddings.py      # 编码类
    │ ├── generate.py        # LLM 生成类
    │ ├── prompt.py          # 提示工程类
    │ ├── rag.py             # LLM 检索增强生成类
    │ ├── strategy.py        # LLM 调用策略类( todo )
    │ └── home.py            # 默认首页类
    ├── library              # 基础类库
    │ ├── jwt                # JWT 验证基类
    │ │ └── jwt.py
    │ ├── log                # 日志操作基类
    │ │ └── loghelper.py
    │ ├── mysql              # MySQL 操作基类
    │ │ └── mysqlhelper.py
    │ ├── redis              # Redis 操作基类
    │ │ └── redishelper.py
    │ ├── oracle             # Oracle 操作基类
    │ │ └── oraclehelper.py
    │ ├── neo4j              # Neo4j 操作基类(部分)
    │ │ └── neo4jhelper.py
    │ └── util               # 公共方法工具
    │ └── util.py
    ├── log                  # 日志存放目录
    │ └── log.txt
    ├── model                # 模型层
    │ ├── base.py            # 模型基类
    │ └── llm.py             # LLM 类
    ├── README.md
    ├── requirements.txt     # 框架安装包 pip install -r requirements.txt ( todo )
    ├── router               # 路由分发层
    │ └── urls.py            # 路由分发文件 
    ├── static               # 资源层
    └── template             # 模板层
     └── 404.html            # 404 页面
    

    github: https://github.com/hizdm/ollama-llm-api

    No Comments Yet
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3406 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 33ms · UTC 12:26 · PVG 20:26 · LAX 05:26 · JFK 08:26
    ♥ Do have faith in what you're doing.