接下来来详细介绍InferLLM项目 src 模块的代码结构和功能：

1. 核心组件 (core/)

1. 设备和内存管理

• name="device.h/cpp" path="src/core/device.h": 设备抽象层，管理计算设备(CPU/GPU)和内存分配
• name="tensor.h/cpp" path="src/core/tensor.h": 张量数据结构，支持多种数据类型和设备

1. 计算图和模型

• name="graph.h/cpp" path="src/core/graph.h": 计算图的基础定义和管理
• name="model.cpp" path="src/core/model.cpp": 模型加载和管理
• name="model_imp.h/cpp" path="src/core/model_imp.h": 模型实现的具体细节

1. 算子系统

• name="op.h/cpp" path="src/core/op.h": 基础算子定义，包括：
  • Embedding
  • LayerNorm
  • MatMul
  • Elemwise 等基础算子

1. 其他核心功能

• name="kvstorage.h" path="src/core/kvstorage.h": KV缓存管理
• name="thread_pool.h/cpp" path="src/core/thread_pool.h": 线程池实现

2. 具体模型实现 (graph/)

1. ChatGLM系列

• name="chatGLM.h/cpp" path="src/graph/chatGLM.h": ChatGLM-6B实现
• name="chatGLM2.cpp" path="src/graph/chatGLM2.cpp": ChatGLM2实现
• name="chatGLM3.cpp" path="src/graph/chatGLM3.cpp": ChatGLM3实现

1. LLaMA系列

• name="llama_like.h/cpp" path="src/graph/llama_like.h": LLaMA系列模型的基础实现
• name="ggml_llama.h/cpp" path="src/graph/ggml_llama.h": GGML格式的LLaMA模型支持

3. 计算内核 (kern/)

1. 优化实现

• name="optimized" path="src/kern/optimized":
  • ARM优化实现
  • RISC-V向量扩展优化
  • x86优化实现

1. GPU支持

• name="gpu" path="src/kern/gpu": GPU计算内核实现

1. 基础实现

• name="naive" path="src/kern/naive": 朴素CPU实现，作为基准和后备方案

1. 内核定义

• name="kernel.h" path="src/kern/kernel.h": 内核接口定义
• name="kernel_define.h" path="src/kern/kernel_define.h": 内核相关常量和类型定义

4. 工具类 (src/)

1. 文件操作

• name="file.h/cpp" path="src/file.h": 文件读写和内存映射支持

1. 通用工具

• name="utils.h/cpp" path="src/utils.h": 通用工具函数和宏定义

主要特点

1. 模块化设计

• 清晰的层次结构：核心组件、模型实现、计算内核
• 良好的扩展性：易于添加新模型和优化实现

2. 多平台支持

• CPU/GPU计算支持
• 多架构优化：x86、ARM、RISC-V

3. 性能优化

• 针对不同硬件的专门优化
• 量化支持：INT4/INT8
• 多线程并行计算

4. 灵活性

• 支持多种模型架构
• 可配置的计算精度
• 可扩展的算子系统