昇腾CANN/GE ATC工具--raw_ge_options参数说明

--raw_ge_options【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge产品支持情况全量芯片支持功能说明指定包含GE编译选项的JSON文件路径。ATC工具会解析该JSON文件中的compile options字段并将其转换为GE编译所需的具体参数。适用场景当用户使用options参数进行了在线或者离线推理并希望将这些配置同步应用于ATC工具的离线推理流程则可通过指定此JSON文件实现配置复用确保两端推理行为一致。关联参数若--raw_ge_options指定的JSON文件中包含ATC工具不支持的选项需配合--raw_ge_options_ignore_unsupported参数使用当该参数设置为true时ATC工具将忽略不支持的选项并打印warning继续处理其余选项当设置为fasle时遇到不支持的选项将直接报错终止。参数取值参数值JSON文件的路径和文件名。JSON文件示例如下{ compile options: { global: { ge.jit_compile: 1 }, session: { ge.jit_compile: 1 }, graph: { ge.jit_compile: 2 } }, execute options: { graph: { ge.exec.staticMemoryPolicy: 2 } } }ATC工具仅解析其中的“compile options”execute options永远忽略并将其中的global、session、graph三个对象进行扁平化合并合并优先级为graph session global对于相同的参数生效优先级为ATC命令行显式设置的参数 --raw_ge_options JSON文件中的参数 ATC参数默认值。例如上述示例中的ge.jit_compile参数参数解释请参见options参数说明JSON文件最终取值为2如果通过ATC命令行同时输入--jit_compile0则最终生效的为0。参数值约束JSON文件中的每个options key必须非空。推荐配置及收益无。示例将上述JSON文件上传到ATC工具所在服务器路径执行如下命令atc --raw_ge_options$HOME/module/option.json --modelmodel.onnx ...依赖约束无。【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考