05-TensorRT 的 Polygraphy 工具使用

发表于 更新于 分类于 ， ， 阅读次数： 本文字数： 681 阅读时长 ≈ 1 分钟

TensoRT 的 Polygraphy 工具有什么功能？

  • Polygraphy 是一个工具包，旨在帮助运行和调试各种框架中的深度学习模型。它包括一个 Python API 和命令行界面（CLI）使用此 API 生成
  • 05-TensorRT的Polygraphy工具使用-20230704212216
  • 可以看 ONNX、TRT 的网络结构，可以修改、简化 ONNX 模型，可以查找 debug 转换好的 trt 模型有什么问题

如何安装 TensoRT 的 Polygraphy 工具？

  • pip 安装
    1
    python -m pip install colored polygraphy --index-url https://pypi.ngc.nvidia.com
  • 源码编译
    1
    make install

如何使用 TensoRT 的 Polygraphy 工具？

  • 查看 ONNX 结构：polygraphy inspect model mymodel.onnx05-TensorRT的Polygraphy工具使用-20230704212216-1
  • 查看一个 engine 结构 polygraphy inspect model mytrt.trt --model-type engine05-TensorRT的Polygraphy工具使用-20230704212217
  • 通过 onnx 查看生成 trt 的网络 polygraphy inspect model mymodel.onnx --display-as=trt --mode basic
  • 对比 trt 和 onnx 的结果首先生成 onnx 的结果信息 polygraphy run demo-fixed.onnx --trt --onnxrt --int805-TensorRT的Polygraphy工具使用-20230704212217-1
  • 修改 onnx 结构
    1
    2
    3
    polygraphy surgeon sanitize modele2-nms.onnx
    --override-input-shapes input_name:[1,3,224,224]
    -o modele2-nms-static-shape.onnx