希望支持Core ML

[xinliu9451]

项目很棒，部署在移动端可以大大减少内存的占用(对比onnx)，但是测试下来推理的速度太慢了，能不能支持Core ML后端呢？感谢！

[lovemefan]

十分感谢，有测试过metal后端吗

[xinliu9451]

有测试过metal后端吗

暂时还没测试呢，我是先用cursor分析了一下，对比whispe.cpp：
1、可以获得部分加速：Metal GPU、Accelerate框架、Apple Silicon优化都能正常工作
2、无法获得完整加速：最关键的Neural Engine(Core ML)加速无法使用
3、整体性能预期：比原生whisper.objc慢2-3倍，但比纯CPU实现快3-5倍
4、架构限制：需要重新设计模型结构或使用Core ML转换才能充分利用Neural Engine

[xinliu9451]

这是我在安卓上的测试结果，好在内存占用很低，就是推理比较慢。

[lovemefan]

安卓可以试试opencl和vulkan加速， 我原先是有计划优化手机端的，但是因为个人时间原因就搁置了， 可以参考这个issue #93

[xinliu9451]

安卓可以试试opencl和vulkan加速， 我原先是有计划优化手机端的，但是因为个人时间原因就搁置了， 可以参考这个issue #93

谢谢回复，因为我只会一点安卓的开发，所以就只是试了安卓上面的性能。实际上我需要的是iOS上的优化，如果您能提供相应的支持，非常感谢！