candle(Candle 是一个专注于性能(包括 GPU 支持)

更新时间:2024-05-08 20:57:15 所在栏目: 美容养生点击量:

Candle 是一个专注于功能(包含 GPU 支持

Candle 是一个专注于功能(包含 GPU 支持)和易用性的 Rust 极简主义机器学习框架.

Candle 的中心目标是让 Serverless 推理成为约莫。像 PyTorch 如此的完备机器学习框架十分大,这使得在集群上创建实例的速率很慢。Candle 允许摆设轻量级二进制文件。别的,Candle 可以让用户从消费事情负载中删除 Python。Python 开支会严峻影响功能,而GIL是众所周知的令人头疼的成绩

#开源才是出路#

怎样开头

确保依照安装分析准确安装了 candle-core。

让我们看看怎样运转简便的矩阵乘法。将以下内容写入 myapp/src/main.rs 文件中:

确保依照安装分析准确安装了 candle-core。

让我们看看怎样运转简便的矩阵乘法。将以下内容写入 myapp/src/main.rs 文件中:

use candle_core::{Device, Tensor};

fn main() -> Result<(), Box> {

let device = Device::Cpu;

let a = Tensor::randn(0f32, 1., (2, 3), &device)?;

let b = Tensor::randn(0f32, 1., (3, 4), &device)?;

let c = a.matmul(&b)?;

println!("{c}");

Ok(())

}


cargo run 应该会体现外形为 Tensor[[2, 4], f32] 的张量。

假如已安装支持 Cuda 的 candle,只需将装备界说为 GPU:

- let device = Device::Cpu;

- let device = Device::new_cuda(0)?;

关于更高等的示例,请查察以下局部

声明:本站所有文章资源内容,如无特殊说明或标注,均为采集网络资源。如若本站内容侵犯了原著者的合法权益,可联系本站删除。