相关文章
大模型分布式推理ray
一、目录
1 框架 2. 入门 3. 安装教程 4. 相关文档、案例阅读
二、实现
1 框架:Ray:将一个模型拆分到多个显卡中,实现分布式预测、训练等功能。 2. 入门 : 案例:通过ray 实现分布式部署,分布式推理服务。…
建站知识
2024/11/23 15:19:19
Tensorflow 2.0 常见函数用法(一)
文章目录 0. 基础用法1. tf.cast2. tf.keras.layers.Dense3. tf.variable_scope4. tf.squeeze5. tf.math.multiply 0. 基础用法
Tensorflow 的用法不定期更新遇到的一些用法,之前已经包含了基础用法参考这里 ,具体包含如下图的方法: 本文介…
建站知识
2024/10/29 9:42:08
【Flask】Flask项目结构初识
1.前提准备 Python版本 # python 3.8.0
# 查看Python版本
python --version 安装第三方 Flask pip install flask
# 如果安装失败,可以使用 -i,指定使用国内镜像源
# 清华镜像源:https://pypi.tuna.tsinghua.edu.cn/simple/ 检查 Flask 是…
建站知识
2024/11/23 15:34:17
Milvus 向量数据库介绍及使用
一、Milvus 介绍及安装
Milvus 于 2019 年创建,其目标只有一个:存储、索引和管理由深度神经网络和其他机器学习 (ML) 模型生成的大量嵌入向量。它具备高可用、高性能、易拓展的特点,用于海量向量数据的实时召回。
作为专门为处理输入向量查…
建站知识
2024/10/29 9:42:18
推荐一款很不错的vscode高亮插件
用过很多款高亮插件,总感觉大部分显示都很乱,但是其中有一款用起来很清晰明了,很喜欢!
插件名字:select-highlight-cochineal-color 使用效果: 底色高亮让人感觉很清晰,一个好的高亮插件能让你…
建站知识
2024/11/23 15:15:32
CMU 10-414/714: Deep Learning Systems --hw3
实现功能
在ndarray.py文件中完成一些python array操作 我们实现的NDArray底层存储就是一个一维向量,只不过会有一些额外的属性(如shape、strides)来表明这个flat array在维度上的分布。底层运算(如加法、矩阵乘法)都…
建站知识
2024/11/23 15:33:57
作为前端,如何利用机器学习
当涉及到前端开发与机器学习(Machine Learning)的结合时,我们进入了一个充满创新和前沿技术的领域。机器学习作为人工智能的一个重要分支,已经在各个领域展示了惊人的应用潜力,而将其融入前端开发则为我们带来了无限可…
建站知识
2024/10/29 11:10:30
C/C++在线参考手册的使用技巧
cppreference.com是一个在线的C/C参考手册,是C/C学习者最常用的网站。
网址:cppreference.com 1.搜索
不知道为什么这个网站总是不能正常搜索,实在是太不方便了。
有两个退而求其次的方法:
(1)通过搜索引擎指定域名…
建站知识
2024/10/29 9:42:02