为您的项目提供 GPU · 无 KYC 的加密货币支付 如何租用
简体中文
打开控制台
GPU 参数页 / KERNODECK

L4:根据请求量规划服务规模

NVIDIA L4 拥有 24 GB GDDR6 和 Ada Lovelace 架构。它适合内存可控的推理场景,尤其是在需要组织请求、请求准备和结果返回的情况下。

1 包含 GPUGDDR6
24每块显卡 GB

104 可用显卡.

所示显存为每块 GPU。选择时长,然后在配置器中选择批组数量。

3 jours

每批 1 块 GPU

US$30.00租用 3 jours

7 jours

每批 1 块 GPU

US$70.00租用 7 jours

30 jours

每批 1 块 GPU

US$250.00租用 30 jours

定义有代表性的请求

嵌入、分类或转录服务面对的输入各不相同。请固定文档长度、图像尺寸或音频时长,然后构建一个覆盖其多样性小数据集。针对每种情况,定义预期输出以及错误上报方式。

将模型加载时间单独测量。首次调用的延迟和进程已就绪时的延迟,对您的应用用户来说回答的是两个不同的问题。

在请求之间分配 24 GB 内存

先从一个请求开始,然后在保持相同输入的情况下提高并发。监控内存和队列:同时接受更多调用并不意味着它们会更快完成。设定一个限制,并明确达到限制时的行为。

如果您的服务用到 CUDA、PyTorch 及媒体预处理库,请验证这些环境。L4 的视频功能只有在您的软件启用兼容路径时才会被使用;硬件本身不会自动改变 Python 脚本的行为。

何时选择其他容量

如果您的难题无法在 24 GB 内完成,L40S 在同一 Ada 家族中提供了 48 GB 的选项。如果是以模型计算为中心的原型,也可以对比一下 RTX 4090。如果您需要在单个内存域中研究 80 GB,请改用 A100,而不是在没有软件策略的情况下堆叠多个 L4 批次。

构建一个能干净收尾的试验

用 3 天完成加载和请求的验证。用 7 天再加上并发、无效输入和重启。30 天的套餐可用于一轮迭代campaign,并保留您每日生成的报告。

订单会要求填写模型、批次、时长和预装环境,然后创建账户或登录。随后您选择加密货币资产和网络,无需 KYC 流程或身份证件。转账后,点击「我已完成支付」记录该通知。您可以在 Kernodeck 账户中查看订单及其结算情况。