再次提一下，能否支持2080ti

[bltcn]

我看这篇https://github.com/kvcache-ai/ktransformers/issues/138里面有人说可以通过修改配置支持，请问是可行的嘛，谢谢

[KMSorSMS]

我看这篇https://github.com/kvcache-ai/ktransformers/issues/138里面有人说可以通过修改配置支持，请问是可行的嘛，谢谢

把yaml里面，这里 的KLinearMarlin换成KLinearTorch就可以了 (不过显存的需求就会增加，因为没有marlin的优化了)

[KMSorSMS]

需要多少张2080Ti?
跑Q4的话至少得四张跑起来了，因为torch算的时候是反量化之后的数据

[BiFangKNT]

需要多少张2080Ti?
跑Q4的话至少得四张跑起来了，因为torch算的时候是反量化之后的数据

2080ti要四张？那3090能跑Marlin吗？一张可以吗？

[Azure-Tang]

需要多少张2080Ti?
跑Q4的话至少得四张跑起来了，因为torch算的时候是反量化之后的数据

2080ti要四张？那3090能跑Marlin吗？一张可以吗？

30系列可以支持marlin算子。一张24GB的3090就足够了

[BiFangKNT]

需要多少张2080Ti?
跑Q4的话至少得四张跑起来了，因为torch算的时候是反量化之后的数据

2080ti要四张？那3090能跑Marlin吗？一张可以吗？

30系列可以支持marlin算子。一张24GB的3090就足够了

不过我看你们的案例里好像说显存只占用14g诶，那不是16g也行吗？比如4070tis？

[KMSorSMS]

需要多少张2080Ti?
跑Q4的话至少得四张跑起来了，因为torch算的时候是反量化之后的数据

2080ti要四张？那3090能跑Marlin吗？一张可以吗？

30系列可以支持marlin算子。一张24GB的3090就足够了

不过我看你们的案例里好像说显存只占用14g诶，那不是16g也行吗？比如4070tis？

那需要marlin算子进行量化压缩 但是marlin不支持2080ti

[BiFangKNT]

需要多少张2080Ti?
跑Q4的话至少得四张跑起来了，因为torch算的时候是反量化之后的数据

2080ti要四张？那3090能跑Marlin吗？一张可以吗？

30系列可以支持marlin算子。一张24GB的3090就足够了

不过我看你们的案例里好像说显存只占用14g诶，那不是16g也行吗？比如4070tis？

那需要marlin算子进行量化压缩 但是marlin不支持2080ti

那是否意味着4070tis支持？另外我在案例里似乎没看到有进行marlin量化设置，是需要进行额外配置吗？

[BiFangKNT]

@KMSorSMS 另外我想问问，--max_new_tokens这项参数指的是单次回答的最大tokens数吗？reasoning_content和content应该是分别独立计算的吧？

[KMSorSMS]

@KMSorSMS 另外我想问问，--max_new_tokens这项参数指的是单次回答的最大tokens数吗？reasoning_content和content应该是分别独立计算的吧？

对的，--max_new_tokens这项参数指的是单次回答的最大tokens数。reasoning_content和content在我们这边应该是合在一起算的，都算在输出里面（作为max_new_tokens)的长度

[KMSorSMS]

需要多少张2080Ti?
跑Q4的话至少得四张跑起来了，因为torch算的时候是反量化之后的数据

2080ti要四张？那3090能跑Marlin吗？一张可以吗？

30系列可以支持marlin算子。一张24GB的3090就足够了

不过我看你们的案例里好像说显存只占用14g诶，那不是16g也行吗？比如4070tis？

那需要marlin算子进行量化压缩 但是marlin不支持2080ti

那是否意味着4070tis支持？另外我在案例里似乎没看到有进行marlin量化设置，是需要进行额外配置吗？

不需要，是在optimize的yaml文件，你可以看这里

[bluewowo]

需要多少张2080Ti?
跑Q4的话至少得四张跑起来了，因为torch算的时候是反量化之后的数据

2080ti要四张？那3090能跑Marlin吗？一张可以吗？

30系列可以支持marlin算子。一张24GB的3090就足够了

不过我看你们的案例里好像说显存只占用14g诶，那不是16g也行吗？比如4070tis？

那需要marlin算子进行量化压缩 但是marlin不支持2080ti

那是否意味着4070tis支持？另外我在案例里似乎没看到有进行marlin量化设置，是需要进行额外配置吗？

不需要，是在optimize的yaml文件，你可以看这里

您说的是4张11G显存的2080ti吧？如果是魔改22G显存的2080ti，是不是只要2张就够了？

[BiFangKNT]

需要多少张2080Ti?
跑Q4的话至少得四张跑起来了，因为torch算的时候是反量化之后的数据

2080ti要四张？那3090能跑Marlin吗？一张可以吗？

30系列可以支持marlin算子。一张24GB的3090就足够了

不过我看你们的案例里好像说显存只占用14g诶，那不是16g也行吗？比如4070tis？

那需要marlin算子进行量化压缩 但是marlin不支持2080ti

那是否意味着4070tis支持？另外我在案例里似乎没看到有进行marlin量化设置，是需要进行额外配置吗？

不需要，是在optimize的yaml文件，你可以看这里

您说的是4张11G显存的2080ti吧？如果是魔改22G显存的2080ti，是不是只要2张就够了？

上面讲过了，不能，因为20系不支持marlin

[bluewowo]

需要多少张2080Ti?
跑Q4的话至少得四张跑起来了，因为torch算的时候是反量化之后的数据

2080ti要四张？那3090能跑Marlin吗？一张可以吗？

30系列可以支持marlin算子。一张24GB的3090就足够了

不过我看你们的案例里好像说显存只占用14g诶，那不是16g也行吗？比如4070tis？

那需要marlin算子进行量化压缩 但是marlin不支持2080ti

那是否意味着4070tis支持？另外我在案例里似乎没看到有进行marlin量化设置，是需要进行额外配置吗？

不需要，是在optimize的yaml文件，你可以看这里

您说的是4张11G显存的2080ti吧？如果是魔改22G显存的2080ti，是不是只要2张就够了？

上面讲过了，不能，因为20系不支持marlin
我的理解是不支持marlin只是显存需求增大，不是运行不了。所以我想知道这里说的2080ti是指11G还是22G

[lulu2048]

需要多少张2080Ti?
跑Q4的话至少得四张跑起来了，因为torch算的时候是反量化之后的数据

deepseek-R1原生是fp8，从q4反量化到fp8，显存需求增大一倍，显存占用从14G增加到28G吗？

[asmitalu]

蹲一下，同样的问题