Fred
在尝试导出onnx格式，出现不支持的OPS： https://github.com/PaddlePaddle/PaddleX/blob/develop/docs/appendix/model_zoo.md 目标检测模型  错误信息入下： There's 6 ops are not supported yet =========== tensor_array_to_tensor =========== =========== lod_array_length =========== =========== conditional_block =========== =========== while =========== =========== select_input =========== =========== write_to_array ===========...
ENV: onnx = 1.10.0, torch=1.11.0 when i export onnx format of encoder by setting chunk_size -1, the output node is as follows: output [Addoutput_dim_0, T, 256] r_att_cache [12,4,T_CACHE,128] r_cnn_cache [12,1,256,Concatr_cnn_cache_dim_3]...
set this config, the latency of chatGLM3-6b's next token became slower from 20.4ms to 34.5ms with 1k input prompt, 512 token size. =========First token cost 4.1437 s and 5.5625 GB=========...
this configuration as below cannot bring performance promotion, but more slower. **```bash export USE_XETLA=OFF export SYCL_PI_LEVEL_ZERO_USE_IMMEDIATE_COMMANDLISTS=1 ```** setting this ENV variable, the performance is as below: 2024-02-08 13:46:16,388 - INFO...
install bigdl-llm on windows platform, and there is an issue as below: cannot find libintel-ext-pt-gpu.dll
there is no windows version now for pip installation.
https://github.com/IntelAI/models/blob/master/docs/general/pytorch/BareMetalSetup.md when I installed torch-ccl according guide as below: git clone https://github.com/intel-innersource/frameworks.ai.pytorch.torch-ccl.git cd frameworks.ai.pytorch.torch-ccl && git checkout ccl_torch_1.13 git submodule sync git submodule update --init --recursive python setup.py install there...
>> loading of model costs 6.38557534100255s and 8.34375GB model generate cost: 1.4599899330059998 折纸的过程看似简单，其实想要做好，还是需要一套很复杂的工艺。以折一支玫瑰花为例，我们可以将整个折纸过程分成三个阶段，即：创建栅格折痕，制作立体基座，完成花瓣修饰。首先是创建栅格折痕：这一步有点像我们折千纸鹤的第一步，即通过对称州依次对折，然后按照长和宽两个维度，依次进行多等分的均匀折叠；最终在两个方向上的折痕会交织成一套完整均匀的小方格拼接图案；这些小方格就组成了类似二维坐标系的参考系统，使得我们在该平面上，通过组合临近折痕的方式从二维小方格上折叠出三维的高台或凹陷，以便于接下来的几座制作过程。需要注意的是，在建立栅格折痕的过程中，可能会出现折叠不对成的情况，这种错误所带来的后果可能是很严重的，就像是蝴蝶效应，一开始只是毫厘之差，最后可能就是天壤之别。然后是制作立体基座：在这一步，我们需要基于栅格折痕折出对称的三维高台或凹陷。从对称性分析不难发现，玫瑰花会有四个周对称的三维高台和配套凹陷。所以，我们可以先折出四分之一的凹陷和高台图案，然后以这四分之一的部分作为摸板，再依次折出其余三个部分的重复图案。值得注意的是，高台的布局不仅要考虑长和宽这两个唯独上的规整衬度和对称分布，还需要同时保证高这个维度上的整齐。与第一阶段的注意事项类似，请处理好三个维度上的所有折角，确保它们符合计划中所要求的那种布局，以免出现三维折叠过程中的蝴蝶效应；为此，我们常常会在折叠第一个四分之一图案的过程中，与成品玫瑰花进行反复比较，以便在第一时间排除掉所有可能的错误。最后一个阶段是完成花瓣修饰。在这个阶段，我们往往强调一个重要名词，叫用心折叠。这里的用心已经不是字面上的认真这个意思，而是指通过我们对于大自然中玫瑰花外型的理解，借助自然的曲线去不断修正花瓣的形状，以期逼近现实中的玫瑰花瓣外形。请注意，在这个阶段的最后一步，我们需要通过拉扯已经弯折的四个花瓣，来调整玫瑰花中心的绽放程度。这个过程可能会伴随玫瑰花整体结构的崩塌，所以，一定要控制好调整的力道，以免出现不可逆的后果。最终，经过三个阶段的折叠，我们会得到一支栩栩如生的玫瑰花冠。如果条件允许，我们可以在一根拉直的铁丝上缠绕绿色纸条，并将玫瑰花冠插在铁丝的一段。这样，我们就得到了一支手工玫瑰花。总之，通过创建栅格折痕，制作立体基座，以及完成花瓣修饰，我们从二维的纸面上创作出了一支三维的花朵。这个过程虽然看似简单，但它确实我们人类借助想象力和常见素材而创作出的艺术品。问: 请基于以上描述，分析哪些步骤做错了很大可能会导致最终折叠失败？ . . . model generate cost: 0.7255216800258495
bigdl-llm: 2.5.0b20240321, all-in-one benchmark tools: 8k prompt refers https://github.com/intel/xFasterTransformer/blob/main/benchmark/prompt.json 2024-03-22 20:38:03,260 - INFO - intel_extension_for_pytorch auto imported Loading checkpoint shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 7/7 [00:04> loading of model costs 8.393956548999995s and 3.583984375GB...
Loading checkpoint shards: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00> loading of model costs 5.125399579002988s and 3.875GB /home/intel/LLM/BigDL/python/llm/dev/benchmark/all-in-one/../benchmark_util.py:1295: UserWarning: You have modified the pretrained model configuration to control generation. This is a deprecated strategy...