agentlego icon indicating copy to clipboard operation
agentlego copied to clipboard

add referring tracker tool for track anything

Open JackWoo0831 opened this issue 1 year ago • 0 comments

作者们你们好!我是书生·浦语大模型训练营第二期的学员~

在项目阶段,我想对agent进行一点研究,结合我自己的研究方向(目标跟踪),我发现agentlego有检测,分割的一些tool,但是没有跟踪相关的。如果用户输入一个视频,并且希望LLM对其中的某个物品进行跟踪,我写的这个tracking tool或许可以派上用场~

技术手段是通过GLIP或SAM进行检测或分割,然后用类似ByteTtrack的算法进行跟踪。为了支持视频(或图片序列文件夹)的输入,我也更改了types.py中的一些内容。

更改的部分是agentlego/agentlego/tools/trackingtypes.py.

以下是示例以及运行的结果,LLM采用InternLM-1.8b或7b.

  • prompt: Please segment and track the laptop and cup in the video test.mp4``
  • 结果: nan22

JackWoo0831 avatar May 23 '24 13:05 JackWoo0831