agentlego
agentlego copied to clipboard
add referring tracker tool for track anything
作者们你们好!我是书生·浦语大模型训练营第二期的学员~
在项目阶段,我想对agent进行一点研究,结合我自己的研究方向(目标跟踪),我发现agentlego有检测,分割的一些tool,但是没有跟踪相关的。如果用户输入一个视频,并且希望LLM对其中的某个物品进行跟踪,我写的这个tracking tool或许可以派上用场~
技术手段是通过GLIP或SAM进行检测或分割,然后用类似ByteTtrack的算法进行跟踪。为了支持视频(或图片序列文件夹)的输入,我也更改了types.py中的一些内容。
更改的部分是agentlego/agentlego/tools/tracking和types.py.
以下是示例以及运行的结果,LLM采用InternLM-1.8b或7b.
- prompt:
Please segment and track the laptop and cup in the videotest.mp4`` - 结果: