tmac.liang comments

Results 27 comments of


                                            tmac.liang

配置的“单机单进程”任务，但是会在每台机器上都执行

etcd的全局锁是不安全的，而下面这个函数，也没有处理不安全的情况 func (c *Client) GetLock(key string, id client.LeaseID) (bool, error) { key = conf.Config.Lock + key ctx, cancel := context.WithTimeout(context.Background(), c.reqTimeout) resp, err := DefalutClient.Txn(ctx). If(client.Compare(client.CreateRevision(key), "=", 0)). Then(client.OpPut(key, "",...

设置了单机单进程，但是会出现两个节点同时跑一个任务

遇到了同样的情况，不知道解决了没有，请教一下

设置了单机单进程，但是会出现两个节点同时跑一个任务

嗯嗯，我这边也看一下，到时候请同步一下信息

设置了单机单进程，但是会出现两个节点同时跑一个任务

> etcd的全局锁是不安全的，而下面这个函数，也没有处理不安全的情况 > > func (c *Client) GetLock(key string, id client.LeaseID) (bool, error) { > key = conf.Config.Lock + key > ctx, cancel := context.WithTimeout(context.Background(), c.reqTimeout) > resp, err :=...

设置了单机单进程，但是会出现两个节点同时跑一个任务

> > > etcd的全局锁是不安全的，而下面这个函数，也没有处理不安全的情况 > > > func (c *Client) GetLock(key string, id client.LeaseID) (bool, error) { > > > key = conf.Config.Lock + key > > > ctx, cancel...

设置了单机单进程，但是会出现两个节点同时跑一个任务

> > > > > etcd的全局锁是不安全的，而下面这个函数，也没有处理不安全的情况 > > > > > func (c *Client) GetLock(key string, id client.LeaseID) (bool, error) { > > > > > key = conf.Config.Lock +...

设置了单机单进程，但是会出现两个节点同时跑一个任务

> > > > > > > etcd的全局锁是不安全的，而下面这个函数，也没有处理不安全的情况 > > > > > > > func (c *Client) GetLock(key string, id client.LeaseID) (bool, error) { > > > > >...

How to train deepspeed-chat using nccl with multi-nodes?

直接用deepseed cli启动

How to train deepspeed-chat using nccl with multi-nodes?

@LarryZhangy deepspeed默认读/job/hostfile，这样的格式 $worker slots=${slots}"