MediaCrawler
MediaCrawler copied to clipboard
爬取到的视频能存储为mp4格式吗,想把它下载下来,目前来看只有一个链接
MediaCrawler当前不会处理视频下载,后续可能考虑单独出一个仓库来下载指定自媒体URL链接的图片和视频信息。
MediaCrawler当前不会处理视频下载,后续可能考虑单独出一个仓库来下载指定自媒体URL链接的图片和视频信息。
谢谢 希望还能够保留关键词检索并下载视频的功能,这是非常好的设置
async def get_note_media(self, url: str) -> Union[bytes, None]:
async with httpx.AsyncClient(proxies=self.proxies) as client:
response = await client.request("GET", url, timeout=self.timeout)
if not response.reason_phrase == "OK":
utils.logger.error(f"[XiaoHongShuClient.get_note_media] request {url} err, res:{response.text}")
return None
else:
return response.content
此处不是把视频url存储为mp4?
async def get_note_media(self, url: str) -> Union[bytes, None]: async with httpx.AsyncClient(proxies=self.proxies) as client: response = await client.request("GET", url, timeout=self.timeout) if not response.reason_phrase == "OK": utils.logger.error(f"[XiaoHongShuClient.get_note_media] request {url} err, res:{response.text}") return None else: return response.content此处不是把视频url存储为mp4?
目前没有支持全平台,回来考虑讲已经实现的功能从仓库移除出去,视频下载会block信息的爬取。