weekly icon indicating copy to clipboard operation
weekly copied to clipboard

【产品自荐】沉浸式英语跟读 Hi Speaking

Open jiweiyuan opened this issue 1 year ago • 18 comments

hispeaking.com 是一个沉浸式英语跟读应用平台,它通过 AI 声音检测技术为用户提供了一种全新的跟读体验。应用允许用户在跟读完一句后,自动播放下一句跟读内容。 消除了手动点击对学习体验的干扰,实现了一气呵成的沉浸式学习体验。

jiweiyuan avatar Nov 30 '24 18:11 jiweiyuan

老哥挺有想法的,是开源的不

bosens-China avatar Dec 02 '24 03:12 bosens-China

@jiweiyuan j

bosens-China avatar Dec 02 '24 03:12 bosens-China

等做的足够完善有这个打算,你有时间精力一起维护这个项目吗

jiweiyuan avatar Dec 02 '24 11:12 jiweiyuan

等做的足够完善有这个打算,你有时间精力一起维护这个项目吗

我其实有类似的想法,不过我是打算做成多邻国那种的训练,更具体的则是比如收集b站的视频,例如新概念,通过视频+交互的形式来训练。 你觉得呢?

bosens-China avatar Dec 03 '24 03:12 bosens-China

@jiweiyuan

bosens-China avatar Dec 05 '24 09:12 bosens-China

我的主页有我邮箱 yuanjiwei.com 后续约个时间聊聊

jiweiyuan avatar Dec 05 '24 12:12 jiweiyuan

@jiweiyuan 很有创意的想法,很喜欢这种减少学习干扰的设计(哪怕就是少了这一下点击)。后续如果能支持其他素材就更好了,比如 YouTube 视频,但是素材的断句点可能就不好判断了。

weijianduan0302 avatar Dec 06 '24 06:12 weijianduan0302

还不够啊!我有以下需求:

1、不仅支持英语,还可以支持音乐 等 一切音频文件;

2、每一段 都能通过进度条 拖动来看出拖动到哪里了,而不是需要拖一下听一下,反复确认进度点是不是需求点;

3、支持音乐,特别是古典音乐,比如钢琴曲、小提琴曲 的识谱,进度条 与 五线谱内容一一对应;

4、支持手机端,手机屏幕小,拖进度条 非常费劲,很难找准合适的位置,特别是在练小提琴曲的时候;

5、进度条支持 AB循环;

6、支持录音播放

这些需求,目前都可以用 大模型做出来,可以尝试大模型生成一个,并且 一步步迭代

我2个月前,用大模型做了一个,可以参考下 https://github.com/zhudaoruyi/MuseFlow image

zhudaoruyi avatar Dec 06 '24 07:12 zhudaoruyi

还不够啊!我有以下需求:

1、不仅支持英语,还可以支持音乐 等 一切音频文件;

2、每一段 都能通过进度条 拖动来看出拖动到哪里了,而不是需要拖一下听一下,反复确认进度点是不是需求点;

3、支持音乐,特别是古典音乐,比如钢琴曲、小提琴曲 的识谱,进度条 与 五线谱内容一一对应;

4、支持手机端,手机屏幕小,拖进度条 非常费劲,很难找准合适的位置,特别是在练小提琴曲的时候;

5、进度条支持 AB循环;

6、支持录音播放

这些需求,目前都可以用 大模型做出来,可以尝试大模型生成一个,并且 一步步迭代

我2个月前,用大模型做了一个,可以参考下

https://github.com/zhudaoruyi/MuseFlow

image

你的音乐方面的需求感觉可以专门做个APP啦, 看你的描述,音乐训练这个场景感觉好像有这个需求,(不过我对音乐学习其实不太了解哈)哈哈。我这个应用短期还是主要围绕语言学习这个场景

jiweiyuan avatar Dec 06 '24 10:12 jiweiyuan

@jiweiyuan 很有创意的想法,很喜欢这种减少学习干扰的设计(哪怕就是少了这一下点击)。后续如果能支持其他素材就更好了,比如 YouTube 视频,但是素材的断句点可能就不好判断了。

通过whisper 语音字幕识别可以把跟读 Youtube材料这个问题到可用的程度。虽然可能有些瑕疵。这是未来的一个产品迭代方向,不过这个功能应该会收费 (自定义材料 需要消耗 AI API tokens)

jiweiyuan avatar Dec 06 '24 10:12 jiweiyuan

更进一步可以加上发音流利度检测反馈,不过这类开源方案好像比较少

ultranity avatar Dec 06 '24 13:12 ultranity

@jiweiyuan 提个小建议~可以增加一些语料,尤其是跟程序员工作和幼儿学习英语相关的,这两个群体有比较强烈的学习意愿

yexia553 avatar Dec 10 '24 05:12 yexia553

@yexia553 很好的建议呀,有什么好的相关材料推荐吗

jiweiyuan avatar Dec 10 '24 10:12 jiweiyuan

@yexia553 很好的建议呀,有什么好的相关材料推荐吗

@jiweiyuan 程序员的话,可以考虑采用一些播客的数据,比如https://softskills.audio/,网上用户很多,可以搜一下,选你喜欢的~ 不过这个可能会有版权问题,以前没怎么关注过有没有对版权比较开放的播客, 幼儿学习的我也没啥语料

还有一个办法,让 LLM 生成语料,对于常见的场景应该是可以覆盖的

yexia553 avatar Dec 11 '24 06:12 yexia553

我也做了一个学英语的工具,也是为了让用户减少点点点!叫 Neonlingo 有兴趣交流一下嘛!

DililiZ avatar Dec 11 '24 07:12 DililiZ

@DililiZ 欢迎交流哈。可以把联系方式发到我的邮箱 [email protected] 加个微信后续约个时间聊聊。

我希望更多有兴趣的朋友和我一起开发这个项目哈。毕竟这个项目对标的是 duolingo 和 speak.com, 起码也是 https://smalltalk2.me/ 靠我一个人只能做着玩, 哈哈。

jiweiyuan avatar Dec 11 '24 09:12 jiweiyuan

多邻国 复刻项目 https://github.com/zhudaoruyi/react-duolingo

zhudaoruyi avatar Dec 11 '24 10:12 zhudaoruyi

多邻国 复刻项目 https://github.com/zhudaoruyi/react-duolingo

哈哈,开个玩笑。多邻国的游戏化设计和营销很强的。目前的直接参考的竞争对手是 https://smalltalk2.me/ 和 speak.com blodvoice.com enjoy(1000h.org) 。 能从这些产品分点用户,我就很满足啦,哈哈 😂 占据一个流量入口, 等着 audio voice AI 技术持续演进到可用级别。

jiweiyuan avatar Dec 11 '24 11:12 jiweiyuan