自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

Video Recommendation

For Video Recommendation in Deep learning QQ Group 277356808

  • 博客(411)
  • 资源 (1)
  • 论坛 (1)
  • 收藏
  • 关注

原创 DGCF代码解读之重新出发

hi我是小明哥,年少不知小明帅,为约妹子强说愁,哈哈。言归正传,每个新模型出来不到两个月,甚至不到一个月,就有人引用你的文章(你以为别人引用很开心,其实是人家为了踩你啊)马上与你的结果对比,效果就是比你的好,这种正常的竞争/竞赛我觉得很好,公平公正公开,不开源的就算了,谁知道有没有实现paper中宣称的结果,这种都是不足为信的。总体来说,DGCF是CF协同过滤的大范畴之内的,当然要与最佳的模型对比了,目前来看最优的是GCN(LightGCN),这种方法如果维度小点能够达到相当不错的效果就好了,当数据量大

2020-11-22 19:42:00 1384 2

原创 GCE-GNN论文解读及代码

hi本文是gnn系列的延续,前面可参考,TAGNN,SRGNN,LightGCN,根据论文数据比较,GCE-GNN要比TAGNN的效果好很多,如下是同一数据同一指标的对比,可见一斑。考虑到TAGNN并没有比SRGNN高很多,本菜鸟打算放弃TAGNN了,舍得。For Video Recommendation in Deep learning QQ Group 277356808For Visual in deep learning QQ Group629530787I'm here wait.

2020-11-08 20:48:48 2193 6

原创 TAGNN论文解读——SRGNN的进阶版本

hi各位大佬好,我是菜鸟小明哥(其实我也是大佬,哈哈,都是大佬)。SRGNN已经初步完成实际应用,效果还好,有用的参考来这里。据说原paper大佬已经更新换代了GNN,也就是TAGNN,望文生义就是“他的GNN”,我啥时候发个“WOGNN”,也就是“我的GNN”,hehe。本文依旧粉丝可见,年底回馈粉丝福利。(不喜欢我翻译的就别看,看过了又瞎BB,你是闲的蛋疼吗?),代码在此,paper在此。真正意义上的序列推荐,SRGNN算上一个,从序列到序列,无需考虑用户的id,当然要记住是哪个用户的点击序列,

2020-10-29 20:31:12 1951 3

原创 高并发请求服务端设置FastAPI和gunicorn对比

问题来源:存储图文GNN召回结果。考虑到效率和响应时间,采用的是redis集群模式将召回结果先存储在redis,然后做个服务供前端调用。For Video Recommendation in Deep learning QQ Group 277356808视频推荐深度学习加这个群For Visual in deep learning QQ Group629530787视觉深度学习加这个,别加错I'm here waiting for you别加那么多,没必要,另外,不接受这个网.

2020-10-20 11:41:21 538

原创 GCN论文解读

He老师又出新作了,2020年的,此He非彼He,但在我看来都是一样的牛逼。我之前的SR-GNN版本速度好慢,这也是我的一个心病了,后面再想法子改版本,如果有好的版本(tf1.14或者tf.1.15能跑的,tf1.10以下的版本不能用)欢迎安利。paper地址在此,代码地址在此,torch版本在此。For Video Recommendation in Deep learning QQ Group 277356808视频推荐深度学习加这个群For Visual in deep learnin

2020-09-05 12:33:20 1083 1

原创 SR-GNN论文解读并附代码分析

采用GNN解决基于会话的推荐,啥是会话?session-based?一般是指用户的行为,时间一般限制在30min内,也就是说用户在30min内的点击浏览行为,这是一个会话。基于会话的推荐最终结果是计算得到用户和item的embedding,并预测next点击,也就是说,这种方法与youtube2016的部分流程是相似的,For Video Recommendation in Deep learning QQ Group 277356808For Visual in deep learnin.

2020-08-27 19:31:16 695

原创 告诸位技术同胞大佬!!!

近日,发现其他网站大量复制粘贴我这里的博文,既不注明原文链接,也没有注明作者,这样的网站毫无底线,完全是流氓网站。鉴于这种情况的出现,本人今天以后的博文全部只能粉丝可见。下面我要挨个投诉,申诉,直到删除复制的我的博文,不限于起诉维权,反正一无所有,咱就死磕到底!!!For Video Recommendation in Deep learning QQ Group 277356808For Speech, Image, Videoin deep learning ...

2020-06-05 10:12:14 464 1

原创 pySpark学习笔记N——数据的存储

hi各位大佬早啊。我是菜鸟小明哥。在下载用户及item特征的时候出现问题,spark.sql得到的数据已经是dataframe了,但是我用.withColumn增加列后选择了分user或item存储在hdfs,这是种分片存储的方式(不知道我说的啥,详见下面代码吧),但这种就会出现问题:选择的列如果是空值的话,那么它不会以NULL的形式出现在hadoop getmerge的本地结果中,这就出现了有的行是13个特征,有的是14个特征,如下:照搬照抄是不行的,有坑。For Recommendation in

2021-01-26 15:25:20 71

原创 关于one-hot编码

hi各位大佬好,我是探花小明哥,之前的博文中提及的one-hot可能与常见的one-hot不太一样,针对叶子节点中的one-hot,这个肯定是多个0,1的组合,最终的结果就是直接LabelEncoder的拼接,我失算了,我以为有啥高深的玩意,发现并没有。For Recommendation in Deep learning QQ Group 102948747For Visual in deep learning QQ Group629530787I'm here waiting for yo.

2021-01-16 17:21:59 992 2

原创 gbdt+LR做推荐

hi各位大佬好,我是菜鸟小明哥,上周吹牛逼的东西这周要整出个雏形来,效果无所谓,要能跑。于是乎我翻阅了相关博文及原始paper,准备搞下基本的流程,这个毕竟也是最朴素的方法,简单的不会一两个感觉有点不接地气。脸书的原文:Practical Lessons from Predicting Clicks on Ads at Facebook,竟然是广告方面的,我喜欢。For Recommendation in Deep learning QQ Group 102948747For Visual in d

2021-01-15 18:56:50 844

原创 lightgbm中的多分类multiclass与multiclassova

hi我是菜鸟小明哥,之前的二分类领导说正例的P值太低,我也这么觉得,但正例少,加上权值weight调整也不行啊,肯定是这样的啊:对于一个分类器来说,如果正例少,那么将所有的分为负例,就已经能保证很高的ACC了,这时正例的R值为0(一个没查到),而P值为0/0,当考虑另一极端情况,就是将所有的都分为正例,此时R值为100%(即全都查到了),而P值则为正/(正+负),[正,负代表样本实际标签],而负例较多,P值就趋于0了,分类器训练结果肯定在这两种情况之中,那么R值越高,就可能将很多负例也分为了正例,这导致P值

2021-01-06 15:27:17 854

原创 再读SRGNN论文之GRU与RNN和LSTM

hi主要是没太多时间用来思考,所以很多东西都不是太清楚,只会装逼,这样不好,要从理论/代码上理解到底说的是什么事情,这是科学问题:是什么和为什么?作为搬砖工还是有必要深入了解,不然真的只能搬砖了。可在我的主页搜索相关博文,不再挨个附上。【面试明明是技术面,却总是在问科学的问题,这很扯淡】For Recommendation in Deep learning QQ Group 102948747For Visual in deep learning QQ Group629530787I'm he.

2021-01-03 19:57:59 1186 2

原创 lightgbm中的gbdt特征转换与训练过程

哈喽,大佬们好,领导要求做个简单的二分类或者回归问题,但必须用到所提供的特征参数,按照领导指示发现gbdt+LR似乎可行,而经过搜索发现Lightgbm,lightfm,libfm,xgboost等包,不知道用哪个好(或者有的不适合),广泛搜索后发现如下脚本,这也算做年终粉丝福利吧。敬请关注,并请持续关注。For Recommendation in Deep learning QQ Group 102948747For Visual in deep learning QQ Group6295307.

2020-12-31 20:28:50 198 2

原创 严格冷启动问题的再次尝试AGNN及代码

hi各位大佬好,我是百变大魔王探花小明哥GBM.问题来源:领导说,这里要当成严格冷启动问题,不能用预热的行为数据,看来之前的LCE是肯定不行的,目前主要解决的是item冷启动的问题,而对这些cold item的点击行为也是冷的用户,卧槽,这是真的冷啊。冰冷的梦里,无法跟你相聚。For Recommendation in Deep learning QQ Group 277356808For Visual in deep learning QQ Group629530787I'm here wa.

2020-12-29 21:04:40 1285 3

原创 requests请求中的get与post带账号密码与参数

嗨各位大佬好,我现在是应接不暇,无暇顾及我的模型种种,只因忙于内卷,这个问题不想面对却始终无法逃脱,我特么一腔热血洒热土。大佬让用用es呗,不好意思,不给你用,我特么。。还有。。算了算了,小明哥不是一般的小明哥,加油吧。总有柳暗花明之时,而你还记得我们曾经讨论的话题。相关博文阅读:服务端设置For Recommendation in Deep learning QQ Group 277356808For Visual in deep learning QQ Group629530787I'm .

2020-12-23 11:19:40 348 1

原创 pySpark学习笔记4——预处理csv数据3

嗨,各位大佬好,我是开局一手好牌,最后打得稀烂,输掉所有的菜鸟小明哥。本文仍旧是pySpark系列继续,欢迎关注,并请持续关注。入门,开始,继续。有大佬说,很多人写博文都是开篇啥的,往往只有一两篇,后来再无更新,而我不是,专注,持续深入才是我的本色。回到征途,在spark中,有很多函数可能你并不知道或者真的没有,那么就需要自己定义个函数了,这很正常,这就是udf,即望文生义——user define function,同样pandas中的apply下也是自己可以定义的函数或者匿名函数。For Recom

2020-12-19 16:10:10 1424 3

原创 pySpark学习笔记3——处理csv数据(合并与存储在hdfs)

上一篇博文是开始,处理csv数据还是需要继续,将我所有数据的预处理及编码,agg以及np的处理,全部改成spark中的数据处理,这个肯定有难度,但我觉得可以尝试,毕竟还是有意思的,就是翻译代码。加油吧,搬砖工。For Recommendation in Deep learning QQ Group 277356808For Visual in deep learning QQ Group629530787I'm here waiting for you不接受这个网页的私聊/私信!!!目.

2020-12-15 16:37:45 131

原创 有序数组等间隔划分的问题

嗨各位大佬好,算法挺有用的,我今天就遇到了个现实的问题,对时间进行等间隔划分(前提是已经排序完成了),这个咋做啊,刚开始我直接来了个最笨的方法,复杂度O(n^2)级别,堪称最差的了。如下示例:可以有重复数据For Recommendation in Deep learning QQ Group 277356808For Visual in deep learning QQ Group629530787I'm here waiting for you不接受这个网页的私聊/私信!!!&g.

2020-12-12 17:14:57 300

原创 SRGNN infer阶段终结篇

嗨,搬砖工起来干活了,加油吧,搬砖人。本文的核心在于解决SRGNN推理慢的问题,读懂代码,将其改成faiss召回,这才是创造性的。【近期一些paper都已经宣称超越了SRGNN,对此,小明哥持保留意见,直接说就是,不要吹牛逼,能不能落地?速度和内存在DAU千万下能不能行?没公开依旧不可信,公开的也就是个弱的baseline,实际还是很多坑】For Recommendation in Deep learning QQ Group 277356808For Visual in deep learni

2020-12-11 16:42:49 138 1

原创 pySpark学习笔记2——处理csv数据(去重及排序)

之前学习了spark的初步,但远不够需求,最简单的说,能对从hive表得到的数据进行预处理吗?比如说pd.sort_values?以及apply,group,drop_duplicates等。我目前的宏图大业是将数据直接从hive-spark得到,然后同样spark预处理,直接在hdfs上对数据操作(无需加载本地),然后用tfs进行集群处理,完整解决大数据量的问题,这一前提假设是tfs安装正确没有毛病。For Recommendation in Deep learning QQ Group 277356

2020-12-08 17:30:07 316 2

原创 冷启动问题的一点尝试LCE

各位大佬好,最近我又抑郁了。比上不足,我比上不足,Life is harder.For Recommendation in Deep learning QQ Group 277356808For Visual in deep learning QQ Group629530787I'm here waiting for you不接受这个网页的私聊/私信!!!说了多少次不接受网页的私信与私聊还是有人这样私信,我看了也不回的,您继续就好了。评论一下会死?加群详聊会见光死?老子又不是和你相亲。.

2020-12-06 19:07:43 910 5

原创 关于僵尸程序的处理——kill进程

hi各位大佬好,我是CIA小明哥,简称菜鸟小明哥。近日做的进程/线程的东西,服务器报警了,“已经有15个僵尸进程”,卧槽,对于菜鸟来说,一脸懵逼,帅脸懵逼。到底哪里程序产生的呢?细想一下,发现是之前写的bug,没有完整处理好,但日志中也没有记录报错,这就是只有一个原因了,当数据量增加后,内存爆炸了,这样就产生了僵尸进程,这是一种原因,如果出现这种错误我是不是可以直接强制退出呢?这个except加在哪里呢?之前的参考博文:进程,线程,进程与线程,进程的终结,我的应用北京的微信群,其他的加QQ群Fo

2020-11-27 11:51:03 131

原创 多进程返回参数——终结篇

hi各位大佬好,进程与线程这个问题困扰一周了,要么是用来加速要么是为了控制进程(进程结束可能会释放一些内存),在我加速的时候有时候发现线程ThreadPool还没有直接for快,这就比较尴尬了吧,所以这个要慎用。现在进程则是主要关注的,参考博文:进程返回数据(博文一),线性进程综合(博文二)。我目前一个服务器采用第一个参考博文能解决问题,而且线程也比较快,另外一个服务器或者现在的一个服务器却不行,WOC,这是啥幺蛾子,数据量的问题?多看看,不吊死在一颗树上(找对象不也是如此吗?大家不都是如此吗?)小轩独

2020-11-15 18:19:06 96

原创 SRGNN番外篇——我的死磕笔记

hi,最初的版本我是用的debias中的,然而这样推理速度有点慢,尽管采用了加速的办法,但仍旧很慢。同时我尝试了官方版本,飞桨版本,然而前者更慢,后者无暴露API,直白的说,达不到推荐的目的(即如何给用户推items列表)。前些日子采用NeuRec做了下GCN,尽管需要改动细微之处,但好歹可以用了。于是乎,也试试SRGNN吧,主要是当前阶段GPU匮乏,GPU严重缺乏,这是目前生产力发展的极大障碍。本文依旧粉丝可见。For Video Recommendation in Deep learning QQ

2020-11-13 19:32:24 303

原创 线程进程计算之多任务同步进行

hi各位大佬好,前面一篇介绍了多进程中传值的问题,这里要进行一个线程问题,即,当目前任务进行中一部分数据要用来做另一个任务(new plan),当前任务又不能停下,于是就要开一个线程执行新的任务。For Video Recommendation in Deep learning QQ Group 277356808For Visual in deep learning QQ Group629530787I'm here waiting for you别加那么多,没必要,另外,不接受这个网页.

2020-11-11 21:09:16 1713 5

原创 多进程能返回数据吗?

之前搞过这个玩意,但没搞通,也是时间紧,任务重,所以就直接将数据保存了,然后再加载。这种方法就比较Low了,一定时间内解决了问题,但终究不能完全解决问题,砖在哪里,始终都要去搬的,逃避不行的。前面结论:Process中的数据只能进,出不来。For Video Recommendation in Deep learning QQ Group 277356808视频推荐深度学习加这个群For Visual in deep learning QQ Group629530787视觉深度学习加这.

2020-11-05 22:30:05 581

原创 docker基本命令使用nginx

上一篇还是真的刚开始跳坑,还没躺尸,继续坑中搬砖。For Video Recommendation in Deep learning QQ Group 277356808视频推荐深度学习加这个群For Visual in deep learning QQ Group629530787视觉深度学习加这个,别加错I'm here waiting for you别加那么多,没必要,另外,不接受这个网页的私聊/私信!!!1-查看运行的容器,$ sudo docker ps -a..

2020-11-03 21:31:45 116

原创 docker安装记录

嗨各位大佬好,docker可能是大佬必备的,不会个docker可能会被嘲笑。因而我今天也来填坑了。For Video Recommendation in Deep learning QQ Group 277356808视频推荐深度学习加这个群For Visual in deep learning QQ Group629530787视觉深度学习加这个,别加错I'm here waiting for you别加那么多,没必要,另外,不接受这个网页的私聊/私信!!!1-首先更新,应..

2020-11-03 14:22:57 148

原创 力扣刷题笔记2——关于字符串

hi各位大佬好,我又来了。上一篇开篇之作的确有难度,这次我挑了个简单的,仍旧是关于字符串或者相关的。之前说到字符串中最长的回文子串问题,这个考虑到速度和空间只能用dp动态规划,这是必须掌握的,于是就出现了,For Video Recommendation in Deep learning QQ Group 277356808视频推荐深度学习加这个群For Visual in deep learning QQ Group629530787视觉深度学习加这个,别加错I'm here w.

2020-11-01 21:14:10 639

原创 TAGNN代码解读

hi各位大佬好,上一篇博文看了下paper,也没啥子,自己写又写不出,哈哈For Video Recommendation in Deep learning QQ Group 277356808视频推荐深度学习加这个群For Visual in deep learning QQ Group629530787视觉深度学习加这个,别加错I'm here waiting for you别加那么多,没必要,另外,不接受这个网页的私聊/私信!!!刚开始就报错了,啊啊啊啊啊啊啊啊啊啊啊啊啊.

2020-11-01 18:25:56 1247 5

原创 leetcode之开篇——刷题只为陶冶情操,修身养性

hi各位大佬好,我是探花小明哥,是个做题菜鸟,一到做题就紧张的不得了,哎,原因还是看得太重了,越怕失去就什么也得不到,放开点,从此刷题来改善这种情况吧【其实不是为了所谓的面试,因为面试我不做题的,啥面试做题我都是直接走的,拜拜了您,有机会再见】其次一个原因也的确很没意思,总要找些事做,整天吃肉也不好吧,适当换个口味,比如,螃蟹和大闸蟹,哈哈,闲下来不太好,生活中的各种压力都会凸显。最后还是为了推介自己,哈哈,交流总要有话题吧,不仅可以谈谈语音,图像,Java,python,以及目前的推荐,我们还可以

2020-10-31 19:51:40 646

原创 faiss GPU使用的鬼事

hi,问题来源这里。使用faiss时,已经指定了只有1能用,结果在清除模型内存后,GPU-1仍然不能用,报错这里。本文粉丝可见,年底回馈粉丝,福利。For Video Recommendation in Deep learning QQ Group 277356808视频推荐深度学习加这个群For Visual in deep learning QQ Group629530787视觉深度学习加这个,别加错I'm here waiting for you别加那么多,没必要,另外,不接.

2020-10-26 15:54:26 209 4

原创 LightGCN召回——模型训练完如何infer?

新版本的CSDN输入编辑器太垃圾了,这是啥子鬼玩意。其实LightGCN还是没有终结,为啥子?因为内存问题,我在上面已经提及,数据量太大时还是不能解决。For Video Recommendation in Deep learning QQ Group 277356808视频推荐深度学习加这个群For Visual in deep learning QQ Group629530787视觉深度学习加这个,别加错I'm here waiting for you别加那么多,没必要,..

2020-10-25 21:15:34 351 7

原创 LightGCN实践2——GPU内存爆炸终结篇

hi,GPU内存占满的问题,这几天必须解决。这里issue,暂且相信一次,毕竟分布式GPU训练太难改模型了。人生艰难啊。近在眼前都不能抓住,更不要鬼扯远在天边的了。For Video Recommendation in Deep learning QQ Group 277356808视频推荐深度学习加这个群For Visual in deep learning QQ Group629530787视觉深度学习加这个,别加错I'm here waiting for you别加那么多.

2020-10-23 21:23:33 1771 3

原创 python脚本参数输入sys和argparse

hi,问题来源于同一个脚本多次执行,其中的东西都一样,只有小的细节不同。因此设置输入参数即可,不必重建一个脚本。For Video Recommendation in Deep learning QQ Group 277356808视频推荐深度学习加这个群For Visual in deep learning QQ Group629530787视觉深度学习加这个,别加错I'm here waiting for you别加那么多,没必要,另外,不接受这个网页的私聊/私信!!!我..

2020-10-16 10:44:03 58

原创 关于LightGCN的实践——AttributeError: ‘train_thread‘ object has no attribute ‘data‘

问题来源:GCN代码在数据量较大的时候出现的问题。本文粉丝可见。就在刚刚过去的2h内发生了两次这个错误,首先猜测是数据量逐渐上来的原因,下面溯源。具体错误如下:Training @ 2020-10-15 09:40:09.802495sTraceback (most recent call last): File "/data1/xulm1/LightGCN/video_update_rec_items.py", line 662, in <module> _, ba

2020-10-15 16:54:17 249 2

原创 redis读写主从分离——redis集群初步

问题来源:图文召回结果存储。召回采用的GNN模型,马上采用GCN模型。未来可期,请你再等等我,好了,鹤唳华亭戏精上身因为点击行为比较多(千万级别),用户数量也比较多(百万),所以最终的kv是相当多的。这就是内容的分发。For Video Recommendation in Deep learning QQ Group 277356808视频推荐深度学习加这个群For Visual in deep learning QQ Group629530787视觉深度学习加这个,别加错I'm .

2020-10-14 16:20:26 124

原创 飞桨SR-GNN修改及实践记录

hi各位大佬好,在修改飞桨SR-GNN源码中,肯定首先要看懂流程,读懂程序。其中一个麻烦是config.yaml,其实这个玩意就是个txt文件,完全没必要这么搞。凡是需要手动修改(配置)的均不符合时代进步潮流(都是自动化了,你还倒退?),这种也必将被社会的浪潮冲蚀,最终湮灭。删繁就简三秋木,标新立异二月花 遇到的问题详见我的issueFor Video Recommendation in Deep learning QQ Group 277356808视频推荐深度学习加这个群,这是推荐,推荐,..

2020-10-12 15:48:18 105

原创 关于sequence mask及Embedding的进一步解读(从点到面引爆知识的大宇宙)

对于一个NLP一窍不通的菜鸟来说真是艰难,看了某文解读,mask基本上有俩作用,1-处理变长序列;2-防止标签/未来信息泄露(??)看来做推荐真的不可能独善其身,什么都要会啊【我一搜mask出现了Attention,Transformer,Embedding等经典】人生艰难,不如尽早面对!!!Attention paper中:很多有竞争力的序列转换模型都有编解码结构【本菜鸟注:这里的编解码不是音视频中编解码,而是网络结构】编码器将序列的符号表达映射到连续的序列表达,然后解码器产生一个符号序列。【

2020-10-10 17:17:59 91

原创 Chorus及LightGCN中对scores部分的处理

接上个博文。本文继续探索scores倒排问题。其实有点失望,作者这里仍旧是采用的np.argsort这种排序方法。有上文可知,其中user和item数据量很小,而且又是分开batch来做的,所以这里的耗时并不明显。如下,For Video Recommendation in Deep learning QQ Group 277356808视频推荐深度学习加这个群For Visual in deep learning QQ Group629530787视觉深度学习加这个,别加错I.

2020-10-10 15:46:08 206

视频中的音频提取test.mp3

视频中音频提取技术,ffmpeg是底层实现工具,这是最基本的,采用py处理得到,简单方便,但实时性有点差,取决于个人所用工具。

2019-11-30

keras中model.fit()出错,请帮忙看看

发表于 2019-10-14 最后回复 2020-03-05

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除