前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >GAPIT3的farmcpu模型做GWAS,报错

GAPIT3的farmcpu模型做GWAS,报错

作者头像
邓飞
发布2024-04-30 15:24:48
990
发布2024-04-30 15:24:48
举报

大家好,我是邓飞。

一个好的问题,可以引起思考,通过查资料回答问题的过程,是加深理解的过程,然后通过输出,就是掌握深化。

星球里面老师提问了一个问题:

集群一般不会是内存的问题,但是报错显示“memory not mapped”,显然是内存的问题。其实是不是内存的问题不是最重要的,最重要的是怎么做?

要想解决这个问题,需要调用之前的经验,这个报错我也遇到过,大样本或者千万级别的位点,用gapit跑时就会报错,即使服务器配置很好满足条件,也是报错。那么怎么解决呢?

1,换软件,gapit由于R语言包的缘故,而R语言本身对大数据支持有限很容易崩,换软件,比如gcta、gemma就挺好,几千的样本几千万的snp,跑起来很快的,“嗖”的一下……,缺点就是模型单一,不能用farmcpu、blink、cmlm等高级模型了。不过换一种思路,数据量大的时候,高级模型影响很小,跑一下看看结果未尝不可。数据分析不是一锤子买卖,而是互动性极强探戈,有来有回反馈跟进,根据结果调模型是基本操作,分析数据的经验越多,越能明白一个道理:对数据严刑拷打,总能得到理想的结论(狗头)。

2,分解步骤,gapit跑gwas模型,会用到kinship亲缘关系矩阵,使用过R语言计算G矩阵的小伙伴都知道,内存是嗷嗷叫的往上增加,没办法,算法不行硬件来凑。但是,10万的矩阵求逆基本就是不可能,数据是成倍的增加,而内存是指数的增加,所以,R语言计算kinship不行,用别的软件计算好再用就行了。C++、C语言不香吗,像gemma和gcta都可以构建kinship矩阵,速度很快。然后用gapit从外部导入kinship就可以解决了。

一个好的问题,可以引起很多思考,之前遇到这个问题,我都是知难而退,毕竟模型这么多,这个跑不动用其他模型,通过这个问题的思考,发现还是有解决方案的。

古人云:教学相长。诚不欺我也。

本文参与?腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2024-04-24,如有侵权请联系?cloudcommunity@tencent.com 删除

本文分享自 育种数据分析之放飞自我 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与?腾讯云自媒体分享计划? ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
大数据
全栈大数据产品,面向海量数据场景,帮助您 “智理无数,心中有数”!
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
http://www.vxiaotou.com