Redis-从海量数据里查询某一固定前缀的key
Redis-从海量数据里查询某一固定前缀的key
瑞新
发布于 2020-07-07 21:27:31
发布于 2020-07-07 21:27:31
生产环境，查找key开头的数据
场景模拟，线上Redis查询数据量大 key xx* 缺点 因为： 一次性返回数据量大，卡住。对内存消耗和Redis服务器都是隐患 建议： 时间花费，因为是分批次，会长 Scan无阻塞提取列表，每次执行返回少量元素 游标0->0,非递增小心要去重，存入HashSet count是上下浮动的
key查询全部
在这里插入图片描述
时间消耗
在这里插入图片描述
scan
在这里插入图片描述
定制化开发包使用
不同语言对应不同开发包，改定制化需求
在这里插入图片描述
批量生成redis测试数据
batchRedis.txt
批量生成redis测试数据
1.Linux Bash下面执行
for((i=1;i<=20000000;i++)); do echo "set k$i v$i" >> /tmp/redisTest.txt ;done;
生成2千万条redis批量设置kv的语句(key=kn,value=vn)写入到/tmp目录下的redisTest.txt文件中
2.用vim去掉行尾的^M符号，使用方式如下：：
vim /tmp/redisTest.txt
:set fileformat=dos #设置文件的格式，通过这句话去掉每行结尾的^M符号
::wq #保存退出
3.通过redis提供的管道--pipe形式，去跑redis，传入文件的指令批量灌数据，需要花10分钟左右
cat /tmp/redisTest.txt | 路径/redis-5.0.0/src/redis-cli -h 主机ip -p 端口号 --pipe本文参与?腾讯云自媒体分享计划，分享自作者个人站点/博客。
原始发表：2020-03-20 ，如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读
目录
相关产品与服务
云数据库 Redis
腾讯云数据库 Redis（TencentDB for Redis）是腾讯云打造的兼容 Redis 协议的缓存和存储服务。丰富的数据结构能帮助您完成不同类型的业务场景开发。支持主从热备，提供自动容灾切换、数据备份、故障迁移、实例监控、在线扩容、数据回档等全套的数据库服务。