0

0

一步完成MySQL向Redis迁移_MySQL

php中文网

php中文网

发布时间:2016-06-01 13:37:00

|

1048人浏览过

|

来源于php中文网

原创

Redis

在把一个大表从 mysql 迁移到 redis 时,你可能会发现,每次提取、转换、导入一条数据是让人难以忍受的慢!这里有一个技巧,你可以通过使用管道把 mysql 的输出直接输入到 redis-cli输入端,这可以使两个数据库都能以他们的最顶级速度来运行。

使用了这个技术,我把 800 万条 MySQL 数据导入到 Redis 的时间从 90 分钟缩短到了两分钟。

Mysql到Redis的数据协议

redis-cli命令行工具有一个批量插入模式,是专门为批量执行命令设计的。这第一步就是把Mysql查询的内容格式化成redis-cli可用的数据格式。here we go!

我的统计表:

  1. CREATE TABLE events_all_time (
  2. id int(11) unsigned NOT NULL AUTO_INCREMENT,
  3. action varchar(255) NOT NULL,
  4. count int(11) NOT NULL DEFAULT 0,
  5. PRIMARY KEY (id),
  6. UNIQUE KEY uniq_action (action)
  7. );

准备在每行数据中执行的redis命令如下:

  1. HSET events_all_time [action] [count]

按照以上redis命令规则,创建一个events_to_redis.sql文件,内容是用来生成redis数据协议格式的SQL:

  1. -- events_to_redis.sql
  2. SELECT CONCAT(
  3. "*4\r\n",
  4. '

ok, 用下面的命令执行:

  1. mysql stats_db --skip-column-names --raw < events_to_redis.sql | redis-cli --pipe

很重要的mysql参数说明:

--raw: 使mysql不转换字段值中的换行符。

--skip-column-names: 使mysql输出的每行中不包含列名。

原文出处:http://www.oschina.net/translate/mysql-to-redis-in-one-step

英文原文:MySQL to Redis in One Step

LALAL.AI
LALAL.AI

AI人声去除器和声乐提取工具

下载
, LENGTH(redis_cmd), '\r\n',
  • redis_cmd, '\r\n',
  • '

    ok, 用下面的命令执行:

    ___FCKpd___3

    很重要的mysql参数说明:

    --raw: 使mysql不转换字段值中的换行符。

    --skip-column-names: 使mysql输出的每行中不包含列名。

    原文出处:http://www.oschina.net/translate/mysql-to-redis-in-one-step

    英文原文:MySQL to Redis in One Step

    , LENGTH(redis_key), '\r\n',
  • redis_key, '\r\n',
  • '

    ok, 用下面的命令执行:

    ___FCKpd___3

    很重要的mysql参数说明:

    --raw: 使mysql不转换字段值中的换行符。

    --skip-column-names: 使mysql输出的每行中不包含列名。

    原文出处:http://www.oschina.net/translate/mysql-to-redis-in-one-step

    英文原文:MySQL to Redis in One Step

    , LENGTH(hkey), '\r\n',
  • hkey, '\r\n',
  • '

    ok, 用下面的命令执行:

    ___FCKpd___3

    很重要的mysql参数说明:

    --raw: 使mysql不转换字段值中的换行符。

    --skip-column-names: 使mysql输出的每行中不包含列名。

    原文出处:http://www.oschina.net/translate/mysql-to-redis-in-one-step

    英文原文:MySQL to Redis in One Step

    , LENGTH(hval), '\r\n',
  • hval, '\r'
  • )
  • FROM (
  • SELECT
  • 'HSET' as redis_cmd,
  • 'events_all_time' AS redis_key,
  • action AS hkey,
  • count AS hval
  • FROM events_all_time
  • ) AS t
  • ok, 用下面的命令执行:

    ___FCKpd___3

    很重要的mysql参数说明:

    --raw: 使mysql不转换字段值中的换行符。

    --skip-column-names: 使mysql输出的每行中不包含列名。

    原文出处:http://www.oschina.net/translate/mysql-to-redis-in-one-step

    英文原文:MySQL to Redis in One Step

    热门AI工具

    更多
    DeepSeek
    DeepSeek

    幻方量化公司旗下的开源大模型平台

    豆包大模型
    豆包大模型

    字节跳动自主研发的一系列大型语言模型

    通义千问
    通义千问

    阿里巴巴推出的全能AI助手

    腾讯元宝
    腾讯元宝

    腾讯混元平台推出的AI助手

    文心一言
    文心一言

    文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

    讯飞写作
    讯飞写作

    基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

    即梦AI
    即梦AI

    一站式AI创作平台,免费AI图片和视频生成。

    ChatGPT
    ChatGPT

    最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

    相关专题

    更多
    漫画免费在线观看地址大全
    漫画免费在线观看地址大全

    想找免费又资源丰富的漫画网站?本合集精选2025-2026年热门平台,涵盖国漫、日漫、韩漫等多类型作品,支持高清流畅阅读与离线缓存。阅读专题下面的文章了解更多详细内容。

    1

    2026.01.31

    漫画防走失登陆入口大全
    漫画防走失登陆入口大全

    2026最新漫画防走失登录入口合集,汇总多个稳定可用网址,助你畅享高清无广告漫画阅读体验。阅读专题下面的文章了解更多详细内容。

    2

    2026.01.31

    php多线程怎么实现
    php多线程怎么实现

    PHP本身不支持原生多线程,但可通过扩展如pthreads、Swoole或结合多进程、协程等方式实现并发处理。阅读专题下面的文章了解更多详细内容。

    1

    2026.01.31

    php如何运行环境
    php如何运行环境

    本合集详细介绍PHP运行环境的搭建与配置方法,涵盖Windows、Linux及Mac系统下的安装步骤、常见问题及解决方案。阅读专题下面的文章了解更多详细内容。

    0

    2026.01.31

    php环境变量如何设置
    php环境变量如何设置

    本合集详细讲解PHP环境变量的设置方法,涵盖Windows、Linux及常见服务器环境配置技巧,助你快速掌握环境变量的正确配置。阅读专题下面的文章了解更多详细内容。

    0

    2026.01.31

    php图片如何上传
    php图片如何上传

    本合集涵盖PHP图片上传的核心方法、安全处理及常见问题解决方案,适合初学者与进阶开发者。阅读专题下面的文章了解更多详细内容。

    2

    2026.01.31

    Python 数据清洗与预处理实战
    Python 数据清洗与预处理实战

    本专题系统讲解 Python 在数据清洗与预处理中的核心技术,包括使用 Pandas 进行缺失值处理、异常值检测、数据格式化、特征工程与数据转换,结合 NumPy 高效处理大规模数据。通过实战案例,帮助学习者掌握 如何处理混乱、不完整数据,为后续数据分析与机器学习模型训练打下坚实基础。

    1

    2026.01.31

    C++ 设计模式与软件架构
    C++ 设计模式与软件架构

    本专题深入讲解 C++ 中的常见设计模式与架构优化,包括单例模式、工厂模式、观察者模式、策略模式、命令模式等,结合实际案例展示如何在 C++ 项目中应用这些模式提升代码可维护性与扩展性。通过案例分析,帮助开发者掌握 如何运用设计模式构建高质量的软件架构,提升系统的灵活性与可扩展性。

    38

    2026.01.30

    c++ 字符串格式化
    c++ 字符串格式化

    本专题整合了c++字符串格式化用法、输出技巧、实践等等内容,阅读专题下面的文章了解更多详细内容。

    18

    2026.01.30

    热门下载

    更多
    网站特效
    /
    网站源码
    /
    网站素材
    /
    前端模板

    精品课程

    更多
    相关推荐
    /
    热门推荐
    /
    最新课程
    Java 教程
    Java 教程

    共578课时 | 53.9万人学习

    国外Web开发全栈课程全集
    国外Web开发全栈课程全集

    共12课时 | 1.0万人学习

    PHP自制框架
    PHP自制框架

    共8课时 | 0.6万人学习

    关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
    php中文网:公益在线php培训,帮助PHP学习者快速成长!
    关注服务号 技术交流群
    PHP中文网订阅号
    每天精选资源文章推送

    Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号