基于 MaxCompute 的智能推荐解决方案

本文作者 吴世龙 阿里云智能 高级产品专家

直播视频请点击 直播 观看。

一、背景介绍行业趋势

“2018年天猫双11共产生了453亿次AI个性化推荐 阿里巴巴副总裁、淘宝总裁蒋凡表示淘宝可能是全世界最大人工智能的应用 他说 “在今年双11我们也可以看到 基于个性化推荐的流量已经超过了搜索等方式带来的流量 这是一个非常非常大的变化”

信息爆炸一词最早出现在20世纪80年代 各种信息以指数级增长 如何处理过载的信息成为了重要的问题 而这对于无论是消费者还是信息发布者还是承载的平台 都意味着眼下和未来都面临着巨大的挑战 而个性化推荐系统的本质则是高效连接信息和用户 于用户满意度提升 于信息发布者获得合理的用户群 于平台价值转化最大化。

MaxCompute产品背景

MaxCompute 是面向分析的企业级 SaaS 模式云数据仓库 以 Serverless 架构提供快速、全托管的在线数据仓库服务 消除了传统数据平台在资源扩展性和弹性方面的限制 最小化用户运维投入 使您可以经济并高效的分析处理海量数据。数以万计的企业正基于 MaxCompute 进行数据计算与分析 将数据高效转换为业务洞察。

智能推荐产品背景

智能推荐 基于阿里巴巴领先的大数据和人工智能技术 根据用户的兴趣偏好 解决用户需求和内容展示中间的关联问题。结合阿里巴巴在电商、内容、新闻、视频直播和社交等多个行业领域的积累 为全球企业及开发者提供云推荐服务与机器学习平台。

智能推荐在我们生活和工作中都是会遇到的 比如某工业客户 在企业内部有许多的资料供员工查看。智能推荐不止是对于ToC的企业 ToB的企业在企业内部 包括一些知名的企业 内部都是用很多资料 能够让员工方便的 快速的 高效的供员工查看。这个需求在ToB企业中也是普遍现象。ToC企业的需求更加明显 如果大家关注行业报告 会发现互联网的红利已经基本结束 用户的渗透率已经很高。那在行业发展和用户增量达到瓶颈时 用户的在线时长从2020年的6.1小时 仅仅增加到6.3小时 用户的在线时间基本上处于停滞不增加的阶段。那企业随之也会面临两个问题 一企业用户获客成本越来越高 增量的难度也越来越高。二获客成本越来越高的情况下 存量客户怎么去增加在线时长。从这两个问题表明 如何充分、高效转化不管是增量还是存量的用户 对于企业来说都是非常重要的一环。

二、智能推荐业务场景与价值哪些行业需要智能推荐

不管是电商行业、内容行业、新闻行业包括上文讲到的行业 其实行行业业都会用到智能推荐。大家一听到智能推荐都会想到ToC的行业 但ToB的行业也是需要智能推荐 因为企业内部有大量的资料和文章。推荐本身已经渗透到我们平时用到的产品的方方面面 从产品形态来看电商 内容 新闻等都有它的身影 通过大数据 算法预测出我们更感兴趣的内容 极大的改善了用户体验

痛点电商/零售行业

?获客成本高用户留存差

?成交转化率低复购率低

?人工规则推荐效率低效果差

内容/资讯/视频行业

?获客成本高用户留存差

?用户粘性/活跃度低

?人工规则推荐效率低效果差

场景电商/零售行业

?App首页瀑布流

?店铺首页瀑布流

?商品详情页

?卖场活动页

?其他

内容/资讯/视频行业

?首页瀑布流

?内容/资讯/视频详情页

?主题/专题瀑布流

客户使用智能推荐后的效果

从下图表中可以看出 在企业使用完智能推荐之后 各项效果指标有了明显的提升。

某知名垂类社区商城

某知名垂类电商

中青看点个性化推荐

某食谱类APP

成交转化率提升 40%

CVR提升 100%

CTR提升 80%

PV_CTR提升 38%

GMV提升 50%

每用户下单数提升 89%

用户均停留时长提升 10Min

UV_CTR提升 34%

基于数据仓库的智能推荐架构

智能推荐是典型的大数据应用场景 所以强依赖于数据仓库。智能推荐在数据对接方面 基于MaxCompute来实现 通过应用MaxCompute内部的一些计算能力 能够更好的分析、管理企业的数据 从而实现智能推荐的业务场景。如果您的数据量较小 也可以通过SDK把数据推送到智能推荐 实现您的业务场景。智能推荐支持算法定制和业务定制 给予企业充分的灵活自主可控的能力。

三、自建痛点与产品优势自建痛点(智能推荐)搭建成本

?人员要求高 自建推荐系统对人员要求较高 系统开发、数据处理、召回、排序模型开发及调优 均需要高级开发 算法工程师长期参与。

?上线周期长 推荐系统架构复杂 为达到上线效果需要反复调优 所需开发时间多于3个月。

?运维成本高 升级迭代、自建系统后期有较高的维护成本。

推荐效果

?效果调优困难 套用主流算法不一定有好的效果 还需考虑应用领域数据、相关性、新颖度、时效性等多维度推荐效果

?核心指标难统一 想提高CTR的同时又增加用户停留时长 无法兼顾多个核心指标

?迭代周期长与业务快节奏 业务节奏通常很快 而内部人力有限 既要快节奏又要人力占用少还要服务稳定性高更要见效快

后续维护

?适配难度大 任何一套推荐引擎都无法完全适配企业的业务诉求 阿里云智能推荐提供了黑白盒一体化

?运营易用性 推荐系统较复杂 不具备算法知识但需要干预的运营人员上手难度大

?服务稳定性 推荐场景通常用于高流量页面 对系统性能及稳定性以及弹性要求极高

自建数据仓库面临的挑战

企业为了使用数据驱动业务发展 在建设和运营企业数据仓库时面临的问题

1、启动成本高、建设周期长 价值难以快速验证

2、如何处理多样数据 拥抱新技术 充分挖掘数据价值

3、难以共享企业数据资产、数据创新成本高

4、平台架构复杂、运营成本高

5、满足业务需要的扩展性和弹性

业务增长

通过自建的方式搭一套智能推荐系统是没问题的 但搭建推荐的效果如何保障。智能推荐的效果在不同行业的定义不同 在提升效果的同时 需要在推荐系统内做大量的工作。

多场景 业务适配

?不同企业(业务目标和效果不同

?同一企业不同阶段

?同一阶段不同场景

?同一场景不同诉求

实验平台

?选品

?召回

?排序

?业务诉求

阿里云智能推荐 领先的算法能力 稳定且高效的工程体系 完整且灵活的产品能力

智能推荐产品优势开箱即用

?高度产品化、行业化(电商/内容/新闻)

?覆盖全链路 支持友盟SDK行为采集

推荐精准

?行业、场景定向优化

?行业与阿里自研主流算法封装

?猜你喜欢 相关推荐

?多目标模型训练

全托管

?保障在线服务稳定性

?灵活升降配服务

?丰富的数据质量诊断功能 在线服务监控告警

灵活适配

?运营助手 产品和运营可快速干预推荐

?开发和算法 集成强大的离线、在线链路开发能力

MaxCompute产品优势简单、易用数据仓库(Data Warehouse)面向数仓优化高性能存储、计算多服务预集成、标准SQL 开发简单企业级服务-内建完善的管理和安全能力服务化(As a Service)Serverless、免运维按量付费、不用不花钱自动升级

匹配业务发展的弹性扩展动态扩缩容 无需提前容量规划 满足突发业务增长存储-计算独立扩展 无扩展性限制业务增长性能不降级

多分析场景支持

近实时化、交互分析、AI分析、数据湖分析方面增强 支持更多业务场景

机器学习PAI原生集成内置Spark MLMars科学计算传统数仓ETL:SQL UDFBI:查询加速、MC-Hologres数据湖分析SQL外表联邦查询非结构化数据处理近实时数仓近实时写入近实时分析开放的平台

全托管服务上支持开放接口和生态 为数据、应用迁移、二次开发提供灵活性。

管理接口开放Java/Python SDK标准JDBC接口数据开放开放的导入导出数据接口(Tunnel 上下传 LOAD/UNLOAD 免费、高性能导入/导出ORC、Parquet开放格式到数据湖兼容主流语法MaxCompute SQL兼容Hive SQL语法支持原生Spark作业开放的生态Flink/Kafka/Presto ConnectorAirflow/Azkaban/Kettle调度支持Tableau、FineBI及通用JDBC BI工具

四、配置与启动服务产品使用基础流程

成本优化 可在POC阶段使用入门版实例测试 测试完成后一键升配标准版正式切流。

主要分成四个步骤 1、数据准备 2、创建实例 3、策略配置 4、测试、发布。

实现基础服务搭建只需1个普通水平的工程师花费3-5天即可完成。

通过历史数据( MaxCompute)启动实例

控制台配置流程

通过服务端SDK启动实例

通过友盟 服务端SDK启动实例

五、重点功能解读猜你喜欢 相关推荐

在电商行业 智能推荐支持猜你喜欢、相关推荐这2种推荐服务类型。猜你喜欢主要应用于首页以及商品TAB页的商品瀑布流推荐 相关推荐主要应用于商品展示页、详情页的推荐。其中 种草社区可基于AIRec内容行业搭建。

实时推荐

实时交互是促进消费者沉浸式浏览的必备基础功能。智能推荐可实时学习消费者当前兴趣表达、变化 并更新在下一次生成的推荐结果中 从而实现实时的互动式推荐功能。

负反馈

推荐系统在与用户互动的过程中 有可能出现不符用户预期的推荐结果 而负反馈成为推荐与用户对话的重要入口。智能推荐支持单个商品维度、商品类目维度以及商品其他特征类维度的负反馈功能。

业务策略配置

可针对精品做人工加权 实时上下架 保证推荐质量。

可通过设置去重规则 保证在设置时间区间内 不重复给用户推荐同一商品或内容。

通过设置类目多样性规则 保证推荐的多样性 避免产品单一性。

多场景

场景作为个性化推荐的流量入口 在不同的页面/不同的用户群可进行差异化的定制。如 首页的推荐、频道页推荐、个人中心页、搜索空结果页、商品详情页、购物车页等等。推荐PLUS支持定制差异化的场景选品规则。

控制台配置规则

左侧业务定制- 场景管理

A/B实验平台

流程如下

控制台配置规则

机器学习平台

100 算法组件、完整业务开发框架、拖拽式开发平台

推荐业务逻辑封装、算法模型开箱即用

可视化分析模型指标

支持离线、在线的模型部署方式

六、MaxCompute 智能推荐学习阵地MaxCompute学习阵地

SaaS 模式云数据仓库 MaxCompute 官网 海量学习资料 助您开启云数仓之旅

智能推荐学习阵地

智能推荐 Artificial Intelligence Recommendation 简称AIRec 基于阿里巴巴领先的大数据和人工智能技术 结合在电商、内容、新闻、视频直播和社交等多个行业领域的积累 为全球企业及开发者提供个性化推荐服务。

更多关于大数据计算、云数据仓库技术交流 欢迎扫码。

本文转自网络，原文链接：https://developer.aliyun.com/article/786564
本站部分内容转载于网络，版权归原作者所有，转载之目的在于传播更多优秀技术内容，如有侵权请联系QQ/微信：153890879删除，谢谢！