计算&AI •
1062 引用 •
1118 回帖 •
475 关注
博客
关注
-
【摘要】 本文介绍小文件与大文件在进行数据去重时的几种处理办法,比如按整行或关键列去除重复数据或留下重复数据,并用 esProc SPL 举例实现。请点击 ${article} 了解详情 &n ..
-
如今,提到人工智能,几乎无人不谈深度学习,似乎不用深度学习就不好意思谈人工智能。今天我们就用几分钟的时间来讲一下深度学习到底是什么,有什么用。 首先深度学习并不等于人工智能,它只是一种算法,和 ..
-
【摘要】 本文介绍两个文本文件进行比对,按照需求找出文件中数据相同或不同时,会遇到的几种情况,并用 esProc SPL 举例实现。请点击 ${article} 了解详情 在数据 ..
-
【摘要】 X 银行把上亿客户划分为几千个客群,要计算任意几个客群的交集,还要按照维度过滤,还要秒级响应?点击了解 ${article} 问题描述 X银行用户画像应用中,需要完成客群交集计算。客 ..
-
目前,由于数据挖掘技术的门槛较高,实现起来复杂度较大,因此一般一个数据挖掘项目通常就是建立一个模型,这个模型要尽量有更广泛的应用范围。这样做其实会导致模型的适应能力下降,而多个模型适用效果就远 ..
-
【摘要】 本文介绍将多个文本文件和 Excel 文件合并成一个文件,或者将一个文件拆分成几个小文件时,如何处理会遇到的几种情况,并用 esProc SPL 举例实现。请点击 ${article ..
-
我们知道一个完整的数据挖掘项目通常包含以下流程(1)业务理解、(2)数据理解、(3)数据准备、(4)数据预处理和建模、(5)模型评估、(6)模型部署应用。而要完成一个数据挖掘任务,必须要具备两 ..
-
转置是 SQL 常见算法,本文细分为行转列、列转行、动态转置、关联转置等多种情况,分别进行算法分析并给出案例代码。对于 SQL 难以实现的转置,还给出了方便的 esProc 解决方案, 点击 ..
-
看看问题 S银行POS交易情况报表很慢,业务人员要等待一个多小时(3700秒)才能看到结果,严重影响业务。报表表样如下: [图片] 解决步骤 首先,要理解业务和计算特征。POS交易情况表连接数 ..
-
【摘要】 L 银行贷款协议存储过程执行需要 2 个小时,严重影响整个跑批任务!如何破解?点击了解 ${article} 问题描述 L银行跑批任务包含很多存储过程,其中“对公贷款协议明细”存储过 ..
-
随着人工智能技术的火热,各种 AI 培训也应运而生,翻阅各种社交网站和 APP,几乎每天都能刷到 Python、人工智能相关的文章,点进去很大一部分都是培训机构给自家 AI 课程打的广告。那么 ..
-
【摘要】 本文介绍如何将各种结构的 Excel 文件解析成结构化数据,如普通行式、复杂表头、自由格式、交叉表、主子表、大文件等,并用 esProc SPL 举例实现。请点击 ${article ..
-
【摘要】 S 银行的手机银行活期明细查询后台是 Elastic Search,营业单位代码表要通过预先关联冗余到明细宽表中。当营业单位发生变更时,必须刷新几亿条数据量的大表,耗时好几个小时。点 ..
-
【摘要】 本文分析大文件计算的实现原理,如过滤、聚合计算、添加计算列、排序、分组聚合、topN 等,以及利用并行计算来提高计算速度,并用 esProc SPL 举例说明如何用简洁的脚本实现大文 ..
-
什么是有序计算 使用过 SQL 的朋友对计算字段都不会陌生,比如 firstname+lastname,year(bi ..
-
机器学习发展到今天已经有众多优秀前辈给我们贡献了各种各种现成的开源包 以最流行的 Scikit-learn 为例,提供了包括回归 (Regression)、降维(Dimensionality ..
-
【摘要】 C 银行的资金头寸报表很慢,严重影响业务,如何解决?点击了解 ${article} 看看问题 C银行有个资金**报表很慢,业务人员要等待1分30秒才能看到结果。资金**报表非常重要, ..
-
【摘要】 B 银行自助分析系统只能支持 5 并发,造成大量业务人员长时间等待。如何破解?点击了解 ${article} 现状分析 B银行的电子银行自助分析系统,需要查询指定日期的客户交易明细。 ..
-
我们知道,数据挖掘的基本流程包括:(1)业务理解、(2)数据理解、(3)数据准备、(4)数据预处理和建模、(5)模型评估、(6)模型部署应用。其中第 4 步,数据预处理和建模是整个流程的核心部 ..
-
【摘要】 互联网贷款产品指标跑批任务耗时 7.9 小时,亟需优化!点击了解 ${article} 问题说明 T银行通过某互联网渠道对客户发放贷款。放款、还款明细数据存放在Mysql中,每天都会 ..
-
【摘要】 字符串和日期时间都是基础数据类型。虽然说是基础,使用起来却经常给我们带来麻烦。SPL 提供了丰富而简洁的函数,可以轻松解决字符串和日期 ..
-
【摘要】 新增保单关联历史保单的跑批任务非常耗时,点击了解 ${article} 问题描述 P保险公司的车险业务中,需要用往年历史保单来关联新的保单,在跑批中称为历史保单关联任务。在提醒老客户 ..
-
为了回答这个问题,我们先来了解一下建模的流程,通常一个完整的数据挖掘项目包含以下流程(1)业务理解、(2)数据理解、(3)数据准备、(4)数据预处理和建模、(5)模型评估、(6)模型部署应用。 ..
-
【摘要】 只用了一天的时间,就把明细查询提速 2000 多倍,真的很香!点击了解 ${article} 问题描述 C保险公司业务系统中,团体保险明细查询速度很慢。查询时输入保单号,要返回团体保 ..
-
当前,提到人工智能、数据科学几乎就一定会提到 Python,很多人工智能相关的课程实质上也都在大篇幅的讲 Python,有的初学者甚至认为人工智能和 Python 是划等号的,随着人工智能概念 ..