计算&AI •
1064 引用 •
1122 回帖 •
475 关注
博客
关注
-
目前,由于数据挖掘技术的门槛较高,实现起来复杂度较大,因此一般一个数据挖掘项目通常就是建立一个模型,这个模型要尽量有更广泛的应用范围。这样做其实会导致模型的适应能力下降,而多个模型适用效果就远 ..
-
【摘要】 本文介绍将多个文本文件和 Excel 文件合并成一个文件,或者将一个文件拆分成几个小文件时,如何处理会遇到的几种情况,并用 esProc SPL 举例实现。请点击 ${article ..
-
我们知道一个完整的数据挖掘项目通常包含以下流程(1)业务理解、(2)数据理解、(3)数据准备、(4)数据预处理和建模、(5)模型评估、(6)模型部署应用。而要完成一个数据挖掘任务,必须要具备两 ..
-
转置是 SQL 常见算法,本文细分为行转列、列转行、动态转置、关联转置等多种情况,分别进行算法分析并给出案例代码。对于 SQL 难以实现的转置,还给出了方便的 esProc 解决方案, 点击 ..
-
看看问题 S银行POS交易情况报表很慢,业务人员要等待一个多小时(3700秒)才能看到结果,严重影响业务。报表表样如下: [图片] 解决步骤 首先,要理解业务和计算特征。POS交易情况表连接数 ..
-
【摘要】 L 银行贷款协议存储过程执行需要 2 个小时,严重影响整个跑批任务!如何破解?点击了解 ${article} 问题描述 L银行跑批任务包含很多存储过程,其中“对公贷款协议明细”存储过 ..
-
随着人工智能技术的火热,各种 AI 培训也应运而生,翻阅各种社交网站和 APP,几乎每天都能刷到 Python、人工智能相关的文章,点进去很大一部分都是培训机构给自家 AI 课程打的广告。那么 ..
-
【摘要】 本文介绍如何将各种结构的 Excel 文件解析成结构化数据,如普通行式、复杂表头、自由格式、交叉表、主子表、大文件等,并用 esProc SPL 举例实现。请点击 ${article ..
-
【摘要】 S 银行的手机银行活期明细查询后台是 Elastic Search,营业单位代码表要通过预先关联冗余到明细宽表中。当营业单位发生变更时,必须刷新几亿条数据量的大表,耗时好几个小时。点 ..
-
【摘要】 本文分析大文件计算的实现原理,如过滤、聚合计算、添加计算列、排序、分组聚合、topN 等,以及利用并行计算来提高计算速度,并用 esProc SPL 举例说明如何用简洁的脚本实现大文 ..
-
什么是有序计算 使用过 SQL 的朋友对计算字段都不会陌生,比如 firstname+lastname,year(bi ..
-
机器学习发展到今天已经有众多优秀前辈给我们贡献了各种各种现成的开源包 以最流行的 Scikit-learn 为例,提供了包括回归 (Regression)、降维(Dimensionality ..
-
Excel 中遇到较复杂的运算,数据分析师常会用 add-ins 辅助解决。本文考察了一些常见的 add-ins,从部署难度、开发难度、流畅程度等方面进行深度对比,并着重考察了数据计算能力,集 ..
-
【摘要】 C 银行的资金头寸报表很慢,严重影响业务,如何解决?点击了解 ${article} 看看问题 C银行有个资金**报表很慢,业务人员要等待1分30秒才能看到结果。资金**报表非常重要, ..
-
在日常数据分析时,经常会遇到需要按列分组 (groupby) 的任务,如计算某公司各部门的人数,计算各部门男女平均工资,计算不同年代的员工的平均工资等等。在进行这类运算时,Pandas 提供了 ..
-
【摘要】 B 银行自助分析系统只能支持 5 并发,造成大量业务人员长时间等待。如何破解?点击了解 ${article} 现状分析 B银行的电子银行自助分析系统,需要查询指定日期的客户交易明细。 ..
-
【摘要】 数据分析师经常要处理 Excel 文件,有时需要用程序来自动化处理,有几种脚本语言都可以解析 Excel 文件,本文从编程解析 Excel 的难易程度、对不同数据格式的适应性等方面, ..
-
我们知道,数据挖掘的基本流程包括:(1)业务理解、(2)数据理解、(3)数据准备、(4)数据预处理和建模、(5)模型评估、(6)模型部署应用。其中第 4 步,数据预处理和建模是整个流程的核心部 ..
-
【摘要】 互联网贷款产品指标跑批任务耗时 7.9 小时,亟需优化!点击了解 ${article} 问题说明 T银行通过某互联网渠道对客户发放贷款。放款、还款明细数据存放在Mysql中,每天都会 ..
-
【摘要】 字符串和日期时间都是基础数据类型。虽然说是基础,使用起来却经常给我们带来麻烦。SPL 提供了丰富而简洁的函数,可以轻松解决字符串和日期 ..
-
轻量级数据处理脚本是桌面数据分析师的必备工具,本文从此类工具中精心挑选了四种,从易用性、开发效率、数据源支持种类、结构化计算函数等方面进行深度对比,并着重考察了各工具在日常算法上的表现,集算器 ..
-
【摘要】 新增保单关联历史保单的跑批任务非常耗时,点击了解 ${article} 问题描述 P保险公司的车险业务中,需要用往年历史保单来关联新的保单,在跑批中称为历史保单关联任务。在提醒老客户 ..
-
为了回答这个问题,我们先来了解一下建模的流程,通常一个完整的数据挖掘项目包含以下流程(1)业务理解、(2)数据理解、(3)数据准备、(4)数据预处理和建模、(5)模型评估、(6)模型部署应用。 ..
-
【摘要】 只用了一天的时间,就把明细查询提速 2000 多倍,真的很香!点击了解 ${article} 问题描述 C保险公司业务系统中,团体保险明细查询速度很慢。查询时输入保单号,要返回团体保 ..
-
Python作为一门程序设计语言,在易读、易维护方面有独特优势,越来越多的人使用 Python 进行数据分析和处理,而 Pandas 正是为了解决数据分析任务而创建的,其包含大量能便捷处理数据 ..