-
Q1 运行环境 esProc 目前是纯 Java 软件,只要有 JDK1.8 及以上版本的 JVM 环境的任何操作系统都可以运行,包括常见的 VM 和 Container。 esProc 正常 ..
-
结构化数据的计算处理一直以 SQL 为主。不过随着技术的不断发展,现在经常为了满足扩展性的需要而使用 Java 来处理数据。这样可以显著降低数据库与应用的耦合性(数据库仅用于存储),整体架构更 ..
-
以有序集合为基础,可以延申出多种运算,最简单的是位置访问,即按下标或位置获取记录集合中的成员。与之相对的是定位运算,即按某种方式获取记录集合中成员的位置,比如字段极值所在记录的位置、符合条件的 ..
-
背景 关系数据库是最常见的数据存储方案,SQL自然也成为数据处理的第一选择。但随着企业级应用越来越复杂,使用SQL实现数据运算和处理也开始面临许多架构层面的严重问题。复杂的SQL(存储过程)很 ..
-
这几天有机缘结识了一位 AI 领域的大牛师弟,普及了一些 GPT 大模型的知识,趁着风头正热,做了些简单研究。 现在的神经元函数通常都是一个多元线性函数再加一个非线性的激活函数,之所以要加后者 ..
-
几乎所有行业的核心数据都是结构化的,结构化数据是这个时代最重要的数据资产。那么如何利用处理好这些核心数据自然成了企业经营中的重中之重。当然,结构化数据处理技术也由来已久,SQL、Java、Py ..
-
除了常见的静态代码外,有时候也需要用动态代码解决问题,比如根据参数生成代码(或一部分)并动态执行。对于缺乏动态代码机制的程序语言,通常要将代码的可变部分写成字符串形式,比如Python中的引用 ..
-
在《[链接]》中,我们对比了Python和SPL在数据读取和计算方面的性能。日常数据处理的过程中,还会有许多对数据集改写的动作,这一次我们对比一下Python和SPL在这方面的性能。 测试环境 ..
-
作为程序语言,SPL 有一些自有的特点,不了解这些并不影响上手学习,但在架构设计或代码编写上都难以充分发挥其功能。这里试图为初步者建立一套 SPL 的基本概念骨架,其它更多的内容再根据实际需求 ..
-
测试环境 系统:CentOS7 虚拟机:VMWare 15.5.1build-15018445 内存:32G CPU:4 数据:1G规模的TPCH 数据读取 数据源分为两种,分别是文本文件和数 ..
-
What?写在格子里的程序语言?! 是的!你没看错,写在格子里的程序语言 SPL(Structured Process Language),专门用于结构化数据处理。 我们知道,几乎所有编程语言 ..
-
Lambda 语法的主要目标是快捷方便地定义和使用临时函数,降低代码量,提高开发效率。SPL 专注于结构化数据计算领域,经常面对复杂的计算逻辑和冗长的计算代码,为了更适应具体的应用环境,SPL ..
-
什么是汇总层 BI 多维分析,是指业务人员针对已经建好的数据立方体,在页面上拖拽数据,进行分析 [图片] 常见的分析,一般都是在某些维度上对测度进行合计、计数、平均、最大最小等聚合运算,再用升 ..
-
序号是从 1(或 0)开始依次增长的自然数,可用于数组和序列的下标、数据集和序表的行号,以及自然数字段。 SQL 对序号的支持不足,作为基础数据类型的记录集合(表)是无序的,没有天然行号,SQ ..
-
量化交易是通过编程建模等方式,利用概率论、统计学等知识从庞大的历史数据中总结规律并建模量化模型,然后凭借计算机强大的计算能力来高效、快速地进行交易决策。编程语言可选择的语言很多,下图是来自于T ..
-
报表通常都是通过 SQL 来从数据库中取数和计算再呈现的,有些情况下,报表可能始终对接一个数据库,但也有不少情况时,报表需要在不同情况下对接不同的数据库,比如: 行业开发商做的通用行业报表,要 ..
-
封闭的传统数据仓库 我们知道数据仓库是晚于数据库出现的,当 TP 数据库无法满足日益增长的数据分析需要时,人们便通过架设单独的数据库把 AP 业务独立出来就形成了数据仓库(逻辑概念)。后续出现 ..
-
现代大数据应用的结构大概是这样的: [图片] 作为数据中心(中间部分)处于各种应用与数据源之间,对下对接多种数据源处理分析所有数据,对上要为各个应用提供数据服务,其重要性不言而喻。数据中心由于 ..
-
本文旨在介绍如何将 git 上的开源项目 esProc 导入到 eclipse 中,为用户进行软件开发提供方便。 Eclipse 通过 Git 获取 esProc 步骤 打开 Eclipse, ..
-
随着数据量不断增长和业务复杂度逐渐攀升,数据处理效率面临巨大挑战。最典型的表现是面向分析型场景的数据仓库性能问题越来越突出,压力大、性能低,查询时间长甚至查不出来,跑批跑不完造成生产事故等问题 ..
-
概述 SPL主要是为了解决SQL的困难(复杂任务很难写且跑得慢、跨源计算难、依赖存储过程等)而设计的,其应用场景也与SQL类似,一般会配合应用程序工作,且能支持大数据,包括高性能运算和并行运算 ..
-
取一定数量的样本,将真实值和预测值的结果画在一张图上即为结果对照图。 结果对照图可以直观的展示预测结果和真实值之间的差距和走势。 A 1 =T('houseprice_result.xls') ..
-
残差residual=真实值-预测值 计算houseprice_result.xls中的残差并画图 A 1 =T('houseprice_result.xls') 2 =A1.derive(S ..
-
在建模数据中经常遇到这样一种变量,其本身是受因变量影响的(即它不但不是因变量的影响因素,反而因变量是它的影响因素),若该变量被作为自变量添加入模型,则会造成其他自变量不能进入模型。同时,由于这 ..
-
使用统计假设检验的方法也可以判断自变量对因变量的影响是否显著,在SPL中提供了几种统计检验p值计算的函数,可以根据数据情况选择合适的检验形式,函数用法见p 值 - 乾学院 (raqsoft.c ..