数据蒋堂 •
148 引用 •
5 回帖 •
327 关注
博客
关注
-
[链接]前言 大数据的技术本质就是高性能，有了足够的性能，大数据分析才能实实在在地落地。 性能优化要在确定有限的硬件条件下实施，软件并不能改变硬件的速度，我们能做的是设计更低复杂度的算法，使实 ..
-
[链接]前言 编程，如同驾驶，越来越成为现代人的一项基本技能。掌握编程技能，能够用编程处理日常工作生活中的问题，其好处是无庸多言的。 但是，当前 IT 领域的程序语言几乎全部是面向专业人员设计 ..
-
[链接] [链接]2.2 集文件及倍增分段 文本文件使用字符来编码数据，通用性虽然比较好，但性能很差。要把字符转换成可以计算的数值，还需要较多的运算量，日期时间类数据还需要很复杂的解析判断过程 ..
-
[链接] [链接]2.1 文本文件分段 性能问题常常都和数据量大相关，而大数据通常不能在内存中放下，我们要考虑外存数据的运算方案。数据库可能是最常见的外存数据存储方案，但我们无法在数据库中实施 ..
-
[链接] [链接]1.5 多层序号定位 前面讲过，不能针对身份证号直接使用序号定位的方法。但在某些特定情况下，还有变通的手段。 我们仍以用身份证号查找人员为例。如果待查找人群具有一些共同的特征 ..
-
[链接] [链接]1.4 哈希索引 哈希索引可以理解为序号定位的延伸。 使用某个函数将被查找键值计算成一个 1…M 之间的自然数，称为该记录的哈希值，此函数称为哈希函数。将序表 T 的记录按哈 ..
-
[链接] [链接]1.3 位置索引 有时候我们希望查找出目标值在序表中的位置，而不是目标值本身。如果序表对被查找键无序时，就无法使用二分法来提高性能了。事先把数据按被查找键排序后可以使用二分法 ..
-
[链接] [链接]1.2 序号定位 有时被查找键的取值正好是目标值在序表中的序号（即位置），或者很容易通过查找值计算出目标值的序号，这时可以使用序号定位方法。 A 1 =10000.new(~ ..
-
[链接] [链接]1.1 二分法 内存中的序表 T 有字段 K，给定查找值k，找出 T 中字段 K 取值为 k 的记录，字段 K 称为被查找键，找到的记录称为目标值或目标记录。 常规的顺序查找 ..
-
大数据和人工智能时代，数据分析是个热门话题，数据分析师貌似也是个热门职业。很多门外汉想学，但面对浩瀚繁杂的技术，也搞不清该从哪里开始。于是，经常有人问这个问题，当然还有问得更具体的，怎么能学会 ..
-
如果说有什么通用软件领域是国内产品的技术要比国外产品更好，那估计只有报表工具了。 数据库、操作系统这些耳熟能详的基础软件，国产货和外国货相比是个什么状态，大家也都心知肚明；开发工具、编译器、甚 ..
-
编程这件事现在有点热门了，经常能在网上看到有人问该怎么学编程。不用说，问这种题的同学都是对编程没啥经验的，有不少甚至是完全零基础的。 要搞清该怎样学编程，先得问自己一个问题：为什么要学编程？学 ..
-
[链接]后记 本书用 12 章的篇幅从零基础开始介绍了程序设计的基本概念和逻辑，以及最常用到的结构化数据及其运算，包括大数据处理方法和统计图绘制。这些内容涵盖了常规程序设计的方方面面，用于应对 ..
-
12.4 图例 我们一直没有解释这些柱子和点的颜色是怎么来的。而且成品图中有图例，而自己画的还没有，这东西该怎么画出来？ 引入逻辑轴可以实现从业务数据到物理位置的映射，我们可以在 (East, ..
-
12.3 更多坐标系 第一节中我们还看到过饼图，但要在坐标系描述清这些圆和扇形的位置似乎太麻烦了。这是怎么画出来的？ 除了直角坐标系，SPL 还提供了极坐标系。 极坐标系也需要两个轴（平面图形 ..
-
12.2 坐标系 要画图，就要先建立坐标系的概念。我们在中学都学过一点平面解析几何和直角坐标系的知识，知道平面上的点就都可以用坐标来表示。计算机绘图也是这样，通常会使用直角坐标系来确定位置。 ..
-
12.1 画布与图元 程序语言不仅能帮我们做数据处理，还能画图。 先看个简单例子 A B 1 [10,20,40,30,50] [East,North,West,South,Center] 2 ..
-
11.1 大游标 我们还不会做大数据的排序。 排序运算很不一样，它的计算结果和源数据一样大，如果源数据在内存中装不下，结果必然也装不下，但它又不像 select、new 这些，可以一边遍历一边 ..
-
11.3 有序游标 我们来看游标上的 group 函数。 前面说过，对于游标，我们不能把 group 后的分组子集都保持在内存中继续计算，而放在外存中又会非常麻烦并严重影响性能，经常得不偿失。 ..
-
[链接]11.2 游标上的函数 仅是数数量，SPL 还有个 skip 函数。 A 1 =file('data.txt').cursor@t() 2 =A1.skip() skip 本意是跳过若 ..
-
[链接]11.1 大数据和游标 我们这一章来讲如何处理大数据。 所谓大数据，在这里是指内存中装不下的数据，一般会在文件形式存放在硬盘上，或者存在数据库中（也是硬盘里），本书不涉及数据库，只讲述 ..
-
10.4 连接 接着上面这个订单例子，我们希望把两份文件中订单号相同但内容不同的记录挑出来之后。将字段（订单号除外）都拼到一起对照着看。也就是要想形成一个两倍字段数（除订单号）的数据表。 我们 ..
-
[链接]10.3 归并 假如有两个 Excel 文件，比如前面说的订单表，可能由两个人分别制作，其中就可能会有些重复的记录，我们需要把这些重复记录挑出来，然后合并成一个没有重复记录的表。 本来 ..
-
10.2 外键 有了主键，也就能够唯一标识一条记录了。然后，我们就能建立不同数据表的记录之间的关联了。 先生成两个有主键的表用来做实验，简单起见用整数做主键，但被故意打乱了次序。 A B C ..
-
10.1 主键 在讲结构化数据概念时，我们说过数据表的字段有名字，但记录却没有名字。那么我们用什么办法来标识一条记录和另一条记录的不同呢？我们知道，每条记录都对应着某个事物的信息，到底是哪个呢 ..
