发表于 | 更新于 | 分类于 | 评论数： | 阅读次数：
在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法。 梯度在微积分里面，对多元函数的参数求$\partial$偏导数，把求得的各个参数的偏导数以向量的形式写出来，就是梯度。比如函数$f(x,y)$, 分别对 ...
阅读全文 »

发表于 | 更新于 | 分类于 | 评论数： | 阅读次数：
配置Hexo环境Ubuntu安装Node.js安装Node.js v11.x:123# Using Ubuntucurl -sL https://deb.nodesource.com/setup_11.x | sudo -E bash -sudo apt-get install -y nodejs ...
阅读全文 »

发表于 | 更新于 | 分类于 | 评论数： | 阅读次数：
度量不同样本之间的相似性时，通常需要计算样本间的距离。而采用不同的计算方法将关系到算法的性能和准确性。一些常用的相似性度量方法有： 欧氏距离欧式距离是最易于理解的距离计算方法。 两个$n$维向量$a(x{11}, x{12}, x{13}, …, x{1n} )$与$b(x{21}, x{22}, ...
阅读全文 »

发表于 | 更新于 | 分类于 | 评论数： | 阅读次数：
根据经纬度计算距离公式 S = 2\cdot R \cdot arcsin \sqrt{sin^2\frac{a}{2} + cos(lat1) \cdot cos(lat2) \cdot sin^2\frac{b}{2}}其中: (Lng1, lat1) 表示A点经纬度对应弧度，(lng2, ...
阅读全文 »

发表于 | 更新于 | 分类于 | 评论数： | 阅读次数：
利用spark实现R-Tree算法和QuadTree算法，对空间数据构造基于树结构的RDD，支持区域查询（range query）和KNN查询
阅读全文 »

发表于 | 更新于 | 评论数： | 阅读次数：

空间数据库是一个被优化的数据库，用于存储和查询代表几何空间对象的数据。多数空间数据库能够支持点、线及多边形这些简单的几何对象。有些空间数据库则可以处理3D、拓扑覆盖、线性网络以及TIN等更复杂的几何结构1。
数据库系统使用索引来实现快速查询。普通数据库的索引数据方式在进行空间查询时不够优化，因此空间数据库使用空间索引来加速对数据库的操作。

阅读全文 »

发表于 | 更新于 | 分类于 | 评论数： | 阅读次数：

在日常的Spark应用开发过程中，对多次使用到的数据往往会进行持久化，即将数据从HDFS中加载到内存中，这样在后续应用中不用反复从HDFS中读取数据，可以提升数据加载速度。

阅读全文 »

发表于 | 更新于 | 分类于 | 评论数： | 阅读次数：

当谈及Spark中的调度时，往往容易使人迷惑。是指集群中多个spark运行程序的调度？还是指在一个spark程序内部不同任务的调度？于是，Spark调度可以分为两个层次：Spark应用间的调度和Spark应用内的调度。

阅读全文 »