JAVA
共 167 篇文章
weka 决策树 pmml
之前使用weka 将一个离线的决策树分类算法移植到线上,主要是借助于weka中对决策树的PMML规范的支持,对于使用方法也是琢磨了半天才搞定的,为了方便后来人故在此给出主要的使用步骤,鉴于当时使用的weka 3.7.3对决策树支持有bug,所以我修改了源码,故会给出使用的jar包。 首先给出java代码,这里主要是给出使用流程框架,具体的结果例子等涉及一些内部信息不便于直接举例,同时我本机的spss软件貌似被删除了,所以也找不到比较好的例子了。 前提说明:PMML 文件是一种通用的数据挖掘模型文件,spss软件支持将模型导出为pmml文件,weka目前支持的pmml类型不多,但是对于C5这种…
2011-12-23 14:50 · JAVA
html xpath java parser
想爬取一个网页的生活数据使用,按照以前的方式是写正则来做了,但是面对页面经常变换的问题,而且有些正则不是那么一步到位就能写出,故希望能找到更合适的东西来解析html。 通过对比各种html的parser,最终选取了HtmlCleaner ,主要是他强大的支持xpath功能,以及对网页标签的容错性很好,api也很强大耐用。 htmlCleaner 官网 http://htmlcleaner.sourceforge.net/javause.php Using XPATH and HTML Cleaner to parse HTML / XML http://thinkandroid.wordpr…
2011-12-23 14:01 · JAVA
java访问svn
同学需要php的方式访问svn,他使用exec(svn)来实现,而我希望是通过http的方式或者其他tcp之上的协议来访问,毕竟这种方式算是跨各种平台与方便的。 找了下开源的java svn client,最出名的就是svnkit了 http://svnkit.com/index.html ,eclipse的插件也是基于这个。 看下wiki里的例子 http://wiki.svnkit.com/,就可以实现java访问svn了。 这里给出一个list svn tree的例子的链接,新版本的svn中已经没了。 http://svn.svnkit.com/repos/svnkit/tags/1.…
2011-12-09 16:45 · JAVA
maven search
用惯了公司内部的maven仓库搜索,突然没这个环境了还真不习惯,故这里收集下开放的一些maven search 1:官方 http://search.maven.org/ 2: http://maven.ozacc.com/ 3: http://mvnrepository.com/ 4: http://www.jarvana.com/jarvana/
2011-12-07 20:55 · JAVA
JNI debug
需要调用一个jni,有java和C++的源码,但是对于运行过程中出现的问题还是不好排查,故这时需要进行debug了。这个debug涉及java到C/C++的,所以不是那么直接,故找了些资料学习下。 1:调试集成 Java 和 C/C++ 的代码(对着例子跑通基本就可以了) http://www.ibm.com/developerworks/cn/java/j-jnidebug/ 2:Linux_Macintosh 平台下 Eclipse 环境中的 JNI 混合语言调试 http://www.ibm.com/developerworks/cn/opensource/os-cn-ecl-jnid…
2011-12-07 17:37 · JAVA
OmitStackTraceInFastThrow
经常遇到由于这个参数而导致异常堆栈消失的问题,之前看过一篇blog大概有个映像,这里自己记录一下具体的内容。 可以参见这篇文章里的测试情况 Hotspot caused exceptions to lose their stack traces in production – and the fix http://jawspeak.com/2010/05/26/hotspot-caused-exceptions-to-lose-their-stack-traces-in-production-and-the-fix/ 可以看sun官方针对这个的说明 The compiler in the s…
2011-11-12 14:00 · JAVA
jboss部署相关的资料
最近由于生产环境中缺少某个jboss包而导致被连累,故又看了下jboss的部署相关的东西,这里总结下有用的资料。 1:JBossProperties http://community.jboss.org/wiki/JBossProperties 2:JBossRunParameters http://community.jboss.org/wiki/JBossRunParameters 3: Shared JBoss Installation Directory http://shrubbery.mynetgear.net/c/display/W/Shared+JBoss+Installat…
2011-11-04 11:24 · JAVA
获得java支持的所有安全算法以及对应的模式
记得之前由于android上AES算法实现时就遇到各种安全算法的问题,这次又有同事遇到了,之前看到一篇帖子不错,忘了记录下来,这次又找了出来,故在此分享下。 首先环境: JAVA 1.6.0.27 OS windows 获得所有支持的算法(查看源码可以知道来源) public static void main(String[] args) { for (Provider provider : Security.getProviders()){ System.out.println("Provider: " + provider.getName()); for (Provider.Servic…
2011-11-02 17:10 · JAVA
jboss shutdown
生产环境中jboss会自己无缘无故的shutdown,查了官方有篇文章不错,故记录下 http://community.jboss.org/wiki/MysteriousShutdowns Mysterious JBoss Shutdowns Many users have said that they experience mysterious JBoss Shutdowns. Here are some troubleshooting tips to find out where they are comming from. Look at the logs The logs can t…
2011-10-18 20:30 · JAVA
eclipse xmlbuddy Veloeclipse
用了新版本的eclipse,想找个好的xml插件也不好找,还是准备用老的xmlbuddy,不过官方网站也不好找了,故下载了一个jar,放这里共享出来,顺便把velocity的插件也放这里,2个都不好下载到了 下载的人不放心使用最好先杀下毒,我的机器上没问题的。
2011-10-09 19:09 · JAVA
统计最耗CPU的java线程
上一篇帖子说了如何dump最耗CPU的java线程,那么可以借助这个来做下统计,统计谁是做耗CPU的java线程 这里统计有几个假设前提 1:假设耗CPU的线程都是在线程池中new出来的 2:假设系统load经常很高而不是瞬间状态 3:假设线程经常处于繁忙状态而不能被线程池收回 4:假设问题的发生是常事 好了上监控脚本 while true do top -b -H -n 1 -p $1 | fgrep java -m 3 >> /tmp/nid2.log 2>&1 sleep 1 done 好了上统计脚本 cat nid2.log | awk '{a[$1]++} END{for(i in…
2011-09-27 14:12 · JAVA
linux下dump耗CPU的java线程
经常发现系统load值高,然后想去查找具体是哪个java线程导致的,一般会使用top jstack等等,但是每次都是人肉操作,故希望能将这个过程自动化,故这里写了个脚本用于dump出当前耗cpu的java线程堆栈。 分析下脚本处理过程: 1:利用top H列出当前线程的情况 2:grep出线程id 3:转换为jstack中的十六进制的线程id 4:利用jstack dump出线程 5:grep出所需要的线程上下文 直接上脚本代码 top -b -H -n 1 -p $1 | fgrep java -m $2 | awk '{print "obase=16;"$1}' | bc | awk '…
2011-09-27 13:27 · JAVA
log layouts
打log时需要打印一些调试用的信息,故对log的layouts设置很重要,这里汇总下log4J 和logback的2个参数说明页面 1:LogBack http://logback.qos.ch/manual/layouts.html 2:log4j http://logging.apache.org/log4j/1.2/apidocs/org/apache/log4j/PatternLayout.html
2011-09-19 11:43 · JAVA
lucene IndexWriter addDocuments bug
为了理论上的批量处理快点,在lucene中我使用了 IndexWriter addDocuments ,对比这个接口还有个addDocument,理所当然的认为2者的差别主要在于一个foreach了,不过大体处理过程也的确如此,殊不知后来的各种诡异hang都因这个假设,发现我本地测试跑,部署web方式跑,测试环境web方式跑,每次都因为不同的批量因子和RAMBuffer而hang住,我可不想穷举各种可用的因子,故觉得存在bug,看Lucene的bug列表,果然发现了这个问题,见 TestNRTThreads hangs in nightly 3.x builds https://issues…
2011-09-13 18:41 · JAVA
jvmstat hsperfdata java.io.tmpdir
线上遇到一个问题: Unable to open socket file: target process not responding or HotSpot VM not loaded The -F option can be used when the target process is not responding 重启后解决,主要原因是pid文件没有生成,这里记录下相关的问题点。 首先解释下 java.io.tmpdir 见 http://download.oracle.com/javase/1.4.2/docs/api/java/io/File.html If the directo…
2011-09-13 16:13 · JAVA
lucene 多线程简单实践记录
出于需要,再次使用lucene,之前毕设用的这个(1.4.3版本),现在用的很多api(3.3.0)还查不多,只是说有些惯用法不一样了,这里记录下。 1:关于分词,可以去这里参考下 http://www.open-open.com/74.htm 分词组件用的JE上的IK分词,也是经过多方考虑才使用这个,需要确保一点是,索引和搜索的时候2个分析器要使用一样的,之前自作聪明得用了lucene自带的空格分词器结果and操作就有问题。 如果之前有用过JE分词的话,也还记得这个东西,之前在open-open上有的,现在已经下架了,最后的版本是1.5.3 2:关于索引优化方面 IndexWriter 这…
2011-09-07 18:33 · JAVA
JDK各版本新特性汇总链接
New Features and Enhancements J2SE 5.0 http://java.sun.com/j2se/1.5.0/docs/relnotes/features.html J2SE 5.0 in a Nutshell http://java.sun.com/developer/technicalArticles/releases/j2se15/ Java 6 and Java 5 New Features http://www.kingtraining.com/confdownloads/downloads/Java6Java5NewFeatures_slides.p…
2011-08-11 01:17 · JAVA
推荐Jar Jar Links
当你需要将依赖的jar都放入到你自己的jar中,同时不想做繁琐的重命名工作,那现在我介绍的这款工具就能帮到你了。 http://code.google.com/p/jarjar/ You can easily ship a single jar file with no external dependencies. You can avoid problems where your library depends on a specific version of a library, which may conflict with the dependencies of another li…
2011-08-10 17:05 · JAVA
jmx jmxremote.port url
使用jmx时为了开启这个功能,最简单的方式就是设置下jmxremote.port等如下参数在OPTS上,可以参见我之前的一篇讲述jconsole的blog。 今天偶然发现,利用这种方式开启的MBeanServer其实还是使用了rmi协议,生成的serviceUrl如下 service:jmx:rmi:///jndi/rmi://10.111.111.111:1090/jmxrmi 这样其实还是最终统一到了rmi协议层,之前看直接ip+por他的方式以为很神奇,其实是假象呀。
2011-08-10 15:05 · JAVA
btrace 链接汇总
btrace的网站的导航每次都要深入好几层,故在此记录常用的链接 btrace home http://kenai.com/projects/btrace/pages/Home userGuide http://kenai.com/projects/btrace/pages/UserGuide user JAVA doc http://btrace.kenai.com/javadoc/1.2/index.html dev JAVA doc http://btrace.kenai.com/javadoc/dev/index.html source show http://kenai.com/p…
2011-08-02 13:03 · JAVA